La chiesa è situata in fondo al borgo che esce dalla Porta Fiorentina e in vista del lago, dove era il casello daziario dal quale prese il nome. Ad un trivio di strade c’era un’edicola con una Maestà, che cominciò nel 1599 a fare miracoli dopo che un giovane liberò l’immagine dalle spine che la ricoprivano e la riparò dalla pioggia (Corsetti 1626). I magistrati di Panicale fecero allora costruire una piccola cappella, ma non cessando di crescere il numero dei fedeli e moltiplicandosi i lasciti per grazia ricevuta, nella primavera 1600 si dette inizio alla costruzione di un tempio più grande, che fu ultimato nel 1625.
La facciata in laterizio segue modelli del Rinascimento toscano ed è datata 1638 sul portale centrale. L’interno è diviso in tre navate. La navata centrale termina con un altare monumentale risalente alla fine del XVII secolo, sorretto da quattro gigantesche cariatidi e con l’icona miracolosa che raffigura una Madonna col Bambino e angeli, di autore ignoto del primo Quattrocento. La cantoria ha lo stemma di Panicale; la macchina dell’organo è di Adamo Rossi (1800). Alle spalle dell’altare maggiore è un coro con stalli lignei. Nelle navate laterali sono quattro altari in stucco, intitolati all’Immacolata Concezione, San Carlo Borromeo, San Francesco di Paola e San Francesco di Assisi. La tela di Simeone Ciburri (Perugia, notizie 1591-1624) dell’altare di San Francesco presenta una veduta di Assisi con la basilica di Santa Maria degli Angeli in costruzione. Sull’altare di San Carlo è una tela datata 1600 del perugino Benedetto Bandiera.
