L’edificio e la cappella vennero costruiti nel 1775. Il palazzo fu poi acquistato dal comune di Amorosi nel 2006.
Attualmente, il palazzo viene utilizzato per l’esposizione una mostra permanente: il Polo Culturale e Museale della Fondazione “Allori”, inaugurato nel 2014. La mostre raccoglie una collezione di immagini e cimeli della storia d’Italia dalla fine dell’800 al 2000.