El edificio surge en el área donde desde el año 1102 se atestigua la Iglesia de San Salvador, llamada "in Porta Aurea", porque surgía cerca de la antigua puerta meridional del círculo urbano precomunal así llamado. La construcción del edificio actual se debe a los patronos, la familia Buzzaccherini Sismondi.
Más adelante la iglesia fue concedida a la congregación de los herreros y herradores, que al tener como protector a San Eloy, del francés Saint Eloi, trasladaron esta denominación a la iglesia. En 1587 esta congregación hizo restaurar el edificio y en 1722 hizo erigir una capilla dedicada a su patrón y a San Rainiero.
La iglesia asumió la denominación actual en 1640, a consecuencia del hallazgo, durante la demolición de algunas casas contiguas de la familia Galletti, de un fresco que representaba a una Virgen con el Niño, atribuido a Taddeo di Bartolo (siglo XIV). Para la ocasión, entre 1642 y 1652, se llevaron a cabo obras de embellecimiento con la construcción del altar mayor, donde se introdujo la imagen de la Virgen y del techo de madera tallado y dorado, obra de Carlo Del Norcia y que incluía cinco pinturas sobre tela. Otras intervenciones se registraron en torno a 1722, cuando la iglesia asumió la planta de cruz griega y se construyó un altar lateral.
Cabe destacar la fachada, de forma rectangular, con portal de mármol y gran ventanal central, construida en 1757 bajo el proyecto de Ignazio Pellegrini. Una lápida de 1115 recolocada en el tímpano de la entrada recuerda la empresa militar de las Baleares y la entrada de las tropas pisanas vencedoras por la Porta Aurea.