En 1567 Cosme I decidió donar los edificios medievales comprendidos entre Via Ulisse Dini y Via S. Frediano para construir los alojamientos de los caballeros sacerdotes, una sección sólida y poderosa de la Orden de los Caballeros de San Esteban.
El proyecto para la nueva construcción fue confiado a Giorgio Vasari y la edificación a David Fortini. La idea del proyecto pretendía reducir las construcciones preexistentes a un único cuerpo de fábrica y, en línea con los otros edificios de la plaza, regularizar y armonizar las fachadas exteriores.
El modelo planimétrico se ceñía al esquema conventual: preveía una doble galería en la parte posterior del edificio, desde la cual se accedía a los diferentes “barrios” y decenas de unidades habitables independientes, cada una organizada en tres plantas y provista de una escalera. Las obras de la Rectoría duraron más de cuarenta años, y se empleó gran parte de los recursos para la construcción de la iglesia.
La larga fachada refleja fielmente el esquema compositivo del lado frontal de la Carovana: las filas de ventanas alineadas en varias plantas marcan el espacio variándolo con los distintos encuadres para esconder las deformidades de los edificios medievales incorporados en la nueva estructura. Entre 1604 y 1607 se construyeron las habitaciones sobre la casa llamada palla a corda. Entre 1690 y 1692 los ambientes interiores del edificio fueron restaurados y se aportaron nuevas modificaciones a mediados del siglo XIX.