? palacio monfortino quedou arruinado parcialmente en 1672 por causa dun incendio de considerables dimensións que destruíu os arquivos da casa condal e numerosas obras de arte que se gardaban no interior do edificio. A construción foi reedificada en parte na seguinte centuria, pero xa non recobrou a súa importancia, debido sobre todo a que naquela época os condes de Lemos abandonaron definitivamente a súa tradicional residencia de Monforte para afincarse en Madrid. Os traballos realizados por Arqueonconsulting localizaron diversas pegadas do desastre histórico. No piso das construcións situadas en torno ao patio atopáronse grandes marcas de cinza que, segundo Francisco Herves, foron produto do incendio. As escavacións tamén confirmaron -explica o arqueólogo- que o incendio do século XVIII provocou danos moi graves no conxunto do edificio, xa que supuxo a caída de varios muros estruturais. Cando foi reconstruído, o seu tamaño sufríu unha mingua considerable.