El escudo que ha desaparecido data del año 1845 y pertenece a la familia de los Castro, antiguos propietarios del pazo. La tercera generación de los dueños, el matrimonio formado por Gregorio de Castro y María Carballido ocupó la vivienda en el siglo XIX. Su hijo, Pedro de Castro, médico ilustre, tiene una plaza dedicada en el casco histórico de Baiona.
El inmueble es uno de los más antiguos de la comarca de O Val Miñor, después de la Casa de Zeta, en Baiona, que también se encuentra en ruinas. Fue construido en el siglo XVI y su fundador fue Tristán de Oya.
El estado de conservación del inmueble es pésimo, lo que ha favorecido el robo de muchos de sus elementos más característicos. A pesar de todo es una de las joyas patrimoniales de Gondomar.