El edificio que acoge la delegación del Ministerio de Hacienda en Pontevedra forma parte del conjunto que en su día constituía el convento y la iglesia de San Francisco, que se construyó entre 1310 y 1360, según un informe del Arquivo Municipal. El conjunto, de estilo gótico tardío, fue declarado monumento histórico-artístico en 1896.
La parte que ahora ocupa la sede de Hacienda se reedificó en el siglo XVII, terminó de levantarse en 1800 y unos años más tarde se instaló en su fachada la Porta de San Domingos, que había formado parte hasta entonces de la muralla de Pontevedra.
Tras la primera desamortización (1835) este inmueble, de 100 metros de largo por 30 de ancho y 24 de alto, pasó a ser propiedad pública y comenzó una larga sucesión de usos. Así, fue delegación de Hacienda Pública, al mismo tiempo que residencia del gobernador y sede del gobierno político. Incluso acogió las dependencias de la Diputación entre 1836 y 1890, cuando se produjo el traslado al actual Pazo Provincial.
En 1885 se intentó instalar en el edificio una fábrica de tabacos, pero la solicitud municipal fue rechazada. A principios del siglo XX se instaló en una dependencia con fachada a la parte trasera del inmueble el parque municipal de bomberos, y desde 1932, se quedó como uso exclusivo del Ministerio de Hacienda.