El propio Fraga llegó a confiar a la patronal melidense un informe sobre los negocios del regidor, que no salió nada bien parado de las referencias de sus vecinos. Empezaba su ocaso. En las municipales del 2003 revalidó la mayoría absoluta para el PP y un año después firmaba la renuncia a la alcaldía arguyendo una cuestionada intención de dedicarse por completo al Senado, donde ocupó un escaño desde el 2000 hasta el 2008.
De su paso por la Cámara alta quedará para la memoria colectiva el pasodoble Senador Miguel Pampín, de la Orquesta Sinfónica que impulsó en Melide; también la urbanización que bautizó como Avenida dos Senadores. Y para él, el círculo social del que nutriría la Orden de Damas y Caballeros del Camino de Santiago. Es su Gran Mestre. También preside el Foro Universitario Reyes Católicos y es vicepresidente de la Fundación Amigos de Galicia. Un rosario de hasta 22 títulos al que recientemente incorporó el cargo de cónsul honorífico de Paraguay en Galicia. Sin contar su faceta como escritor. En la presentación de su libro, sobre el Camino de Santiago, estuvo acompañado por Romay Beccaría, su fiel mentor.