Para Rivas es desagradable revivir sus sucesos judiciales. «Aunque en todos los casos me asistieron la razón y el derecho y salí indemne en las diversas instancias judiciales», reconoce que supusieron «una de las etapas más duras de mi vida, en lo personal, familiar y político».
«Yo fui perseguido judicialmente por el afán de protagonismo de una persona». Y añadió, «mi calamidad fue que, por amigos y enemigos, aprovecharon la situación arbitraria del urbanismo en Pontevedra cuando no había dónde edificar, tampoco había una normativa clara, ni cuadro técnico municipal». Además, continuó, «aprovecharon determinados poderes locales para ir contra mí con denuncias anónimas y no anónimas, alguna salida del propio Ayuntamiento».
Llegó a tener hasta seis procesamientos. La primera por injurias, por llamar cobarde al concejal socialista López de Guereñu tras abandonar un pleno. La segunda, por una denuncia de César Mosquera sobre el sueldo atribuido al alcalde, que fue sobreseída. La tercera, por la licencia del Edificio Las Palmeras, que luego legalizó el Supremo. La cuarta, por atentado a la independencia judicial en relación al proceso anterior. La quinta por prevaricación y cohecho en la licencia del Edificio Silva y la famosa cocina que demostró haber pagado. Y la sexta, por llamar «calaña» al juez Varela al hilo de ese proceso.