Por lo demás, cuentan quienes lo conocieron, a Pepe Lores le sobró decisión para enfrentarse a Raimundo Vázquez, que explotaba la gran cantera de A Siradella. Y fue su gobierno el que puso las primeras trabas para frenar el desarrollo de Grovelán, un proyecto que pretendía urbanizar el istmo de O Bao. Cuenta Xan Caneda que ese fue uno de los elementos que precipitó su caída en desgracia y, finalmente, su destitución del puesto de alcalde. Las crónicas de la época hablaban de descontento y malestar en la localidad meca por la decisión del gobernador civil de «apartar de la alcaldía a un hombre que ha defendido los intereses del pueblo de O Grove como nadie, y que buscó siempre el mejor futuro y prometedor destino para todos».
Su marcha forzada no fue en solitario: dos miembros de la corporación presentaron su renuncia en unos tiempos en los que ni renunciar era tan fácil. Los elogios se sucedían: de él se hablaba como un «alcalde valiente, emprendedor, honesto, luchador, enemigo de componendas y de los ilegítimos intereses de los grupos de presión económica». Semanas después de ser cesado, antes del nombramiento como su sustituto de Bea Gondar, el Anduriña, club en el que había jugado, lo nombró socio de honor y le hizo un homenaje en el campo.
