Aunque Artaza Malvárez, tal como recoge el informe de la Diputación, defendió el origen romano de A Ponte Olveira, no existe prueba documental ni base científica para afirmar algo así, porque en ningún sitio está recogido que la vía per loca marítima, que pasaba por esta zona, cruzase el Xallas, y tampoco hay vestigios arqueológicos que lo respalden. Ni siquiera las propias características de la obra se corresponden. Sí figura en los privilegios que el rey Sancho IV de Castilla concede a Muros (1286) Olveira como uno de los extremos de su dominio, con lo que cabe presuponer que ya entonces podía existir algún tipo de puente sobre el Xallas en este punto. Donde aparece representada sin lugar a dudas es en el mapa de Fontán de 1834.
Históricamente y hasta la construcción del embalse de A Fervenza, tanto el puente como la aldea eran objeto de frecuentes inundaciones, con lo que ni siquiera se utilizaba para los carros, que vadeaban el río por un paso próximo. De hecho, hasta la apertura de la carretera en los años 50 el paso a vehículos estaba vetado con piedras verticales.