Hasta el primer cuarto del siglo XVI, San Antón era un lazareto; después se construyó una pequeña batería para ayuda de la defensa de la ciudad. Y no fue hasta 1588 cuando se decidió en la isla la construcción de un castillo, que se concluiría en 1.590.
Aparte de su labor como baluarte, también sería utilizado como prisión. Entre sus huéspedes forzosos puede citarse, en 1686, al torrero Gómez Catoira, encarcelado por no cumplir el encargo dado por el cónsul de los Países Bajos de encender el faro de la torre de Hércules, aunque sí cobraba los derechos de uso. Otro preso ilustre fue Antonio de Villarroel, general del archiduque Carlos de Austria, pretendiente al trono español a comienzos del XVIII.
A mediados de dicho siglo ocupó un calabozo Gaspar Enríquez, cadete del regimiento Cantabria , y su madre Isabel, acusados de dar muerte a su padre y marido el marqués de Valladares, que también había estado arrestado en San Antón. Ambos reos acabarían en la prisión muertos de hambre.
En tiempos de Fernando VII estuvieron en el castillo importantes liberales, como Juan Antonio de Vega, padre de Juana, futura condesa de Espoz y Mina y aya de Isabel II, así como el general Juan Díaz Porlier, ahorcado en 1815 en el campo da Leña (plaza de España); el cónsul de los Estados Unidos, Benito Santos; el cirujano Antonio Pacheco y el auditor de guerra Manuel Santurio.
También, el 22 de julio de 1823 estaban en San Antón medio centenar de presos absolutistas, entre ellos el brigadier Escandón, que fueron detenidos cuando el asedio a la ciudad por las tropas de Burke, que formaban parte del Ejército del duque de Angulema (los llamados cien mil hijos de San Luis), que llegó a España para restituir en el trono absolutista a Fernando VII.
Bajo el pretexto de que iban a ser conducidos a Vigo, fueron introducidos en el quechemarín Santo Cristo de los Afligidos y, al llegar a la altura de la torre de Hércules, se les mató a todos a machetazos, apareciendo posteriormente los cadáveres en las playas próximas. Los franceses que ocupaban la ciudad procedieron a enterrarlos en San Pedro de Visma. Estos asesinatos dieron lugar a un proceso, en julio del año siguiente, imponiéndose 18 penas de muerte en la horca, que fueron cumplidas el 10 de noviembre en el campo da Leña.
Macanaz
En San Antón también estuvieron prisioneros Melchor de Macanaz, ministro de Felipe V, que, debido a sus fuertes dolencias reumáticas, fue autorizado por el capitán general a trasladarse a una dependencia cercana al hospital militar, que desde entonces se conocería como cuartel de Macanaz.
Posteriormente, en el año 1822, ocupó otra celda Pedro de Macanaz, ministro del rey Fernando VII y nieto del anterior. No menos ilustre serían el marino Malaspina, el duque de Veragua (descendiente directo del descubridor de América, Cristóbal Colón), el teniente general Puig Samper y, en 1868, el agitador y liberal coruñés Manuel Pereira.