¿Por qué Ferrol? No cabe duda de que Ferrol reunía unas condiciones excepcionales que venían determinadas por su caprichosa configuración geográfica, sus sinuosas costas, con una amplia ría de bocana estrecha y gran profundidad, lo que permitía la entrada a barcos de mucho calado y que podría ser fácilmente defendida desde ambos puntos de la costa ante el ataque enemigo, lo que ofrecía un seguro refugio para una gran flota y lógicamente se convertía en un valor estratégico.
Es muy conocida la frase: «si Inglaterra tuviera un lugar como Ferrol, lo rodearía con murallas de plata». Lógicamente en esta decisión, un factor determinante fue la estratégica situación de sus castillos.
La construcción de estas fortalezas comenzó en el siglo XVI, sufriendo numerosas reformas a lo largo del tiempo. San Felipe, La Palma y San Martin son los nombres de estos fuertes. A estos castillos, considerados los más importantes, habría que sumarles el fuerte de San Cristóbal y el de San Carlos, levantados ya en el siglo XVIII, cuando precisamente también se renovaron los tres mencionados anteriormente. Fue en el siglo XVI cuando Felipe II manda a los primeros ingenieros a la creciente urbe para estudiar la costa y construir fortificaciones defensivas para su Armada, así como lugares para su aprovisionamiento.
Aproximadamente en 1577 comienza la construcción de este fuerte, que llevaría precisamente el nombre del rey, pasando así a llamarse San Felipe. En esa misma época se construye en la orilla opuesta el Castillo de La Palma, nombre que viene dado por la capilla cercana de Nuestra Señora de La Palma, y el de San Martín, que debe su nombre esta vez a Martín de Padilla, Adelantado de Castilla, lo que hoy equivaldría a un ministro.
Los tres castillos formaban un triángulo defensivo que permitía una total defensa, tanto por mar como por tierra, ante tropas enemigas, haciendo de la zona un puerto infranqueable. La construcción del primitivo castillo de San Felipe la llevaron a cabo ingenieros con un gran espíritu científico y humanista del Renacimiento, que trabajaron sobre un nuevo tipo de fortificación llamada «abaluartada», por disponer de unos baluartes adelantados sobre las murallas; era una forma de construcción itálico-hispánica con precisas medidas geométricas que fueron llamados «fuertes a la marina» y debían tener plantas poligonales muy precisas. Seguían las indicaciones del tratado de Cristóbal de Rojas «Teoría y práctica de la fortificación». Rojas fue un ingeniero militar y arquitecto español que participaría en la construcción de El Escorial. Hacia el lado terrestre se dispusieron las cortinas flanqueadas por baluartes, delante un foso, y un campo abierto que despistaba y exponía al enemigo. Hacia el mar se disponía de baterías de cañones a diferentes cotas, y ya en el siglo XVIII, el castillo de San Felipe se unía con una cadena al de San Martin, como medida de defensa, imposibilitando la entrada de forasteros o enemigos. Todavía se pueden ver a día de hoy restos de las anclas de fijación de la cadena. En el interior zonas para aljibe, aprovisionamiento y habilitación para poder resistir un asedio por un determinado tiempo.
En los siglos venideros a su construcción, la ría de Ferrol fue víctima de varios ataques, tanto de Francia como Inglaterra, poniendo a prueba el sistema defensivo de las baterías y saliendo siempre victorioso. Parte de la famosa batalla de Brión se desarrolló alrededor del castillo de San Felipe.