En el año de 1543 Santa Marta fue atacada por el pirata francés Roberto Ball y las tomas continuaron en los años sucesivos, hasta tal punto que de 1655 a 1692, fue quemada en 19 veces. Esto obligó a las autoridades españolas a construir, entre los siglos XVII y XVIII, seis fuertes para resguardar la ciudad.
Uno de estos fue San Fernando, construido en el año 1725 en las estribaciones del cerro La Pedrera, entre las playas San Carlos y Lipe, en el costado sur de la bahía samaria, en honor al futuro Rey Fernando VI.
Establecerlo allí era necesario, pues mientras las otras ciudades de la región prosperaban, Santa Marta veía cómo las flotas de galeones se alejaban de su puerto debido a que los ataques de los piratas y bucaneros se repetían con frecuencia y su población disminuía.
Las otras fortalezas construidas (San Juan, San Vicente, Nuestra Señora de la Caridad, en Punta Betín y San Antonio) fueron desapareciendo con el tiempo y solo la Isla del Morro y San Fernando quedaron en pie.
El primero está a la vista de todos, frente a la bahía, cual centinela de la ciudad; el segundo, escondido en predios de una guarnición militar (la Primera División del Ejército y Batallón Córdoba), invisible a los ojos de nativos y turistas, muchos de los cuales desconocen su existencia. Ambos fueron declarados Patrimonio de la Nación.
