Construída por ordem de Filipe I (1527-1598), segundo traçado dos arquitetos Filipe Terzi e,  após a morte deste (1598?), Francisco Turriano. Do cerro sobranceiro ao mar onde foi erguida, esta soberba estrutura militar domina por completo a entrada do Sado e, em simultâneo, subjuga a própria cidade, outrora ao alcance dos seus canhões. Já se vê que a fortaleza de São Filipe cumpria uma dupla função defensiva: enquanto se mantinha alerta para os perigos que as águas traziam, vigiava, atenta, os movimentos do burgo!

Do mar vinham os já tradicionais ataques da pirataria norte-africana e francesa. A esta juntavam-se, então, os ataques de ingleses e de holandeses, que em finais do século XVI estavam em guerra com Espanha. Por outro lado, o ocupante espanhol, se tinha como seguro o apoio das elites portuguesas, devia recear as classes populares, que lhe eram adversas.

Os maciços, imponentes, inamistosos e ameaçadores baluartes, as entradas austeras e as guaridas contribuem, decisivamente, para reforçar essa vocação da fortaleza filipina.

Os trabalhos de construção de São Filipe tiveram início em 1582, com a presença do próprio rei.

A planta da fortaleza desenha uma estrela de seis pontas, traçado sinuoso a que não é alheio o acidentado do terreno onde lança profundos alicerces.

Na fortaleza há, ainda, a destacar uma pequena capela joanina, de planta retangular. As paredes interiores e a abóbada estão completamente forradas de ricos azulejos, parte dos quais narram a vida de São Filipe. Na abóbada admira-se, em intensa composição barroca, o escudo real. Na capela-mor, muito discreta, com altar em talha dourada, destacam-se pequenos painéis de temática mariana, datados de 1736 e assinados pelo mestre Policarpo de Oliveira Bernardes.