Situat a la riba sud de la bocana del port de Maó, el castell de Sant Felip va ser dissenyat per l’enginyer Joan Baptista Calvi per defensar el port d’atacs i invasions pirates. Es va decidir construir-lo després de l’atac del pirata Barba-rossa a la ciutat de Maó (1535), el qual va arrasar la ciutat i va esclavitzar més de 3.000 maonesos. 

Originalment, el castell tenia una planta quadrada amb quatre baluards a cadascuna de les cantonades i estava envoltat d’un fossat. Tanmateix, després de la conquesta britànica i la posterior annexió de l’illa de Menorca a la Corona britànica el 1713, els enginyers britànics li van donar més profunditat i amplitud, i van construir al voltant de l’antic castell espanyol contraguàrdies, revellins i llunetes noves. Els fossats respectius s’enllaçaven els uns als altres en diferents nivells i li donaven la seva forma característica d’estrella de vuit puntes, i d’aquesta manera la van convertir en una de les principals fortaleses de l’època.

El castell va ser conquistat el 1756 per les tropes franceses i rendit també a les tropes espanyoles el 1782, que van recuperar Menorca per a la Corona espanyola després d’un dur setge de sis mesos. Carles III va ordenar la demolició del castell perquè l’illa no tornés a ser objecte de desig per a les potències estrangeres. Els britànics el van tornar a recuperar el 1798 i immediatament van dur a terme obres per a la seva reparació i reconstrucció. Després de la pau d’Amiens del 1802, Menorca va tornar a Espanya i el castell de Sant Felip va ser enderrocat i inutilitzat de manera definitiva.

Actualment es pot visitar una zona de l’obra exterior del castell, així com les seves galeries subterrànies, recuperades en part gràcies a la tasca del Consorci del Museu Militar de Menorca.