Il museo del Mare è inserito nel complesso del mercato ittico e si compone di 4 sezioni: Museo delle Anfore, Museo Ittico, Museo della Civiltà Marinara, Antiquarium Truentinum. Fanno parte del circuito museale anche il Museo d’arte sul mare e la Pinacoteca del Mare.

La costruzione risale all'XII sec., quando il Vescovo di Fermo Liberto concesse ai Gualtieri la terra per costruire un castello sulla sommità dell'attuale Paese Alto. Dell'antico castello restano solo delle parti murarie inglobate negli edifici e la torre, a pianta esagonale e con merlature aggiunte inel 1901 su progetto dell’architeto Sacconi. Un tempo, quando il mare era arretrato di 500 m. e non vi erano altre costruzioni, dalla struttura si potevano sorvegliare ampie porzioni di territorio e di mare.

Rappresenta il punto conclusivo della passeggiata sul molo sud, lungo il quale si susseguono gli scogli/sculture e i murales del Museo d'Arte sul Mare.