L'entrée basse de la vieille ville se fait par la porte Saint-Martin, dite aussi porte de Bas ou de Nevers, du nom d'une lignée de seigneurs de Saint-Valery. Elle a été reconstruite à l'identique après le bombardement de 1940.
La porte de Nevers donnait autrefois directement sur la grève. Construction haute à pignon pointu, elle comporte une base en grès et galets et des élévations en brique, indice du remaniement sous Henri IV. Sur la façade, les armoiries des ducs de Gonzague-Nevers, seigneurs de Saint-Valery, ont été abîmées à la Révolution. La devise " Fides " figurant sur une petite pierre au-dessus est devenue celle de la ville.
Elle ménage un passage voûté en cintre brisé dans lequel on aperçoit les encoches des bras d'un pont-levis et l'entrée du corps de gardes, transformé en cachots. Au-dessus, le presbytère occupe l'ancienne chambre de veille.
Devant la porte se trouve un vestige de l'enceinte fortifiée, la Tour Jeanne d'Arc. A l'extrémité de la place du Jeu de Battoir, la tour des Anges a été bombardée en 1593 par le comte Mansfeld pour permettre l'entrée de l'armée espagnole venue reprendre la ville aux huguenots.
)