Pontorson doit son nom à « Orson », un chef normand. Celui-ci fit construire un pont sur le Couesnon  en 1031 à la demande de Robert le Diable , père de Guillaume le Conquérant . L’ouvrage permit à ses troupes de traverser la rivière au retour d’une expédition en Bretagne. Par usage, le pont d’Orson a donné le nom à la ville.

Entre 1590 et 1628, Pontorson fut une place forte protestante. Gabriel Ier de Montgoméry , chef de file du protestantisme, fut nommé gouverneur de la ville après en avoir pris possession en 1590. Le démantèlement de la forteresse de Pontorson et de son château eu lieu à partir de 1623, sous l’ordre de Louis XIII .

Il a aujourd’hui complètement disparu, détruit au XVIIe siècle par la sape et la mine. On sait néanmoins grâce aux recoupements des plans anciens et du cadastre Napoléonien où il se situait. À son emplacement, dit « Le Colombier – Secteur actuel du Boulevard Clemenceau / Rues Wassenberg et Grenouillère » on retrouva des pierres sculptées. Un des vestiges du château se situe aujourd’hui dans le jardin public. Il s’agit d’un contrepoids de pont-levis.

« (…) Le château de Pontorson a complètement disparu, à part un bloc de maçonnerie qui a roulé au bord de la rivière, et qu’on appelle la Masse. L’emplacement était le terrain dit le Colombier, dans lequel on trouve des murs, des voûtes, et même des souterrains dont l’un allait, dit-on, au Mont-Saint-Michel et l’autre à Caugé. On y trouve aussi des matériaux plus récents, des plâtres avec des moutures. Le château, baigné par la rivière, s’appuyait au pont, vers lequel il était défendu par deux tours, dites les Tours-Brettes, qui flanquaient le pont. Entre ces tours et les anciens moulins, au rapport de dom Morice, subsistait encore en 1403 une pierre carrée, d’environ deux pieds et demi sur chaque face, armoriée vers la Normandie des armes de France, et vers la Bretagne des armes de cette province. Duguesclin avait posé cette limite des deux territoires, et, à cette occasion, avait distribué beaucoup de noix aux enfants, afin qu’ils conservassent le souvenir de ce qui venait d’être fait. (…) ».

La Revue de l’Avranchin et du pays de Granville de juin 1988 LXV n° 335, nous apporte des éléments importants sur la forteresse :

« La Forteresse étant tournée avec son donjon en défense principale au Sud-ouest, contre la Bretagne (…) La puissance du donjon résidait dans sa hauteur au moins 60 pieds (18.3m) et dans sa carrure : un appareil quadrangulaire en blocage de 40 pieds (12.2m) d’épaisseur qui renfermait 3 étages en surface et 2 en sous-sol. La grande salle qui servait d’auditoire occupait le premier. Au deuxième (…) la chambre du gouverneur au troisième (…) les enfants et les hôtes (…) Sous-sol, magasin et prison. (…) un perron et une guette en encorbellement au sommet viendront dans la suite compléter l’ensemble.(…) Les murs d’enceinte avec leurs revêtements furent solidement appareillés. Dans l’épaisseur de la muraille couraient des chemins de ronde, mettant en communication les tours et les courtines. Le tout sera hourdé au début du XIIIème siècle. Le plan de 1616 laisse encore apparaître les anciens plans de l’ancienne ville médiévale, les 4 rues principales qui convergeaient à l’ouest sur la porte Saint-Michel donnant accès sur un pont-levis enjambant une déviation du Couesnon à l’Est l’accès piétonnier n’était possible que par la porte de Bretagne ouvrant sur le baille arrière du château qui en commandait l’accès. Cette paterne qui se dressait à la hauteur de l’actuel hôtel Du Guesclin à cent mètres environ à gauche du passage à niveau de la voie ferrée donnait accès à la rue Notre Dames qui conduisait à l’Eglise. (…)
Le cimetière (autour de l’église) ne disparaîtra qu’au milieu du XIXème siècle lorsque sera percé l’axe transversal (route de Beauvoir) laissant à droite le nouveau cimetière. De ce côte se voyait la porte de CAUGÉ, en direction du Mont. »

Le Maire de Pontorson en 1809, a fait extraire de très belles pierres pour servir à la construction d’un pont à portes de flot, situé sur le chemin vicinal de Saint-Georges-de-Grehaigne, à l’endroit où il est croisé par le canal de dessèchement du marais du Mesnil. Postérieurement à 1809, les maisons des sieurs Le Sénéchal et Allendy ont été en partie construites avec des matériaux provenant des fondations de l’ancienne forteresse. Ces fouilles ont procuré l’occasion de reconnaître l’existence de construction souterraines établies avec des pierres dont la taille était très-soignée.

Concernant l’un des souterrains, il est indiqué page 450 du livre sur l’Histoire de la Petite-Bretagne, que l’Abbé François MANET  a vu le souterrain de Pontorson dont parle la tradition : « Nous avons vu dans notre enfance, près du grand chemin conduisant à CAUGÉ, un souterrain obscur et couvert, se dirigeant vers la Guimbarde ».

Il reste beaucoup de zones d’ombres autour de la forteresse.