La place-forte fut édifiée en 1031 par le Duc de Normandie, Robert le Magnifique  pour défendre le passage du Couesnon contre les incursions Bretonnes. Elle conservera ensuite sa position stratégique pendant tout le Moyen-Âge.

Période anglo-normande (1066-1204)

En 1135, Henri 1er d’Angleterre  fait construire un nouveau château sur les bords du Couesnon.

• Avant 1162 : Bertram de Verdun , sherif de Warwick et de Leicester.
• Vers 1162 : Aquilin des Fours, destitué par Henri II  en raison de ses pillages et exactions dans l’Avranchin.
• 1162-1172 : Robert de Thorigny , abbé du Mont-Saint-Michel.
• 1172-1204 : Guillaume du Hommet , connétable de Normandie.

Période bretonne (1204-1223)

Le titre de capitaine de Pontorson est ensuite attribué par les rois de France aux officiers de la Couronne.

• ?
• v. 1352-v.1355 : Arnoul d’Audrehem , Maréchal de France et lieutenant du Roi en Normandie. Il laisse la garde de la place-forte de Pontorson à ses lieutenants, en 1352 à Robert de Houdetot (grand-maître des arbaletriers du Roi et sénéchal d’Agenais) et en 1354 à Jean de la Heuse, dit le Beaudran.
• v.1356-1361 : Pierre de Villiers, capitaine de Pontorson et de Saint-James en 1357.
• 1361-1380 : Bertrand Du Guesclin , connétable de France.
• 1380-1407 : Olivier de Clisson , connétable de France.

Occupation anglaise (1418-1450)

• 1419-1426 : William de la Pole , comte de Suffolk.
• 1426-1427 : Pierre de Rostrenen, nommé capitaine de Pontorson par le connétable Arthur de Richemont  lors de la reprise éphémère de la ville par les Français.
• 1427-v.1449 : Thomas de Scales .

Période Française et guerres de religion

• ?
• v.1495-1501 : René Bourré, fils de Jean Bourré, argentier de Louis XI.
• 1562-1574 : Gabriel Ier de Montgommery  ?
• 15 juin 1574 à 1582 : Esme de Vambais (meurt le 6 juin 1582).
• 15 mars 1585 à 1590 : René de Vambais, Sieur de Fleurimont, capitaine et gouverneur pour le Roi de la Ville et château de Pontorson. Le 23 avril 1590 les habitants de Pontorson ouvrent leur porte au capitaine huguenot de Saint-Quentin qui, avec deux cents soldats vient prendre possession de la ville. René de Vambais résiste et le château reste entre ses mains. Le 6 juin de la même année, Saint-Quentin tente de s’en emparer. Il est renversé en montant à l’assaut et blessé mortellement pour le gouverneur en personne. Mais le château de Pontorson pliera sous l’assaut de Gabriel II de Montgomery et René de Vambais s’enfuira au Mont-Saint-Michel.
• 1591-1621 : Gabriel II de Montgommery , seigneur de Ducey.