À partir du XIe siècle, les Montfort aménagent une forteresse sur cet éperon qui commande la vallée. Le site est ensuite agrandi et transformé par plusieurs phases de construction, dont un donjon rectangulaire vraisemblablement édifié au début du XIIe siècle. 

Hugues II de Montfort, connétable de Normandie, accompagne Guillaume le Conquérant en 1066 et reçoit d’importantes possessions en Angleterre, notamment dans le Kent.

Henri Ier Beauclerc l’assiège en 1124 et en confisque la garde. Les Montfort reprennent ensuite le château à plusieurs reprises, mais le pouvoir ducal en conserve le contrôle. En 1204, lors de la conquête de la Normandie par Philippe Auguste, le château passe au roi de France après avoir été en grande partie démantelé par Jean sans Terre.

L’histoire architecturale du site se poursuit par phases : les sondages de 2016 rattachent probablement la tour à éperon nord-est et sa jumelle à une construction centrée sur le XIVe siècle. Puis le château entre progressivement en ruine. Ses murs s’arasent, mais l’enceinte, les tours, le donjon, les courtines et les fossés en conservent encore la silhouette sur le plateau.