Les seigneurs de La Roche creusent leurs premiers logis dans la craie du coteau à la fin du XIe siècle, à portée de l'Epte, ligne d'eau entre domaine royal et Normandie ducale.

Une tour maîtresse cylindrique est érigée sur l'éperon un siècle plus tard par Philippe Auguste. 

Au XVIIIe siècle, les La Rochefoucauld délaissent la place forte pour une demeure de réception au pied de la falaise, où la duchesse d'Enville reçoit Turgot et Condorcet. La Révolution fait décapiter le donjon en 1793 et la démolition s'arrête à mi-hauteur. 

Rommel installe le PC du groupe d'armées B dans le logis en mars 1944 et fait percer la falaise d'abris ; les bombes alliées tombent le 25 août.