Une résidence seigneuriale occupe la colline dès la fin du XIIIe siècle. Au milieu du XVe, le bailli du Berry, Jean Dumesnil-Simon, représentant du roi dans la province, achète le fief et fait bâtir l'essentiel du logis actuel. 

Une famille berrichonne, les Agard, représentée par le chevalier Antoine Agard, le rachète en 1682. Son fils, Pierre Agard, obtient de Louis XV que les terres soient érigées en marquisat. Son descendant, Jérôme de Maupas, émigre à la Révolution : le château est confisqué puis vendu comme bien national. 

La famille de Maupas n'en récupère qu'une partie sous le Consulat. Au siècle suivant, l'un des marquis, Auguste Marie de Maupas, devient sous-gouverneur du comte de Chambord, Henri d'Artois, l'héritier des Bourbons qui n'a jamais régné. À partir de 1860, une campagne de travaux rhabille la demeure dans le goût néogothique, un Moyen Âge réinventé au XIXe siècle.