À Port-d’Envaux, le château de Panloy révèle plusieurs strates d’histoire. Ses pavillons d’angle à colonnettes évoquent un état ancien, probablement issu de la fin de la Renaissance. Le pigeonnier, daté de 1620, rappelle l’importance du domaine. 

Au XVIIIe siècle, une campagne de travaux renouvelle l’édifice. En 1785, l’alliance entre Anne Marie Michel de Saint-Dizant et Henri de Grailly ouvre l’ère des Grailly à Panloy. 

Un incendie frappe l’aile droite en 1812 ; elle est ensuite reconstruite. Au XIXe siècle, le toit à la Mansart disparaît et les lucarnes évoluent. En 2021, la DRAC documente la restauration du pigeonnier.