Avant de devenir musée, ce bâtiment du centre d'Alligny-en-Morvan est longtemps le cœur du village : relais de poste, puis bar, hôtel, restaurant et petite ferme au fil des décennies. 

Fermé en 1999, il passe d'abord dans le patrimoine communal en 2005, avant que la communauté de communes des Grands Lacs du Morvan ne le transforme, à partir de 2012, en lieu de mémoire. Le musée ouvre ses portes le 29 avril 2016. 

Dès la fin du XVIIIe siècle, les nourrices morvandelles se sont taillé une réputation à Paris. Entre 1807 et 1891, 46 700 enfants de l'Assistance Publique sont placés dans le Morvan. Les derniers placements s'éteignent dans les années 1970.