Peu de bâtiments parisiens accumulent autant de strates historiques. 

Les bains publics de Lutèce couvrent ici près de 6 000 m², élevés à la fin du Ier ou dans la première moitié du IIe siècle de notre ère. 

Près de 14 siècles plus tard, à partir de 1485, Jacques d'Amboise abbé de Cluny, en Bourgogne, fait bâtir sa résidence parisienne contre ces vestiges antiques, plutôt que de les abattre. 

Bien national à la Révolution, le site est morcelé, vendu par lots, transformé en logements, avant qu'Alexandre Du Sommerard n'y installe, dès les années 1830, sa collection d'art ancien. L'État rachète l'hôtel et ses quelque 1 500 objets en 1843, et le musée ouvre au public le 17 mars 1844.