Le musée du Jouet de Poissy a pris ses quartiers au sein de l'ancien prieuré de Poissy, inscrit au titre des monuments historiques. Ce qui reste aujourd'hui du prieuré royal tient en un porche.

Philippe le Bel veut honorer son grand-père Saint Louis, né à Poissy et canonisé en 1297. 
Par lettres de juillet 1304, il installe ici un couvent de dominicaines. L'enclos couvre 48 ha derrière 3 km de murs.
En 1561, le réfectoire réunit catholiques et protestants pour tenter de s'entendre. La tentative échoue.
 

La Révolution vide les lieux. L'église est vendue à un démolisseur et ses pierres partent dans les chantiers voisins. La porterie, elle, reste debout. C'est ici que le musée est créé en 1972. Il ouvre officiellement ses portes en 1976.