Au début du XVIIe siècle, Gaillac se relève des guerres de Religion et ses familles nobles rebâtissent à l'abri de l'enceinte. 
L'une d'elles décide de faire différemment : elle s'installe dehors, sur une pente qui tombe vers le Tarn, pour profiter d'un jardin de plusieurs hectares. 

Le terrain commande le dessin, ce qui explique la conception en terrasses. 
L'eau vient du coteau de l'Hortalisse, en amont : elle descend sous le château pour remplir les bassins l'un après l'autre. 
Une briqueterie provisoire est montée sur le chantier. 

Le domaine passe en 1722 dans la famille d'Huteau dont le nom reste écrit Hutaud sur l'arrêté de protection. 

Les habitants réclament ensuite le parc : la ville l'achète en 1903 puis y installe le musée en 1934.