François Ier donne l'impulsion en 1521 : face à la menace des Habsbourg sur la frontière nord, Doullens doit être fortifiée. À partir de 1530, les ingénieurs du roi érigent des fortifications en grès aux bastions en as de pique, consolidées sous Henri IV par l'ingénieur Jean Errard. 

Après le traité des Pyrénées de 1659, la citadelle perd son rôle de verrou frontalier. Elle devient prison d'État, maison de force pour femmes, puis école de préservation pour jeunes filles : c'est la première du genre, ouverte le 1er janvier 1895. 

Deux guerres y superposent d'autres mémoires : hôpital militaire en 1914, puis blockhaus et camp de déportés pendant l'Occupation.