IJsselstein heeft zich in de loop van de geschiedenis, en met name in de 14 en 15e eeuw, herhaaldelijk moeten verdedigen tegen vijandelijke troepen, veelal veroorzaakt door financiële en politieke conflicten van de Heren van IJsselstein. De middeleeuwse vestingwerken bestonden uit een kasteel, omgrachting, muren, poorten en een aarden wal. In 1511 is de vesting voor het laatst belegerd; daarna hadden de stadspoorten en de stadsmuur vooral een beschermfunctie tegen dieven en smokkelaars.

Vanaf de 16e eeuw raakten de verdedigingswerken in verval. Geleidelijk werden ze gesloopt: eerst de verschillende torens, later de stadspoorten (1851) en in tenslotte het kasteel (1888).

De poorten zijn later in eigentijdse stijl herbouwd. In 1999 zijn de restanten van de stadsmuur aan de Walkade gerestaureerd. Het Vestingplantsoen ligt onder aan deze muur in een dicht geplempt gedeelte van de voormalige stadsgracht. De kloostermoppen waaruit de oorspronkelijke stadmuur is opgetrokken zijn daar goed zichtbaar.