Het eerste beleg vond al plaats in 1286 toen het naburige Gelre bedreigde. In 1323 werd de stad Grave een Brabants leen. In de machtsstrijd tussen Gelre en Brabant kreeg Willem van Gulik, Hertog van Gelre, in 1400 Grave in bezit, al bleef de stad een leen van Brabant. Belangrijk voor Grave werd hertog Arnoud van Gelre. In 1465 werd deze door zijn zoon Adolf ontvoerd en in Buren gevangen gezet. Pas in 1471 bevrijdde de Bourgondiër Karel de Stoute hem. Uit dankbaarheid schonk hij voor zijn dood zijn gebied aan Karel de Stoute. Het verzet hiertegen van diverse steden, maar vooral ook door Adolf's zoon, Karel van Gelre, duurde tot 1536.

Tijdens de Tachtigjarige Oorlog werd Grave tweemaal belegerd en veroverd, namelijk eerst in 1586 door de Spanjaarden onder Parma en in 1602 door Prins Maurits, stadhouder der Verenigde Nederlanden. In 1672 ging Grave over aan Lodewijk XIV, koning van Frankrijk. Twee jaar later wist het Staatse leger Grave weer in handen te krijgen. De zich fel verzettende Fransen maakten onder de aanvallende troepen maar liefst 16.000 (!) slachtoffers voordat ze Grave uit handen gaven. In de stad lag meer tegen de vlakte dan dat er nog overeind stond.

Na dit zware beleg werden de vestingwerken grondig vernieuwd. Het kasteel verdween en de Hampoort werd gebouwd. Nog eenmaal werd Grave belegerd en beschoten; in 1794 verdedigde generaal De Bons de stad tegen, opnieuw, de Fransen. Na enkele weken moest hij de strijd opgeven. Opnieuw lag de stad in puin. Pas in 1874 werd Grave als vestingstad opgeheven. De ontmanteling van de vestingwerken begon. Slechts restanten zouden bewaard blijven. Heden ten dage probeert het gemeentebestuur datgene dat er nog over is te restaureren en conserveren. Er wordt gewerkt aan een plan om de voormalige vestingwerken zo veel als mogelijk - en betaalbaar - is terug te brengen of anders te visualiseren of markeren.