Tijdens de Tachtigjarige Oorlog werd Grave tweemaal belegerd en veroverd, namelijk eerst in 1586 door de Spanjaarden onder Parma en in 1602 door Prins Maurits, stadhouder der Verenigde Nederlanden. In 1672 ging Grave over aan Lodewijk XIV, koning van Frankrijk. Twee jaar later wist het Staatse leger Grave weer in handen te krijgen. De zich fel verzettende Fransen maakten onder de aanvallende troepen maar liefst 16.000 (!) slachtoffers voordat ze Grave uit handen gaven. In de stad lag meer tegen de vlakte dan dat er nog overeind stond.
Na dit zware beleg werden de vestingwerken grondig vernieuwd. Het kasteel verdween en de Hampoort werd gebouwd. Nog eenmaal werd Grave belegerd en beschoten; in 1794 verdedigde generaal De Bons de stad tegen, opnieuw, de Fransen. Na enkele weken moest hij de strijd opgeven. Opnieuw lag de stad in puin. Pas in 1874 werd Grave als vestingstad opgeheven. De ontmanteling van de vestingwerken begon. Slechts restanten zouden bewaard blijven. Heden ten dage probeert het gemeentebestuur datgene dat er nog over is te restaureren en conserveren. Er wordt gewerkt aan een plan om de voormalige vestingwerken zo veel als mogelijk - en betaalbaar - is terug te brengen of anders te visualiseren of markeren.