De kern van Ravenstein is militair van aard, namelijk het ‘stein’ of kasteel dat Walraven van Valkenburg in 1360 heeft gesticht. Zijn stamslot stond meer landinwaarts bij Herpen, maar hij sloopte en verplaatste het kasteel naar een terrein aan de Maas vanwege de tolheffing op passerende schepen.
De nieuwe handelsnederzetting die tegelijk met het kasteel ontstond, ontwikkelde zich zo voorspoedig dat Ravenstein al in 1380 stadsrechten kreeg.
Dat leidde onmiddellijk tot het aanleggen van vestingwerken in de vorm van een omgrachting met aarden wallen. Toen kasteel en plaats in handen kwamen van de heren van Kleef, werden de aarden wallen vervangen door stadsmuren met torens en stadspoorten.
Ravenstein lag strategisch aan de Maas en vormde in de Middeleeuwen een belangrijke grensvesting. Het stadje was dus ook meteen een bron van strijd tussen de hertogen van Brabant en de graven van Gelre. In 1522-1526 kreeg Ravenstein een ruimere ommuring en werd besloten de vestingwerken te moderniseren door het aanbrengen van bastions aan de rivierzijde voor het plaatsen van zwaar geschut. Al weer kort na hun oprichting zijn ze op aandringen van keizer Karel V samen met de overige vestingwerken geslecht.
De enorme, massieve restanten van twee van deze bastions (ook wel rondelen genoemd) zijn in 1997 aan het licht gekomen tijdens dijkverzwaringswerkzaamheden. Ze zijn bij de restauratie van 1999 in het zicht gelaten.
Na afloop van de Tachtigjarige Oorlog eerbiedigden de Staten-Generaal van de Republiek de onafhankelijke positie van de nieuwe, katholieke heer van Ravenstein. Dat was de hertog van Neuburg. Het Land van Ravenstein bleef buiten Staats-Brabant en vormde een onafhankelijke, katholieke enclave.
Tijdens het rampjaar 1672 werden de vestingwerken door de troepen van Lodewijk XIV volledig geslecht, op de Maaspoort na. In ruwe vorm zijn ze nog herkenbaar aan het verloop van de omgrachting.
Van het oorspronkelijke kasteel is na een grondige verwijdering van de fundamenten in 1818 geen enkel spoor meer over.
De nieuwe handelsnederzetting die tegelijk met het kasteel ontstond, ontwikkelde zich zo voorspoedig dat Ravenstein al in 1380 stadsrechten kreeg.
Ravenstein lag strategisch aan de Maas en vormde in de Middeleeuwen een belangrijke grensvesting. Het stadje was dus ook meteen een bron van strijd tussen de hertogen van Brabant en de graven van Gelre. In 1522-1526 kreeg Ravenstein een ruimere ommuring en werd besloten de vestingwerken te moderniseren door het aanbrengen van bastions aan de rivierzijde voor het plaatsen van zwaar geschut. Al weer kort na hun oprichting zijn ze op aandringen van keizer Karel V samen met de overige vestingwerken geslecht.
In 1621 werd de vesting gemoderniseerd volgens het 
Van het oorspronkelijke kasteel is na een grondige verwijdering van de fundamenten in 1818 geen enkel spoor meer over.
