De hertog had de gewoonte om bij geldgebrek een dorp of streek tegen betaling in pand te geven. Dit gebeurde in 1505, toen Philips de Schone, als hertog van Brabant, de heerlijkheid in pand uitgaf aan Cornelis de Glymes, heer van Zevenbergen en de zoon van Jan II de Glymes, heer van Bergen op Zoom. * Na diens dood in 1508 volgde zijn zoon Maximiliaan hem in Berlicum en Middelrode op. Na hem kwamen respectievelijk in 1521 zijn broer Lenaart en in 1523 zijn broer Cornelis voor. Deze Cornelis heeft de heerlijkheid weer terug moeten geven aan de hertog van Brabant, Karel V, die de pandsom teruggaf. * Cornelis behield evenwel de watermolen onder Schijndel en de heerlijkheid Zevenbergen, Heeswijk en Dinther. Deze laatste twee verkocht hij in 1555 aan Jan, graaf van Oost-Friesland. *
Bij de heerlijkheid behoorden de volgende rechten: de hooge, middelen ende leege heerlickheyt vande dorpe ende parochie van Berlicum ende Middelrode, mette warande, vroente, vogelrye, visscherye, keuren, breucken end allen amenden criminele ende civile, confiscatien, bastaerden goederen, met oock gevonden goden, houtwasch, gruyte, chijnsen ende alle henne toebehoorten. * Tevens het recht alle ambtenaren aan te stellen (drossaard, schepenen en borgemeesters).