Intussen had de abdij in 1649 een huis in Vilvoorde bij Brussel verworven. Daarheen verhuisden toen enkele abdijleden, de abt in 1657. Toch ontstond daar slechts heel aarzelend een bescheiden vorm van kloosterleven. Meer dan een refugiehuis is het nooit geworden. De abdijleden wilden hun uitkering van de Staten van Holland niet kwijtraken en bleven liever in stilte in hun parochies dan aan een avontuur met ongekende afloop in het zuiden beginnen. De pastoor van Heeswijk bleef op het Slotje wonen. In 1724 verwierf de abt het Slotje voor een erfpacht die in 1785 afgekocht werd. Toen was het Slotje weer bezit van de abdij.
Nadat de prior en de provisor in 1794 uit Vilvoorde gevlucht waren uit angst voor het Franse regime, keerden ze er het jaar erop nog even terug. De inlijving van de Oostenrijkse Nederlanden in dat jaar was de reden dat Berne in 1796 zijn Vilvoordse onderkomen verliet en zijn blik definitief noordwaarts richtte.