In 1964 verhuisden de Missionarissen van de Heilige Familie hun kleinseminarie, tot dan toe bekend als Missiehuis St. Antonius, van Kaatsheuvel naar Vught. Het gloednieuwe seminariegebouw dat werd betrokken kreeg als naam "De Steffenberg".
De vleugel waarin het internaat was gevestigd telde maar liefst vier verdiepingen en lag achter een vierkante kapel. Er was een aparte vleugel waar de paters woonden en een kleine vleugel voor het groepje Missiezusters van de H. Familie uit Baarlo die de keuken en de ziekenzaal beheerden. Ook was er een grote sportzaal, die tevens dienst deed als filmzaal en als theater voor de toneelstukken die de leerlingen van tijd tot tijd opvoerden.
