Martinus van Elmpt, die visser was, en zijn echtgenote Ida Roemer stamden beiden uit Liempde, waar zij vele goederen bezaten. Een deel daarvan schonken zij aan het door hen gestichte Mannengasthuis, dat was bedoeld om een zestal oude mannen te huisvesten en te voeden. Drie dezer mannen moesten stammen uit het geslacht van Elmpt en drie uit het geslacht Roetaert. Tevens woonde in het huis eene stercke maechd, die tot taak had de mannen te verzorgen. In 1615 verdiende zij een jaargeld van 13 gulden, een paar schoenen, eene fijnen lobb ende eenen partie van den lynwaet dat men iaerlix int Mannengasthuis maeckt, waaruit blijkt dat de mannen moesten werken voor de kost. Ze bebouwden tevens een stuk land bij het huis en tevens verrichtten zij allerlei karweitjes in het dorp. Dat sommigen er gezond bij bleven, toont Maurits Roeters, die in 1791 zijn vijftigjarig jubileum als gasthuisman vierde en in 1807 overleed in de aanvallige leeftijd van 106 jaar.

Het reglement van 11 juli 1492 bepaalde, dat het huis bestuurd zou worden door 3 provisoren, te weten Hendrick Pelgrom, Willem Luynicx en Lambert Paulsen van Liempde. Tevens werden drie personen aangesteld, die het oppertoezicht zouden hebben, namelijk de prior van de kruisbroeders te 's-Hertogenbosch, de pastoor of vicecureit van Esch en de H. Geestmeester van Esch. Bij overlijden van de provisoren zou het bestuur overgaan op hun oudste zoon. Aangezien de provisoren meestal elders woonachtig waren, had in de praktijk meestal een van hen of een familielid van de erflaters het beheer over het huis. Zo kon het gebeuren, dat Jan van Elmpt, zoon uit het tweede huwelijk van Martinus van Elmpt, de goederen aan zich getrokken had en zelfstandig administratie voerde. Na zijn dood gingen de provisoren, de pastoor en de H. Geestmeester van Esch een proces aan met zijn erfgenamen, die in 1559 gedwongen werden de goederen terug te geven. Het is moeilijk na te gaan, hoe via vererving of uitsterving het provisorschap aan bepaalde families gekomen is. In de 17e en 18e eeuw worden leden van de geslachten Roetaert en Van Breugel als provisor genoemd, doch de gegevens zijn te fragmentarisch om een gesloten reeks samen te stellen.

Nauwkeuriger is het provisorschap te volgen langs de lijn Pelgrom. Deze familie woonde te Esch op de Ruitingh en leden daarvan hebben daadwerkelijk het Mannengasthuis bestuurd. Via Mr. Hendrick Pelgrom kwam het provisorschap op de gelijknamige Mr. Hendrick Pelgrom en via deze, met nog enige Pelgrom's daartussen, op Johan Pelgrom, die van 1640-1648 provisor was, waarna zijn weduwe de functie overnam. Van 1669-1701 fungeerde Herman Pelgrom als zodanig en in de jaren 1702-1708 zijn zoon Rombout Pelgrom. Van 1738-1753 was vrouwe Maria Anna Pelgrom (gehuwd met Maximilius van de Ghistelle) provisor. Op 4 mei 1753 deed zij afstand ten behoeve van haar neef Theodorus Princen, die provisor bleef tot 1777. Door het huwelijk van zijn dochter Isabella Maria met Johannes Josephus van Velddriel kwam het provisorschap aan deze familie en in 1808 aan de familie Verheyen door het huwelijk van de dochter van J.J. Velddriel met Gerardus Bernardus Verheyen, de vader van Leonard Josephus Verheyen, burgemeester van Esch. Vader en zoon voerden respectievelijk van 1808-1835 en van 1835-1885 alleen het beheer over het huis, aangezien andere provisoren niet meer werden benoemd. Op 23 juli 1883 deed L.J. Verheyen bij testament afstand ten behoeve van Mr. P.F. van Cooth, griffier van de Staten van Noord-Brabant, welk testament in 1885 in werking trad. Van Cooth is tot 1892 (?) provisor gebleven, in welk jaar hij het Mannengasthuis overdroeg aan de gemeente Esch. Sindsdien bestuurt de Raad der gemeente als provisorium de stichting.