Toen Martinus van Elmpt en zijn vrouw Ida Roetaert in 1492 het Mannengasthuis stichtten, hadden zij reeds een gebouw beschikbaar. Op 20 september immers had Martinus van Elmpt van Herman die Momber gekocht het huys, erve ende hof ter Horst of Nemerhorst by de brug, gelegen tusschen de dijck ende het lant van de Cathusers te Vught, streckende van de Aa tot het leen van Peter Colen. Deze Nemerhorst is hetzelfde huis als het Mannengasthuis, want als op 2 juni 1515 een cijns wordt afgekocht schrijft men: gaende uyt 't huys d 'Emerhorst als Mannengasthuys wert gebruyckt. De geschiedenis van het gebouw van de "gasthuismannen" gaat derhalve verder terug dan het jaar 1492. Reeds in het hertogelijk cijnsboek van c. 1340 komt voor: item van den Emerhorst de nov. VI d.. De Nemerhorst of Emerhorst was een hertogelijk cijnsgoed, dat 6 stuivers per jaar betaalde. Het was gelegen aan de rivier de Emer of Nemer en het is duidelijk, dat er naamsverwantschap bestaat tussen de Nemerlaer te Haaren en de Nemerhorst te Esch. Vermoedelijk is de Nemerhorst nog ouder dan 1340, aangezien in die tijd de naam Emer reeds in onbruik begon te geraken of was geraakt en men meestal sprak van de rivier de Aa. De Amerlaer of Nemerlaer te Haaren, die in oorsprong een omwaterde hoeve was, dateert van ca. 1100.

De oudstbekende eigenaar is Henric van Haaren, die in het cijnsboek van c. 1340 als eigenaar wordt genoemd. Daarna behoorde het goed aan Coel van Boxtel, die het op een niet nader bekend tijdstip verkocht aan Dirk Belensoen. De erfgenamen van laatstgenoemde, te weten Albrecht Dirck Belensoen en Jan soene Bela Dierick Belensoensdochter verkochten de Nemerhorst op 25 september 1382 aan Henrick van der Emerhorst, die vermoedelijk ook voordien het goed als pachter bewoonde. Via deze kwam het op zijn kinderen Jan en Heilwich van der Emerhorst. Op 13 september 1425 deed Aert Robbrechts, weduwnaar van Heylwich Hendricks van der Emerhorst, ten behoeve van zijn zwager Jan van der Emerhorst afstand van zijn rechten. In 1460 werd de Nemerhorst bewoond door Meeus of Bartholomeus die Momber, die in dat jaar genoemd wordt als eigenaar van een visserij in de Aa. Hij had het vruchtgebruik verkregen van Elizabeth van Strijpt, weduwe van Henrick Spelmaker, die een zoon was van Jan van der Emerhorst. Toen op 20 september 1485 Martinus van Elmpt het vruchtgebruik kocht van Herman, zoon van Bartholomeus die Momber, deden de gezamenlijke erfgenamen van Elisabeth van Strijpt op 8 oktober daarop eveneens afstand van hun eigendomsrechten, waarmede Van Elmpt dus eigenaar was.

De Nemerhorst, die meestal wordt omschreven als een "huis en hof" en ook wel als "erfenis met toebehoorten en gebouwen", was vermoedelijk een zg. omwaterde of versterkte hoeve, zoals er meerdere waren in Esch. Ook de latere kastelen De Ruitingh en Baerschot zijn uit dergelijke hoeven ontstaan. De Nemerhorst was belast met een halve oude groothertogcijns, 8 schellingen aan de kerk van Esch, alsmede een cijns van 30 schellingen. De halve oude groot hertogcijns (in 1340 6 stuivers) was mogelijk een gewincijns wegens ontgonnen land. De cijns van 30 schellingen was in 1384 in handen van Woutgher van Casteren en Giselbert die Snieder, die hem op 16 juni van dat jaar verkochten aan Henrick die Hoevesche. In 1515 heeft Marten van Elmpt deze cijns afgekocht.