Sinds de zestiende eeuw bestond hier een oudemannenhuis, gesticht door de vermogende priester Aert Wouterse, genoemd Boekelaer van de Langen Straeten. In de negentiende eeuw daalde het vermogen van deze instelling en ook het aantal verpleegden, zodat men moest sluiten. Enkele overgeblevenen werden in gezinnen uitbesteed.
Pastoor Van Haaren trok zich het lot van de armen en gebrekkigen aan en vroeg de Zusters van J.M.J. hen te verzorgen in een gasthuis. De zusters vestigden zich in 1871 in een huis bij de Baardwijkse kerk. De pastoor wilde echter een ruimer klooster. Met steun van zijn parochianen en een vorstelijke gift van de in België woonachtige Douairière Antoon Smits, Vrouwe van Baardwijk, begon de bouw van een nieuw gesticht, dat genoemd werd naar haar man.
Voormalig Antoniusgesticht, nu Clemenshof, 1960 (collectie Jan Smits)
Het ontwerp was van architect P.T. Stornebrink uit Wijchen. Op 27 juni 1889 werd het huis aan de Loeffstraat 48, op de hoek van de tegenwoordige Hoefsteeg, ingewijd en door de zusters betrokken. Er was een vleugel voor de verzorging van oude mannen, er waren schoollokalen en een zusterverblijf.
In 1924 werd het klooster gemoderniseerd en kwamen er twee lokalen bij. Tijdens de renovatie woonden de zusters in het oude raadhuis van Baardwijk. In 1931 volgde opnieuw een uitbreiding.
De zusters bleven er tot 1959. Het klooster is in 1960 door architectenbureau A. van Hulten en K. Mekel uit Waalwijk verbouwd tot bejaardenhuis Sint Clemenshof. De laatste zuster verliet Waalwijk in 1970. In 1985 is het klooster met alle aanbouwen gesloopt. Er staan nu woningen.
Bron: Jan Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant. Alphen a/d Maas, 2010
