Waarschijnlijk stond in de Blauwstraat, die ooit Gasthuisstraat heette, al in 1431 een stedelijk gesticht voor wezen en armen. In 1803 werd dit weeshuis gesplitst in een katholiek en een protestants gedeelte. Tot 1859 stond het onder gezag van het gemeentebestuur.
In 1807 kochten de katholieke regenten het gebouw op de hoek van de Rozenmarijnstraat, dat in 1819 geheel vernieuwd werd en een andere voorgevel kreeg. In 1846 namen de Franciscanessen van Roosendaal de zorg voor de wezen op zich. In 1859 vond een bestuurlijke overdracht plaats, waarbij de regenten door de bisschop van Breda werden benoemd. De zusters gaven hun werk na moeilijkheden met de regenten in 1867 op.
Het beheer van het weeshuis werd datzelfde jaar nog overgenomen door de Franciscanessen van Dongen. Ze verzorgden er fröbel- en lager onderwijs, hadden een naaischool met costumière-, lingerie- en coupeuse-opleidingen, en gaven lessen in koken, typen en steno. In 1919 breidden de zusters hun activiteiten uit met het geven van huishoudonderwijs.
Toen er midden negentiende eeuw een rector werd aangesteld, besloot men een vrijstaande kapel te bouwen. Dat werd mogelijk gemaakt door de milddadigheid van Elisabeth de Wit. De kapel werd ontworpen door P. Soffers en de inwijding ervan vond plaats op 2 september 1865.
De communiteit is opgeheven in 1955. Een plan uit 1958 voor een nieuwe kapel en een zusterklooster is nooit uitgevoerd. Zowel het oude katholieke als het protestantse weeshuis zijn in 1978 gesloopt. De nieuwbouw van architect Oomen moest plaatsmaken voor bejaardenwoningen en bibliotheek De Beierd.
Het gebouw was van een grote eenvoud. Boven de ingangsdeur was de huisnaam geplaatst. Een uitbreiding van het klooster door architect Oomen was gebouwd tegen het oude gebouw. De kapel onder plat dak had een opvallende glaspui en een ranke rechthoekige toren met bovenin een klok.
Bron: Jan Smits, Vademecum van religieuzen en hun kloosters in Noord-Brabant. Alphen a/d Maas, 2010
Foto: Collectie Rijksdienst voor het Cultureel Erfgoed, nr. 110.460. Fotograaf: G.J. Dukker, 1966
Het beheer van het weeshuis werd datzelfde jaar nog overgenomen door 
