Een van de belangrijkste concrete doelstellingen van het Genootschap was de oprichting van een wetenschappelijke bibliotheek in Noord-Brabant, die zich in het bijzonder op deze provincie toelegde. Bij de stichting van het Genootschap was de uitgelezen persoon hiervoor Dr. Hermans. Hij stond aan de wieg van wat later uitgroeide tot de grootste collectie Brabantica. De bibliotheekcommissie bestond uit drie leden, die moesten waken voor de goede zorg die aan de bibliotheek werd besteed.

N.B.

De Brabant-Collectie is in 1837 in 's-Hertogenbosch opgezet door het Provinciaal Genootschap van Kunsten en Wetenschappen in Noord-Brabant en wordt sinds 1986 beheerd door de bibliotheek van de Universiteit van Tilburg. Het onderwerp is voornamelijk het verleden van Noord-Brabant. De Brabant-Collectie bestaat uit:
Boeken en tijdschriften (nieuwere collecties)
Prenten, kaarten, handschriften, oude drukken en kranten (oude en bijzondere collecties)
Film- en Fotobank Noord-Brabant (beeld en geluid).
Bron:
http://www.thuisinbrabant.nl/collecties/brabant-collectie

Het boekenbezit groeide snel, niet in het minst door de aankoop van de omvangrijke verzameling van H. Palier in 1839-1840. In 1841 kon de bibliothecaris meedelen dat de catalogus van de bibliotheek al gedrukt was. Naast boeken werden ook stenen, archeologische voorwerpen en kunstobjecten verzameld. Zo beheerde de bibliothecaris ook een tijdlang een grote schelpencollectie. De dood van Hermans op 14 december 1869 bezorgde het Genootschap een legaat, bestaande uit het portret van Hermans en diens verzameling boeken en handschriften, dat voor achthonderd gulden werd aanvaard. Een forse uitbreiding onderging de bibliotheek, toen het Genootschap rond 1900, opnieuw dankzij een legaat, verscheidene boeken en prenten kon kopen uit de grote veiling van voorwerpen, afkomstig uit het kasteel van Heeswijk.

De huisvesting van deze grote partij goederen en museale voorwerpen bleef de jaren door een zorgenkind van het Genootschap. Bij de oprichting had de stad een genereus gebaar gemaakt door enkele lokalen boven de Latijnse School aan de Papenhulst ter beschikking te stellen. De snelle aanwas van het boekenbezit in de oude school stond de dienstverlening danig in de weg en in 1848 schreef Hermans al in zijn jaarverslag: Het locaal dat al deze verzamelingen bevatten moet, is geene openbare bibliotheek meer, neen, het is een pakhuis geworden. De het jaar tevoren ingestelde commissie tot onderzoek van de lokalen velde eveneens een vernietigend oordeel. Een lid van het Genootschap, J.P. Laffertée, architect, ontwierp een nieuw gymnasium, waarvan de eerste verdieping ingericht zou kunnen worden als bibliotheekruimte. De gemeente 's-Hertogenbosch verklaarde zich met het ontwerp akkoord, maar pas eind 1854 vond de aanbesteding plaats en medio juni 1856 werden de Genootschapsbezittingen ondergebracht in de nieuwe behuizing aan de Papenhulst.

Negen jaar later al bleek de stad deze verdieping van het gymnasium zelf nodig te hebben voor de Rijks Hogere School voor Middelbaar Onderwijs. De gemeente stelde voor op haar kosten een nieuw 'lokaal' te scheppen in twee verdiepingen boven de gemeentelijke boterhal. Met name de bibliothecaris verzette zich hevig, maar het mocht niet baten. In april 1866 werd het gymnasium al verlaten en vonden de verzamelingen een tijdelijk onderkomen in de bovenlokalen van de Korenbeurs. Het jaar daarop tekende de toenmalige voorzitter, mr. R. Twiss, een contract met de gemeente waarin de gemeente toezegde voor een lokaliteit voor de berging van de boeken en de overige verzamelingen te zullen zorgen en waarin het Genootschap zich verbond zijn bezittingen niet zonder toestemming van de stad te zullen verkopen, een belofte die het geruime tijd tevoren ook al aan de provincie had gedaan.

In het voorjaar van 1868 kon het nieuwe gebouw betrokken worden. Maar de nieuwe verdiepingen waren niet berekend om zulke gewichtige boeken te dragen, telkenmale moest de gemeente bijspringen om te stutten en te steunen. In 1892 meldde de bibliothecaris Van der Steen al dat de ruimte in de bibliotheek vol was, maar nog vele jaren zou hij zich moeten behelpen. Het legaat dat mr. C.P.D. Pape in 1922 aan het Genootschap naliet, een bedrag van 110.000 gulden kwam dan ook als een geschenk uit de hemel. Eindelijk kon het Genootschap uitkijken naar een nieuw gebouw.