Rond het begin van de veertiende eeuw vormde zich in 's-Hertogenbosch een groep geestelijken (clerici en scolares) die zich gezamenlijk bezighielden met de verering van Maria in de Sint-Janskerk. In 1318 kreeg deze groep een officiële status, toen de bisschop van Luik er zijn goedkeuring aan hechtte en tevens regelingen voor de vieringen vastlegde. In de Sint-Jan beschikte de broederschap over een eigen kapel, die in de loop der tijd steeds rijker versierd werd (altaar van Adriaan van Wesel, schilderingen van Jeroen Bosch). Naast het vieren van diensten daar organiseerden de broeders samen met anderen de jaarlijkse Maria-processie, waarin ze hun eigen -helaas verloren gegane- Mariabeeld meevoerden. Twee proosten, die jaarlijks op zaterdag voor het feest van Sint de Doper (24 juni) gekozen werden, leidden de broederschap. De leden betaalde intredegeld en doodschuld. Deze laatste verplichting konden ze geheel of gedeeltelijk al tijdens hun leven betalen. Ook betaalden ze nog eens bij een belangrijke maatschappelijke bevordering.

Vanaf 1371 konden mannen en vrouwen van binnen en buiten de stad, die geen clericus waren, als buitenlid toetreden. De leden die tot de kerngroep behoorden, heetten sindsdien gezworen broeders. Via provisoren, een soort agenten, werden buitenleden geworven. De provisoren inden de intredegelden en de doodschulden, waartegenover opname in de broederschap met alle eraan verbonden voordelen verbonden stond, zonder de verplichtingen van de gezworen broeders inzake de vieringen in de Sint-Jan. Eens per jaar ontvingen ze evenals de gezworen broeders een kaars om op Maria Lichtmis (2 februari) te branden. Onder de gezworen leden telde de broederschap belangrijke lieden. Een groot deel van de elite van de stad was gezworen broeder: schepenen, notarissen, stadssecretarissen, juristen etc. De status van clericus werd overigens op den duur steeds minder dwingend.

Een nieuw instituut binnen de broederschap is dat van Zwanenbroeder. Vanaf 1384 vinden we zwanen op tafel bij de gezamenlijke maaltijden van de gezworen broeders, meestal geschonken door de hoge adel. Deze schenkers kregen sinds 1488 de naam Zwanenbroeder. Op deze wijze konden edellieden van binnen en buiten de stad lid worden van de steeds prestigieuzere broederschap, die eind 15e-begin 16e eeuw mateloos populair werd ten gevolge ruime aflaten die verdiend konden worden door haar leden en bezoekers van haar kapel. Korte tijd later werd het schenken van een zwaan losgekoppeld van de titel zwanenbroeder. Willem van Oranje is een van dergelijke Zwanenbroeders. Officieel konden sinds 1520 slechts vier personen tegelijkertijd Zwanenbroeder zijn en moesten ze uit de stad afkomstig zijn. Deze regeling verwaterde echter spoedig.

De hoofdtaak van de broederschap, de Mariaverering, was in de loop er tijd steeds complexer geworden. De broederschap had een deken in dienst voor de misvieringen, waarin een eigen diaken en subdiaken het evangelie en het epistel lazen. Aan het altaar in de kapel was inmiddels een kapelanie verbonden. Professionele zangers, van wie enkele met een eigen beneficie, en een organist stonden borg voor aanvankelijk gregoriaanse, later ook polyfone muziek. Rondom de eredienst waren ook ordebewaarders (bastonniers) en een koster werkzaam. De kapel van de broederschap was gereed gekomen rond de tijd van de officiële oprichting van de broederschap. Na een nieuwe kapel in gebruik genomen te hebben in 1426, betrok de broederschap opnieuw een nieuwe kapel in de Sint-Jan in 1494.

Ook de groei van de broederschap vroeg om een meer gedetailleerde organisatievorm. Ten behoeve van de continuïteit in het bestuur werd ieder jaar één nieuwe proost gekozen, de jongste proost. De jongste proost van het jaar tevoren promoveerde tot oudste proost. Vanaf 1496/1497 werd dit duo in financiële zaken bijgestaan door een rentmeester. Deze inde de grote hoeveelheid cijnzen waarover de Broederschap inmiddels beschikte en die in de zestiende eeuw aangevuld werd met voornamelijk losrenten op overheidsorganen, zoals de stad 's-Hertogenbosch en de Staten van Brabant. Tevens legde hij verantwoording erover af in zijn jaarlijkse rekening.

Met het aanvaarden van schenkingen, maar ook op eigen initiatief, nam de broederschap ook andere verplichtingen op zich. De belangrijkste daarvan bestond uit uitdelingen van brood aan de armen, de spijnden. Deze taak droeg de broederschap over aan de Tafel van de Heilige Geest, een stedelijke instelling die hierin gespecialiseerd was, totdat beide instellingen gebrouilleerd raakten en de broederschap vanaf 1590 de uitdelingen weer zelf ter hand nam.

In het begin van de zestiende eeuw raakte de broederschap ook betrokken bij enkele andere broederschappen in de Sint-Jan, zoals de Broederschap van het Eerwaardig Heilig Sacrament, die zich toelegde op de verering van het Heilig Sacrament, onder meer door diensten en preken, en de Broederschap van de Zoete Eerwaardige Naam van Jezus. De relatie met de broederschap die zich de Baar van Alle Gelovige Ellendige Zielen noemde, ging zelfs zover dat de jongste proost qualitate qua een van drie provisoren ervan was.

Een indirect maar zeer belangrijk gevolg van de activiteiten van de broederschap was het saamhorigheidsgevoel en het netwerk dat opgebouwd kon worden rond de bijeenkomsten. De gezamenlijke maaltijden vormden een uitstekende mogelijkheid persoonlijke banden te smeden en te versterken. Vonden deze eerst bij de individuele leden thuis plaats, vanaf 1483 bood het huis dat de broederschap in dat jaar was nagelaten door hun medebroeder Gijsbert van der Poorten in de Hinthamerstraat vlakbij de Sint-Jan, een goede gelegenheid hiervoor.

De tweede helft van de zestiende en de eerste helft van de zeventiende eeuw betekende voor de broederschap een tijd van overgang. Het aantal buitenleden liep drastisch terug en de opkomende nieuwe religie verstoorde de broederschap danig. De val van 's-Hertogenbosch in 1629 luidde voor de broederschap een nieuwe tijd in. Omzichtig kon de broederschap voortbestaan door te beweren geen kerkelijke instelling te zijn. Hun kernactiviteit, de Mariaverering, werd stopgezet.