Het verzoek van enkele protestanten in 1641, onder wie de gouverneur van 's-Hertogenbosch, toegelaten te worden tot de broederschap, leidde tot heftige interne discussies. Uitkomst in het jaar daarop was een volledige omvorming van de broederschap tot een instelling bestaande uit achttien katholieke en achttien protestantse leden (gezworenen) met aangepaste statuten. Toenadering tussen katholieken en protestanten werd het belangrijkste doel, hetgeen in protestantse kringen veel ophef veroorzaakte. De broederlijke maaltijden namen in de loop der jaren in aantal af. De armenzorg werd op de oude wijze voortgezet. Het systeem van buitenleden werd afgeschaft, het aantal Zwanenbroeders werd op maximaal vier gesteld. Van de twee proosten moest er een uit de katholieke lijn en een uit de protestantse lijn komen. De oudste proost heette voortaan regerend, de jongste toeziend proost. De financiële verantwoording kwam geheel bij de rentmeester te liggen: de proosten schreven geen rekeningen meer.

In de tweede helft van de achttiende eeuw werd het bestuur gewijzigd: voortaan waren er uit iedere lijn vier proosten, de oudste leden van de broederschap. Woonde men buiten de stad dan heette men proost honorair. In die tijd wordt sporadisch het begrip Illustre toegevoegd aan de naam van de broederschap, waarbij 'illuster' slaat op Maria, niet op broederschap. Vanaf 1778 werd een griffier benoemd die dienst deed als secretaris. Slechts zelden werd nog iemand als Zwanenbroeder benoemd, totdat in 1818 ter gelegenheid van het 500-jarig bestaan Prins Willem van Oranje (de later koning Willem II) gevraagd werd als Zwanenbroeder toe te treden. Zijn acceptatie leidde ertoe dat deze titel voortaan alleen aan vorstelijke personen werd verleend. Het Zwanenbroedershuis in de Hinthamerstraat bleef het middelpunt. Daar werd vergaderd en vonden de broederlijke maaltijden plaats. In 1846-1847 werd het in verval geraakte pand volledig vernieuwd. In de Tweede Wereldoorlog werd de broederschap door de bezetter opgeheven en werden haar bezittingen -voor zover ze die niet zelf tevoren in veiligheid hadden gebracht -geconfisceerd. Na de oorlog kregen ze die voor een deel terug.

Het Tweede Vaticaans Concilie bracht meer openheid in de katholieke kerk en beweging in de broederschap. Ze kon een nieuwe koers zoeken om het ideaal van 1642, toenadering tussen de christenen, te verwezenlijken. Geestelijke verdieping en bezinning werden toegevoegd aan de broederlijke maaltijden en voorzichtig zette de broederschap de deur naar buiten op een kier. Daarvoor maakte ze gebruik van het monumentale Zwanenbroedershuis, de kunstschatten en het archief. Momenteel bestaat de broederschap uit 36 leden (achttien uit iedere lijn), vier candidati (twee uit iedere lijn) en een groep candidandi. De zogeheten honorairen zijn leden die niet tot de kerngroep willen gaan behoren of ouder zijn dan 72 jaar. Een aantal leden van de koninklijke familie is Zwanenbroeder. Het Fonds Christen Armen is door de broederschap opgericht ten behoeve van de ondersteuning van armen en dak- en thuislozen in de stad 's-Hertogenbosch.