Architekt en aannemer van het klooster zijn onbekend. Het grondplan toont de typische structuur van een klooster van de bedelorden: vier vleugels in twee bouwlagen en zolder rondom een open binnenplaats. De bouwstijl doet vermoeden dat de bouwheer een Vlaming is geweest. Nauw betrokken bij de bouw waren twee lekebroeders van de Vlaamse karmelieten, broeder Jaspard, die ook een bestek maakte voor een „plaisir huysken” van graaf Albert, en broeder Macarius Berlele. Deze laatste, bekend om zijn architektonische bekwaamheid, was nog in 1663 belast met de inspektie van nieuwe kloosters in Vlaanderen. De aanwezigheid van een vrij groot aantal lekebroeders rond 1653 en de geringe uitbetaling aan vakmensen uit Boxmeer zelf doen vermoeden dat leden van de karmel zelf het eerste deel van het klooster hebben gebouwd. Dit deel, de noordelijke vleugel met een (voorlopig) kleine haakse uitbouw naar het westen, kwam reeds in 1653 gereed. De bouwkosten bedroegen 10680 gulden (Het dagloon van een geschoold arbeider bedroeg toen een gulden). In 1662 kwam.het oostelijk deel gereed en enkele jaren later de ruimten voor de pastoor en een spreekkamer. Onder het prioraat van Clemens a S. Adriano Neckebroeck (1709-1715) werd de hele bouw voltooid.
Opvallend is dat de fraaie voorgevel van het klooster aan de tuinkant en niet aan de straatzijde ligt. Het is goed mogelijk dat de Vlaamse karmelieten, die een strenge kloosterobservantie voorstonden, aldus de voornaamste trek van hun spiritualiteit wilden uitdrukken: een leven met God, in stilte, ingekeerdheid en gebed.
Naast het klooster verrees in 1707 de latijnse school met 4 kleine zalen in twee bouwlagen plus zolder. Bij de groei van de Nederlandse karmel werd in 1927 aan de noordoostelijke tuinkant een groot noviciaatsgebouw neergezet, dat na 1967 een bredere bestemming kreeg. Thans zijn noviciaatsgebouw en latijnse school opgenomen bij de woon- en werkruimten van de Boxmeerse kloostergemeenschap bestaande uit broeders en zusters, die volgens de oude Karmelregel met elkaar willen leven in gebed en contemplatie, apostolaat en dienstbaarheid aan Kerk en samenleving.
