L'ordre du Carmel tire son nom et son origine du mont Carmel en Palestine. Bien qu'il n'ait pas véritablement de fondateur, ses membres – les carmes – s'en reconnaissent un en la personne du prophète Élie.
L'ordre est né au carrefour des XIe et XIIe siècles lorsque des ascètes décident de s'installer dans des grottes de la susdite montagne afin d’adopter une vie érémitique faite de prière et de silence. En 1210, celui-ci obtient une règle du patriarche de Jérusalem, Albert Avogadro, avant d'être contraint, suite aux attaques répétées des Sarrasins, de quitter la Terre sainte pour l'Europe. Les carmes sont alors introduits en France par Louis IX en 1238, puis, en 1242, voient leur règle profondément modifiée : devenus des religieux, ils peuvent désormais fonder d'autres monastères en dehors des déserts et pratiquer la vie en communauté. Rapidement après, en 1247, l'ordre obtient du pape Innocent IV sa reconnaissance officielle.
Le couvent des carmes de Ploërmel – premier établissement de carmes en Bretagne – a quant à lui été fondé en 1273 par Jean de Bretagne, comte de Richemont, fils de Jean Ier, duc de Bretagne. Après un voyage en Terre sainte entrepris en 1271 aux côtés de son beau-frère Édouard, prince de Galles, le futur Jean II (1286-1305) revient en terre bretonne avec deux religieux qu’il installe dans le faubourg de L'Hospital à Ploërmel et auxquels il octroie la chapelle Sainte-Anne. Une installation éphémère puisque le comte de Richemont leur fait construire dans les années qui suivent un couvent définitif dans le même faubourg, à proximité de la porte d’En-Bas, couvent qui n'est occupé qu'à partir de 1296.
En 1589, en pleines guerres de religion, Ploërmel est attaquée et pillée par le sieur de Saint-Laurent, partisan du duc de Mercœur, chef des ligueurs bretons. En résulte, en 1592, la destruction du couvent des carmes et le déplacement de ces derniers dans le prieuré de Saint-Nicolas. Cela étant, à partir de 1601, le couvent est reconstruit au même emplacement et sur les fondements du premier. Parallèlement à la reconstruction, une réforme partielle de l'ordre est entreprise et menée par le révérend père Philippe Thibaut, provincial des carmes. À cet effet, en 1618, Ploërmel reçoit cinq religieux pour y établir la réforme. En 1620, la reconstruction du couvent ayant été achevée, les carmes regagnent leur monastère.
Les derniers carmes sont expulsés en 1790. Immédiatement après, des ventes nationales sont opérées sur leurs propriétés, dont le couvent qui est adjugé à un certain R. Robert en 1798. Il est ensuite racheté par le diocèse en 1870 pour accueillir un collège ecclésiastique, devenu petit séminaire en 1881. Confisqué par l’État en 1904, il sert de casernement au cours de la Première Guerre mondiale avant que s’y établisse la gendarmerie de Ploërmel entre 1921 et 1988.