L'ordre du Carmel tire son nom et son origine du mont Carmel en Palestine. Bien qu'il n'ait pas véritablement de fondateur, ses membres – les carmes – s'en reconnaissent un en la personne du prophète Élie.
L'ordre est né au carrefour des XIe et XIIe siècles lorsque des ascètes décident de s'installer dans des grottes de la susdite montagne afin d’adopter une vie érémitique faite de prière et de silence. En 1210, celui-ci obtient une règle du patriarche de Jérusalem, Albert Avogadro, avant d'être contraint, suite aux attaques répétées des Sarrasins, de quitter la Terre sainte pour l'Europe. Les carmes sont alors introduits en France par Louis IX en 1238, puis, en 1242, voient leur règle profondément modifiée : devenus des religieux, ils peuvent désormais fonder d'autres monastères en dehors des déserts et pratiquer la vie en communauté. Rapidement après, en 1247, l'ordre obtient du pape Innocent IV sa reconnaissance officielle.
Le couvent des carmes du Bondon est fondé à Vannes le 31 janvier 1425 par le duc de Bretagne Jean V (1399-1442). Ce dernier cède alors aux religieux la chapelle Notre-Dame du Bondon après obtention de l'approbation de l'évêque et du chapitre, qui en avaient la propriété, et des curés de la paroisse de Saint-Patern, qui en détenaient la jouissance. La même année, en vue de leur installation, les carmes obtiennent de Jean de Malestroit, seigneur de Largoët, un terrain composé de terres et de maisons jouxtant la susdite chapelle. Des travaux y sont entrepris dans les années qui suivent afin que le site réponde aux exigences de la vie conventuelle ; sans doute est-ce à ce moment que le cloître est construit.
De la fin du XVe siècle jusqu'au début du XVIIe siècle, l'établissement prospère. Les carmes profitent de généreuses fondations, agrandissent et embellissent l'église, et acquièrent de nouvelles propriétés : des prairies et des terres labourables situées à Brestevan dans la paroisse de Theix (1532), une terre dans le village de Grisso-Parfin à Grand-Champ (1549), un petit pré sis à Botcoarh (1587), un grand pré sis derrière l'enclos des carmes déchaussés de Vannes (1648), la terre de La Noë dans la paroisse Saint-Patern de Vannes (1664) et enfin le pré du Matras et le champ des Mottes à Pontivy (1665).
À partir de la deuxième moitié du XVIIe siècle, les procès se multiplient et les difficultés financières s'accumulent. Dans le même temps, les religieux ne reçoivent plus de fondations et leur effectif décline : 21 en 1510, ils ne sont plus que 12 en 1629 et 6 en 1757.
Ce déclin se poursuit jusqu'à la Révolution française. Dans le sillage de la promulgation du décret de l'Assemblée constituante du 13 février 1790 supprimant les vœux, la communauté cesse d'exister. L'année suivante, le couvent est déclaré bien national et vendu aux enchères. Le registre des adjudications dit ceci : « Passant ensuitte à l'adjudication définitive des bâtimens, bois, vergers, courtils, pâture et autres dépendances du monastère des carmes du Bondon, à la chaleur des enchères et à l'extinction des feux aux termes des décrets de l'Assemblée nationale duement sanctionés. En conséquence, une première bougie allumée, il a été demandé par le hérault qui vouloit faire valoir lesdits biens au-dessus de la somme de onze milles trois cens quarante-huit livres, prix de la dernière enchère, ils ont été portés par M. Guyot à onze mille quatre cens quarante-huit livres, à douze mille cent quarante-huit livres par le sieur Saint-Julien, à douze mille quatre cens quarante-huit livres par le sieur Guyot, et une dernière bougie allumée et éteinte sans que ladite enchère ait été couverte. Le Directoire, ouï ledit sieur procurateur et le procureur sindic, a déclaré ajuger et ajugé audit sieur Joseph Guyot, négociant demeurant à Vannes près le port, paroisse Saint-Patern, lesdits bâtimens, jardins, bois, vergers, prés, courtils, pâtures et autres dépendances du monastère des carmes du Bondon, près cette ville en la paroisse Saint-Patern, pour ladite somme de douze milles quatre cens quarante-huit livres que ledit sieur Guyot, acceptant, s’oblige de payer et acquitter à la caisse du district. » (Q 184, folio 197, 14 mars 1791)
Peu de temps après, l'acquéreur fait démolir l'église, le cloître et le bâtiment côté est de telle sorte que ne subsistent à la fin du XIXe siècle que les murs de l'enclos et le corps de logis du côté nord.