L’ordre des Pauvres Dames, plus connu sous le nom de cordelières ou de clarisses, a été fondé en 1212 par Claire d’Assise sur demande de François d’Assise. Une règle extrêmement sévère est rapidement rédigée, prescrivant la clôture et la vie contemplative et interdisant toute propriété individuelle ou collective.
Approuvée par le pape Innocent IV en 1253, la règle de sainte Claire est adoucie dix ans plus tard par Urbain IV qui permet aux religieuses de posséder des biens et des revenus, de même que de recevoir des dons. Une scission s’opère alors entre d’une part les clarisses, qui refusent l’adoucissement du pape et continuent de suivre la règle primitive, d’autre part les urbanistes, aussi appelées les cordelières, qui acceptent la concession du pape. Ces dernières, bien qu’astreintes à la clôture et à la vie contemplative, peuvent désormais ouvrir des écoles de filles. Une mission qui est à l’origine de la volonté de la communauté d’habitants d’Auray, au XVIIe siècle, de voir des cordelières s’établir dans la ville.
Aussi des députés sont-ils chargés, en avril 1632, d’en faire la proposition aux cordelières installées à Nantes ; deux mois plus tard, celles-ci portent leurs conditions à la connaissance de la communauté de ville qui émet un avis favorable : « Elles promettent d’establir communauté de religieuses de leur ordre en nombre suffisant, en ladite ville d’Auray, dans deux mois prochains ou plus tôt si faire se peut, pour y vivre en closture perpétuelle, sans désirer aucune subvention du corps de la ville [...], ains seulement pouvoir recevoir ce que leur sera offert et donné libéralement et par charité. Elles promettent de prendre des filles pensionnaires et externes en aussi grand nombre sera possible pour les instruire à la piété et bonnes mœurs, et pour le prix des pensions s’accommoder si raisonnablement avec messieurs de la ville qu’ils auront tout subjet de contentement. Item promettent de s’accommoder d’un lieu pour leur establissement selon l’advis, gré et consentement de la communauté de ladite ville. » (Joseph-Marie Le Mené, Histoire des communautés situées hors de Vannes, Vannes, Galles, 1908, p. 207)
Il faut ensuite attendre le consentement de l’évêque de Vannes, Sébastien de Rosmadec, puis les lettres patentes de Louis XIII qui consacrent leur existence légale pour que les religieuses puissent s’installer à Auray. Elles héritent alors du terrain et des douves de l’ancien château de la ville, sur lesquels sont bâtis un couvent et une chapelle, le reste étant converti en jardin et verger. Par la suite, fortes de revenus confortables, elles acquièrent un certain nombre de biens à Auray, Brech, Landaul et Pluvigner.
Sous la Révolution, tandis qu’un certain nombre de religieuses sont incarcérées à la prison d’Auray ou enfermées dans l’hôpital Saint-Nicolas de Vannes, d’où elles ne sortent qu’en 1795, le couvent et ses biens sont vendus par l’État entre 1791 et 1801.
En 1807, le couvent ainsi que la chapelle et l’enclos sont rachetés par les religieuses du Père-Éternel de Vannes.