Dans un réduit contre la tourelle sud du transept a été déposée au XVIII° siècle une Mise au Tombeau de style rhénan (XVI° siècle), autrefois située dans une chapelle disparue depuis.

La chapelle du Rosaire, contiguë au bas-côté droit, fut construite au XVII° siècle au-dessus du caveau des Abbesses du Chapitre (ainsi s'explique la surélévation du sol). Dans le mur, une piscine du XIII° siècle est le seul témoin de l'ancienne chapelle des Voués (protecteurs de l'Abbaye) qui se trouvait là auparavant. Surmontant un autel doré et formé d'éléments disparates (XVII° et XVIII° siècles), un tableau de Meunier représente saint Pierre Fourier faisant hommage à la Vierge de son ordre de religieuse (fin XVIII° siècle). Lui faisant face, un triptyque représente les quinze mystères du Rosaire; deux d'entre eux sont signés: Etienne Gellé et Nicolas Belloiti, peintre spinalien (1627). Contre le pilastre central est appuyé un « Ecce Homo » du XVI'°siècle, reste du rnausolée d'une abbesse, jadis élevé dans le cloître. Contre ce même pilastre est fixée une plaque de marbre noir rappelant le nom des six abbesses inhumées dans le caveau sous la chapelle. Le pilastre contre le mur occidental porte l'épitaphe funèbre en marbre blanc de Madame de Spada, abbesse († 1784). La chapelle du Rosaire conserve également plusieurs statues de bois du XVII° siècle (une Vierge à L'Enfant, sainte Anne, un apôtre).

Dans le collatéral nord s'ouvre la chapelle du Saint- Sacrement, construite à la fin du siècle dernier sur l'emplacement d'une chapelle Renaissance. Elle abrite aujourd'hui l'autel des reliques supportant la châsse de Saint Goëry, patron de la ville, les reliques de saint Maurice et de saint Auger (un ermite de la région).L'autel est surmonté d'un tableau représentant saint Goëry et ses deux filles spirituelles sainte Précie et sainte Victorine (début du XVIII° siècle). En face de l'autel se dresse la statue de pierre d'une très belle Vierge hanchée du XV° siècle, autrefois placée à l'extérieur de l'église.

Au bas du collatéral droit est accroché un Christ plus grand que nature et recouvert de toile (XVII° siècle).