En octobre 1903, les religieuses de la congrégation Sainte Marthe de Romans ouvrent une école libre (immeuble Degros, en face de l’église), celle-ci compte alors quatre classes primaires plus une classe maternelle.

1913, le chanoine Fanton, curé de la paroisse, constatant l’exiguïté des lieux souhaite construire un bâtiment plus grand. Il lance une souscription auprès des paroissiens. En juillet 1914, elle peut ouvrir ses portes.
1916, elle prend le nom de « Notre-Dame de l’Hermitage ».

1933, elle passe sous la tutelle de la congrégation des « Saints coeurs de Tournon », qui est encore à ce jour la tutelle de l’établissement.
1945, Soeur Madeleine de Jésus ouvre officiellement un collège d’enseignement général. L’école compte à ce moment là, une classe maternelle, un CP/CE, un CM avec 6°et 5° et une classe de 4° et 3°.

1961, l’école comptera 11 classes de filles allant de la maternelle au brevet.
1972, le collège déménage à Tournon. En 1974, l’école devient mixte.
1988, l’équipe de l’Ogec élabore, devant l’accroissement des effectifs, un projet d’aménagement des locaux de ST Charles, en classes maternelle. En mai 1990, les élèves de maternelles pouvaient intégrer de superbes classes bien adaptées.