Nous avons vu que cette chapelle existait déjà au Moyen Age et qu'une intense activité religieuse s'était développée, en particulier avec le pèlerinage des Pertuisiens. Selon nos récentes découvertes, cette chapelle primitive aurait été construite sous le logis d'Elzéard (qui n'existait pas à cette époque), le long de la falaise.

En 1572, des notaires de la ville d'Aix se réunissent dans cette chapelle et décident de verser une contribution pour entreprendre des réparations "considérant le peu de commodité dudit édifice".

Et la situation continuera de se dégrader avec le temps.
Au 17ème siècle, cette chapelle était en très mauvais état et l'abbé Aubert entreprit de la reconstruire, pour offrir un lieu de culte décent à ces pèlerins qui montaient de plus en plus nombreux:

L'Abbé Aubert écrit, dans une déposition de 1671, « …outre la chapelle y en ai fait ériger par mes soins celle de Notre Dame de Victoire, pour la convenance du nom, renouvelé la première et restaurée, laquelle ainsi écartée restait continuellement toute ouverte et comme en ruines…
Dans l'acte de fondation de 1664, il est écrit: « A fait refaire tout de neuf l’ancienne chapelle de Sainte Victoire, qui était tombée d’elle-même…. »).

Ces écrits font mieux comprendre pourquoi, aujourd'hui, on ne retrouve que d'infimes traces de cette chapelle ancienne qui était tombée en ruine

Rien ne dit,cependant, qu’il la reconstruisit, vers 1651, au même endroit !
En tous cas, le mur voûté que nous voyons encore aujourd'hui, à droite du logis d'Elzeard, serait les vestiges de cette nouvelle chapelle du XVIIème siècle.

La grande arche ouverte dans le mur devant le logis d'Elzeard, servait d'entrée à cette chapelle.

Le mur qui entoure cette arche sera utilisé comme soutènement de la terrasse recouvrant la fosse que l'abbé Aubert construira vers 1664.

On peut comprendre ainsi le texte de Roux Alphérand, écrit 1806 : « Le 30 septembre 1806 j’ai parcouru la montagne de Sainte Victoire…En avançant au midi, on a construit une terrasse qui termine la cour et au bout de laquelle est un balcon en pierre qui joint les deux rochers taillés à pic à une hauteur effrayante. Sous cette terrasse est une chapelle voûtée qui reçoit le jour par une trappe dans la terrasse. »

Le lavis de Constantin, datant de la même époque, nous montre en effet que cette trappe est bien dans l'axe de la nouvelle chapelle, devant le mur construit pour soutenir la terrasse!