En 1177, une chapelle est construite pour les habitants de la   "Foulerie ", faubourg populaire situé hors les murs de la ville. De 1250 à 1299, un plus grand édifice est construit. Il sera partiellement détruit pendant la Guerre de Cent Ans. Restauré sous le règne de Charles VII, pendant lequel il devient basilique. Entièrement démolie lors du siège de Pontoise par Henri III et de Henri de Navarre (futur Henri IV), c'est une église beaucoup plus modeste qui est enfin consacrée en 1599. On peut encore y voir le tombeau de St-Gauthier, premier abbé de St Martin qui date du XIIème - XIIIème siècle.

Depuis 1640, Pontoise, suite aux épidémies de peste, rend hommage à la Vierge par des processions à travers la ville. En effet, c'est lors de la peste de 1638, que Pontoise prononça le vœu mémorable par lequel la municipalité promettait d'offrir à l'église Notre-Dame une statue d'argent et de placer l'image de la Vierge aux trois entrées principales de la ville. Il existe aujourd'hui quatre statues de la vierge, aux quatre entrées de la ville.