El documento más antiguo en el que aparece citado el nombre de Pastoriza, es una donación de San Rosendo (siglo X), en que habla de la Villa e iglesia de Pastoriza, en tierra de Faro. Pero se sabe que en estos territorios se asentaron los suevos aproximadamente sobre el siglo V. Las crónicas más vetustas cuentan la conversión del Rey Requiario al catolicismo en el año 448 y que mandaría edificar, como en otros lugares, un pequeño templo hoy convertido en un santuario muy concurrido “el SANTUARIO DE PASTORIZA.”

Como todo santuario que se valore, las leyendas y la historia se entremezclan para darle un aura de romanticismo, adornado de relatos y narraciones épicas.

Por el lugar pasaron ya en el siglo X los vikingos, que arribaron en Galicia por primera vez por A CORUÑA, saqueando sus iglesias y destrozando los espejos del Farum Brecantium, (TORRE DE HÉRCULES). Así como los musulmanes, que incendiaron la capilla sueva. Pero la imagen, gracias a un devoto cauteloso, se escondió en el lugar conocido como O BERCE DA VIRXE (la Cuna de la Virgen), un peñasco situado en una cumbre próxima al templo, que en otros tiempos se cree que fue un altar druídico.

Ya en el siglo XI, cuenta la leyenda que una niña que se encontraba con su ganado por la zona, vio una luz muy intensa sobre el castro y en él hallo la imagen Mariana que dio nombre al lugar ”Pastoriza”, lugar donde llevaba a apacentar su rebaño.

La virgen de granito, fue encargada en 1887, a un cantero llamado José Couto, que era natural de Ponteareas y había residido en Portugal y en Vigo. Escribirá al respecto la Pardo Bazán: «Sólo un hombre del pueblo, sin educación artística, sin nociones del dibujo que se enseña en las academias, sin lecturas, sin rastros de clasicismo en su sangre, sin conocimiento de modelos y doctrinas, podría esculpir una Nuestra Señora que parezca despojo de la Edad Media, recuerdo de pasadas edades y que con sus lineamentos ásperos y sencillos hable el lenguaje de la fe».