Le jardin qu’abrite actuellement cette petite place, dénommé jusqu’à ce jour Jardin de Loreto, a été récemment rebaptisé Place de Vicent de Gràcia, nom sous lequel était plus connu Vicent Bisquert Riera (1884-1962). Anciennement, tout ce site formait l’enceinte de la chapelle de la Vierge de Loreto, un des bâtiments religieux situés dans la partie intramuros de Xàbia.
La ville de Xàbia était entourée de murailles qui la protégeaient jusqu’en 1874, année qui marqua la démolition définitive des murs défensifs qui contournaient le tracé actuel des ronds-points. Cette enceinte fortifiée, la deuxième de la ville, fut érigée à une date incertaine, probablement à la fin du XVe siècle, une époque florissante en matière démographique et économique pour la ville. Au début du XIVe siècle, le noyau urbain primitif de Xàbia possédait un système défensif qui encerclait un espace urbain relativement réduit couvrant une surface de 4,38 ha.
La superficie de la ville nouvelle s'agrandit à 6,61 ha et le périmètre des murs d’enceinte atteint les 955 m. Afin de renforcer les portes et les remparts, cinq tours rondes qui protégeaient les trois accès de la ville furent érigées. Elles pouvaient éventuellement être équipées d’une artillerie d'assaut face à la crainte d’attaques de pirates, toujours venant de la mer. Les portes se refermaient à dix heures du soir et s’ouvraient aux premières lueurs du jour.
Le 1er décembre 1556 marque le début des travaux de la maison et de la chapelle de la Virgen de Loreto. De cette même époque datent les premières références qui mentionnent la porte de la Mar, située à côté de la chapelle, une porte qui dû être renforcée en 1639 en raison des menaces d'attaques de pirates.
Nous ne disposons d’aucune image de la chapelle de Loreto. Une description datant du XIXe siècle indique que l’édifice fut construit en 1515. Le grand portique à 3 nefs soutenues par 8 colonnes abritait l’école primaire, tandis que le directeur logeait dans la maison. Comme l’indique une brève description de la chapelle, l’édifice à base quadrangulaire était couvert d’une voûte soutenue par des colonnes formant deux nefs de style mudéjar.
De plus, comme nous l’avons abordé précédemment, le bâtiment jouxtait la porte de la Mar, lieu où vivaient les familles qui se consacraient aux labeurs liés à la mer et qui, à la fin du XVIe siècle était composé de 24 pêcheurs. En dehors des murailles de la ville se forme à partir du XVIIe siècle le quartier du Raval de la Mar. Ce nouveau quartier comptait, durant la seconde moitié du XVIIIe siècle, 47 familles extrapolables à 188 âmes, si l’on applique un coefficient de 4 personnes par foyer. La grande majorité de ces citoyens exerçait des activités consacrées essentiellement à la mer et à la pêche ; la chapelle et l’enceinte qui la jouxtait qui formaient l’ermitage de Loreto étaient leur dernière demeure. D’ailleurs, les rares écrits faisant référence à la chapelle concernent l’activité de pêche. En effet, le 26 août 1757, deux embarcations de Begur (Catalogne) se dirigeaient vers leur port d’origine après avoir quitté la zone de Vera (Murcia) ; à hauteur du cap de Sant Antoni, une tempête secoua si violemment l’une des embarcations que quatre de ses occupants tombèrent à la mer et se noyèrent. Deux d’entre eux trouvèrent sépulture dans l’ermitage de Loreto.
Les derniers écrits en rapport avec ce bâtiment nous relatent sa démolition. Le 12 août 1881, un journal d'Alicante publia, qu'en raison de l’état de délabrement avancé du bâtiment, l'effondrement d’une de ses voûtes fut fatale pour un habitant. Ce triste accident, accéléra la décision de démolir le bâtiment en vue de prévenir un nouveau malheur.
Le terrain qui accueillait la chapelle devint, un peu plus tard, le premier jardin public. C’est là qu’en 1923, Vicent de Gràcia y construisit une fontaine montée sur un solide élément de pierre provenant d'un pressoir sur lequel une image de la Vierge fut apposée. Notre dame de Loreto en mémoire du temple qui fut construit au XVIe siècle et perdura jusqu’au XIXe siècle.