À l’époque médiévale, elle était une petite cité entourée d’une muraille datant du XIIIe siècle avec des tours d’angle, dont l’une est probablement celle d’En Cairat, conservée encore à ce jour et qui semble faire partie d’une construction antérieure.
L’importante augmentation démographique que connu Xàbia au XVe siècle donna lieu à son développement urbain, car la cité fortifiée primitive ne permettait pas d'accueillir ce surplus de population. Ce développement est à l’origine, à la fin du XVe siècle et au début du XVIe siècle, de la modification du périmètre des murailles afin d’ouvrir de nouvelles voies. Un nouveau tracé de ces voies, qui suivaient les actuels boulevards entourant la ville fut réalisé. L’accès à l’intérieur de la ville s’effectuait par les portes suivantes : Portal de Sant Vicent ou de la Ferreria, le Portal del Clot ou de Sant Jaume et le Portal de la Mar.
La ville continua de croître en suivant le tracé médiéval autour de l’église de San Bartolomé, en établissant aux alentours les édifices les plus représentatifs. Il subsiste de remarquables exemples d’édifications de la bourgeoisie datant de différentes époques, bourgeoisie qui choisit les abords de l’église afin d’ériger leur maison.
C’est le cas de plusieurs maisons gothiques du XVe au XVIIe siècle situées rues Sor Mª Gallart, Pl. de l’Església, Sta. Marta, Sor Catalina Bas, S. Pere Martir, Metge González, Major et Estret. Un exemple très net du gothique civil est l'hôtel particulier Palau dels Sapena (XVe siècle) sur la place de l’Església, avec ses arcs en anse de panier à 3 centres dans la galerie et ses fenêtres géminées et trilobées.
Près de la « Porta del Mar », qui donnait accès à la ville depuis le port, s’établirent les pêcheurs. C’est là qu’en 1515 fut érigée l’église de Loreto pour accueillir les marins, église qui fut détruite en 1870. Actuellement, il existe une petite construction en tuffeau de style néogothique construite en 1954.
À la fin du XVIIIe et durant le XIXe siècle, la bourgeoisie commerçante locale qui se consacrait à l’exportation du raisin sec et les propriétaires agraires choisirent les abords de l’église pour bâtir de somptueuses maisons telles que la Casa dels Bolufer, Casa de les Primícies, Casa Arnauda (ou de la Senyoreta Josefina), Casa Abadía, Casa de Montalbán (capitaine de la flotte de goélettes de la famille Bolufer), et la Casa de Tena (actuellement Ca Lambert). Cette dernière, construite en 1857, abrita au début du XXe siècle la pharmacie du même nom, et a été rénovée récemment pour accueillir des activités culturelles.
En 1805, fut ouverte la quatrième porte de la muraille, Portal Nou située sur l’actuelle Pl. Marina Alta, mais quelques années plus tard, entre 1869 et 1874, furent démolies définitivement les murailles afin d’entreprendre l’expansion urbaine de la ville. Dans cette optique, l’expansion urbaine (Eixample en valencien) est planifiée avec de grandes avenues afin de faciliter la circulation des marchandises depuis la Pl. del Convent, sur laquelle débouchaient les principales routes régionales, vers le port. Ce sont les actuelles avenues Príncep d’Astúries, où les agriculteurs qui s’étaient enrichis grâce au commerce du raisin sec construisirent leur maison, et D’Alacant, où s’installa une partie de la bourgeoisie commerçante.
Les "riuraus", construction rectangulaire en dur et tuffeau avec de grandes arcades ("ulls" en valencien), témoignent de l’importance qu’acquit le commerce du raisin sec à Xàbia. Ils servaient à abriter le raisin déposé sur des claies pour séchage. L’un des plus importants est le riurau de los Català d´Arnauda, récemment transféré de son emplacement d’origine au parc Montaner.