La couleur dorée du tuffeau, élément incontournable de l'architecture locale, prédomine dans tous les recoins de la ville lui conférant ainsi une empreinte ancienne et de monument.
Il s’agit d’une roche sablonneuse calcaire formée par les dunes des plages il y a quelques cent mille ans. La pierre taillée conserve les strates de la dune (« llavades » en valencien) ainsi que les fissures (« pels » en valencien), utilisées par les tailleurs de pierres (« arrancadors » en valencien) comme axes pour obtenir les pièces brutes qui seront travaillées ultérieurement. Les sites (« pedreres ») les plus importants de tuffeau, pas seulement de Xàbia, sinon de tout le littoral valencien, sont ceux des deux Muntanyars, (celui de Dalt et celui de Baix). Ces énormes carrières ont été exploitées depuis l’époque romaine jusqu’en 1972, lorsque son extraction fut interdite. Un autre site important est celui de la Cova Tallada, grotte située au pied des falaises du cap de Sant Antoni, à l’intérieur de laquelle ont été retrouvés des restes de l’époque andalousienne (Espagne mauresque) qui nous laissent à penser que la carrière fut exploitée dès le XIIe siècle. Actuellement, ces « toscars » constituent un patrimoine naturel précieux, qui nous dévoile le paysage et le climat du passé, mais également les techniques et méthodes traditionnelles d’extraction de blocs de tuffeau, élément singulier et incontournable de la riche architecture traditionnelle de Xàbia.