Το Κάστρο που επιβλέπει την Χώρα χτίστηκε το 1207 μ.Χ. από τον Μάρκο Σανούδο, πρώτο Δούκα του Αιγαίου. Σήμερα αποτελεί έδρα για αρκετά μικρά μαγαζάκια και ταβέρνες, και ένα εξαιρετικό μέρος για βόλτα. Αυτό είναι το σημαντικότερο αλλά υπάρχουν κι άλλα κάστρα στην Νάξο (όπως αυτό το Απαλήρου και της Τραγαίας) όπως και πύργοι (όπως ο Πύργος Γλέζου και ο Πύργος Μπαζαίου).