Γιος του Γεωργίου Ξύδη και της Αλεξάνδρας Δραγούμη, κόρης του πρωθυπουργού Στέφανου Δραγούμη. Γεννήθηκε στο Λίβερπουλ και σπούδασε νομικά, πολιτικές επιστήμες και ιστορία της τέχνης στα πανεπιστήμια του Παρισιού και του Μονάχου. Εργάστηκε από το 1940 στο Διπλωματικό Σώμα υπηρετώντας διαδοχικά στην Αθήνα, το Μαρόκο, Καζαμπλάνκα, την Καμπέρα, το Λονδίνο και τη Δαμασκό. Συνδέθηκε με στενή φιλία με τον Γιώργο Σεφέρη -με τον οποίο συνυπηρέτησε στη Μέση Ανατολή επί Kατοχής και στην ελληνική πρεσβεία του Λονδίνου τη δεκαετία του 1950- και επιμελήθηκε την έκδοση του Πολιτικού Ημερολογίου του (1979, 1985).

Υπήρξε σημαντικός τεχνοκρίτης και ιδρυτικό μέλος της Εταιρίας Ελλήνων Τεχνοκριτικών, της οποίας διετέλεσε για πολλά χρόνια γραμματέας και πρόεδρος. Διατηρούσε σημαντική συλλογή με έργα χαρακτικής και ζωγραφικής, τα οποία δώρισε το 2001 στο Μακεδονικό Μουσείο Σύγχρονης Τέχνης. Μέρος του πολιτικού αρχείου του είχε δωρίσει στα Αρχεία Σύγχρονης Κοινωνικής Ιστορίας (ΑΣΚΙ). Ήταν εκδότης του περιοδικού Τετράδιο 1945-1947. Είχε δημοσιεύσει πολυάριθμα άρθρα και μονογραφίες για Έλληνες καλλιτέχνες (Θεοτοκόπουλος, Καπράλος, Παρθένης, Μπουζιάνης, Τσαρούχης, Εγγονόπουλος, Χατζηκυριάκος-Γκίκας κ.ά.) καθώς και μελέτες σχετικά με τη νεοελληνική τέχνη (Προτάσεις για την Ιστορία της Νεοελληνικής Τέχνης, 1976) και παράλληλα επιμελήθηκε σημαντικές εκθέσεις στην Ελλάδα και το εξωτερικό. Εξέδωσε επίσης μια μελέτη για το Κυπριακό (1993). Με τα κείμενα και τη δράση του σφράγισε τη φυσιογνωμία της ελληνικής εικαστικής κριτικής και συνέβαλε στη διαμόρφωση της νεωτερικής τέχνης στην Ελλάδα την περίοδο 1940-1990.