Der auf ein römisches Castrum (ein Militärlager) zurückgehende Ort war im 16./17. Jh. ein Zentrum des Protestantismus. Aus dieser Zeit stammt die barocke, mit feinen Marmorskulpturen ausgestattete Cathédrale St-Benoît. Das einstige Bischofspalais aus dem 17. Jh. beherbergt heute das Musée Goya mit über 80 Werken des Spaniers, darunter auch Porträts und Radierungen.
Die belebte Place Jean Jaurés ziert eine Statue des 1859 in Castres geborenen sozialistischen Politikers. Am Nordende des Platzes widmet sich ihm und der Geschichte des Sozialismus ein Museum.
