Rötlich schimmernde Backsteinbauten, darunter die atemberaubend hoch aufragende Cathédrale Ste-Cécile, prägen die Stadt an der Tarn. Die im 14./15. Jh. errichtete Kathedrale sollte die Macht der katholischen Kirche demonstrieren und wirkt entsprechend wie eine Festung. Ihr Chor nimmt fast die Hälfte des Langhauses ein, das ein fantastisch geschnitzter Lettner abschließt. Weitere Kostbarkeiten sind das mit italienischen Renaissancefresken ausgemalte Deckengewölbe und das ›Jüngste Gericht‹ unterhalb der Orgel.
Nahe der Kathedrale überragt der Bischofspalast Palais de la Berbie den Tarn. Er beherbergt heute das Musée Toulouse-Lautrec mit einer der größten Sammlungen von Werken des 1864 in Albi geborenen Künstlers.
Den besten Blick auf die Altstadt bietet der 150 m lange Pont Vieux aus dem 11. Jh. Die restaurierten Mühlen auf der gegenüberliegenden Seite der Brücke sind ebenfalls aus Backstein.