Unter den Mauren war Silves als Xelb die Hauptstadt der Provinz Al-Gharb. Nach der Rückeroberung um die Mitte des 13. Jh. war Silves drei Jahrhunderte lang Bischofssitz. Von jenen Zeiten zeugt noch die weitläufige rötliche Burg, das Castelo, hoch über der Stadt. Ein Rundgang auf der Mauer bietet weite Blicke über Silves und das Arade-Tal.
Nahe der Burg erhebt sich über den Resten einer Moschee die Kathedrale mit teils weiß gekalkten Wänden. Teile des gotischen Gotteshaus aus dem 13. Jh. wurden nach dem großen Erdbeben von 1755 in rotem Sandstein wieder aufgebaut. Ältester Teil der Kirche ist der aus behauenen Stein errichtete gotische Altarraum mit drei hohen schmalen Maßwerkfenstern. Das dreischiffige Langhaus gliedern schlanke schmucklose Pfeiler. In Chor und Querschiff sind Gräber von Kreuzrittern und Bischöfen in den Boden eingelassen.
