Die hervorragend erhaltene Altstadt von Albenga mit vielen kleinen Plätzen, netten Cafés und Läden ist bekannt für ihre spektakulären Geschlechtertürme. Über ein Dutzend stehen hier noch, mehr als in jeder anderen Stadt Norditaliens.
Im 1. Jh. v. Chr. gründeten die Römer am Fluss Centa die Hafenstadt ›Albingaunum‹. Architektonische Überreste sind im Flussbett zu entdecken: Bäder, ein Aquädukt sowie ein Amphitheater. Weitere römische Relikte, einige Grabmäler, findet man auf einer zweistündigen Wanderung entlang der alten Via Iulia Augusta (markiert als Itinerario Archeologico ab der Kirche San Martino) durch die Hügel des Hinterlands nach Alassio.
Seine Blütezeit erlebte Albenga vom 11. bis 14. Jh. als unabhängige Seerepublik. Aus dem 11. Jh. stammt die Kathedrale San Michele am gleichnamigen zentralen Platz. Direkt gegenüber steht der Palazzo Vecchio (14. Jh.), das ehemalige Rathaus. Hier zeigt das Civico Museo Ingauno Zeugnisse der Stadtgeschichte von vorrömischer Zeit bis zum Mittelalter. Der 60 m hohe Torre del Comune, um 1300 von der Familie Costa errichtet, ist der höchste Geschlechterturm der Stadt. Im Baptisterium, einer außen zehn- und innen achteckigen Taufkirche aus dem 5. Jh., finden sich ein byzantinisches Mosaik, ein romanisches Fresko und etliche antike Säulen. Albengas große Zeit war vorbei, als um 1400 der Hafen zunehmend verlandete – das Ende des Seehandels.