Aus Varbergs Blütezeit als einer der elegantesten Badeorte Schwedens stammen das Kurhaus von 1883 und das Kaltbadehaus, das 1903 im maurischen Stil auf Pfählen im Meer errichtet wurde. Das Ortsbild dominiert die aus dem 13. Jh. stammende Festung. Sie beherbergt das Hallands Kulturhistoriska Museet mit Exponaten zur Kulturgeschichte der hiesigen Bauern und Fischer. Hauptattraktion der Sammlung ist der ›Bockstensmann‹ aus dem 14. Jh., Schwedens bekannteste Moorleiche.
