Port Fairy wurde 1835 als Walfangstation gegründet und beherbergt heute eine der größten Fischfangflotten der australischen Südküste. Höhepunkt im Leben des Ortes ist das Port Fairy Folk Festival Anfang März.
Ein Damm verbindet Port Fairy mit Griffiths Island, wo Zehntausende Mutton Birds (Sturmvögel) nisten.
