Das von einem Wassergraben umgebene Schloss wurde 1577-82 außerhalb der Stadtmauern erbaut – daher der Name. Ursprünglich diente der Renaissancebau als Herzogsresidenz. Nach dem Nordischen Krieg ging die Anlage 1721 an den dänischen König, der sie Mitte des 18. Jh. in einfacher Form modernisierte. Bis auf die Schlosskapelle und aufwendig gestaltete Kamine ist jedoch kaum etwas von der Originalausstattung erhalten.
Das Schlossmuseum im Mitteltrakt der Anlage erinnert an die früheren Bewohner. Im Poppenspäler-Museum finden während des internationalen Figurentheater-Festivals alljährlich im Herbst zahlreiche Aufführungen statt. Wechselausstellungen zeitgenössischer Kunst werden in der Dachgalerie im Dachgeschoss präsentiert. Einer der Schlosstrakte beherbergt ein gemütliches Café (derzeit geschl.).
Der ›Kleine Garten‹ oder ›Herzoginnengarten‹ am Schloss ist eine moderne Interpretation des ehemaligen Barockgartens. Den Schlosspark verwandeln im März über 4 Mio. Krokusse in ein lila Blütenmeer – ein einzigartiger Anblick. Ein Wochenende lang feiert Husum dann das Krokusblütenfest mit einem Kunsthandwerksmarkt im Schlosshof und der Krönung der Krokusblütenkönigin. Im Nordwesten des Schlossparks erhebt sich ein alter, nicht begehbarer Wasserturm.