Zu Füssen der Schlossalm, auf der Westseite des Tales erhebt sich ein burgartiges Schloss mit rot-weißen Fensterläden. Ein Bergwerksbesitzer namens Weitmoser baute 1554 das Weitmoser Schlössl mit Türmen am Fuß der Schlossalm. Den Kern des Gebäudes ließ Christoph Weitmoser Mitte des 16. Jh. errichten. Er war der erfolgreichste seiner Dynastie, die nach seinem Tod wegen der Erbteilung an Bedeutung verlor. Ab 1624 waren die Leykhofer die Eigentümer und bauten den Trakt mit den Runderkern am östlichen Gebäudetrakt hinzu.
Heute ist im Schlössl ein Café und Restaurant untergebracht.
