Eine erste Burganlage auf dem Höhenrücken über Idstein wrude im 11. Jh. gegründet. Danach wurde die Anlage immer wieder erweitert und umgebaut. Die heutigen Gebäude der ehemaligen Burganlage wurden ab dem Jahr 1565 errichtet. Aus dem späten Mittelalter stammen das alte Amtsgericht, das Torhaus, der Palas genannte Wohntrakt und der Hexenturm genannte Bergfried. Die einstige Vorburg wurde 1614 abgebrochen, um dem Renaissanceschloss Platz zu machen.
