An diesem Gebäude wurde über 100 Jahre gebaut. Ursprünglich war es wohl nur als Platzabschluss nach Norden gedacht. Deshalb fiel es scheinbar auch so leicht, den Weiterbau immer wieder zu verschieben. Angefangen wurde 1605 mit dem Keller von Heinrich Schickardt. Bald darauf starb der Herzog, dann wütete der Dreißigjährige Krieg, und so tat sich bis 1658 nichts auf der Baustelle, bis Matthias Weis das Erdgeschoss und in den nächsten 15 Jahren auch die oberen Stockwerke errichtete. 1715 wurde das Bauwerk mit der im italienischen Stil gestalteten Fassade von Johann Friedrich Nette abgeschlossen. Das Gebäude diente ausländischen Gesandten als Wohnsitz, beherbergte die Kunstkammer und die Zeichenakademie, bis seit 1805 die württembergischen Prinzen hier wohnten und dem Gebäude seinen Namen gaben. Heute ist das Justizministerium darin untergebracht.
