Das Hohe Schloss war die Sommerresidenz der Augsburger Fürstbischöfe, die seit 1322 Besitzer des Schlossbergs waren. Widerrechtlich hatte hier Bayernherzhog Ludwig der Strenge begonnen eine Burg zu bauen. Daraus wurde 1489-1504 das wehrhafte Burgschloss, welches heute zu den bedeutendsten Profanbauten der deutschen Spätgotik zählt. Nicht zuletzt wegen illusionistischen Architekturmalereien.
Als Schutz erhielt die Anlage einen tiefen Graben, Wehrgänge, Türme und Zwingerbefestigungen. Trotzdem wurde an repräsentativer Pracht nicht gespart und im Nordflügel die Residenz des Bischoff mit Festsaal eingerichtet. Im Südflügel waren verschiedene Burgämter und Verwaltungen situiert, aber auch die die Veitskapelle wurde hier angebaut. Nach 1803 war das Köngreich Bayern der Eigentümer und das Schloss wurde ab 1862/63 Amtsgericht und dient heute als Finanzamt und Museum, z.B. der Staatsgalerie (einem Zweigmuseum der Bayerischen Staatsgemäldesammlungen) und der Städtischen Gemäldegalerie.
