Der Stolz Rychnovs ist das Schloss der Familie Kolowrat. Es wurde im 17. Jh. errichtet und ab 1719 nach Plänen des böhmischen Baumeisters Jan Blažej Santini-Aichel barock umgestaltet. Die Gemäldesammlung mit Meisterwerken des Barocks war damals eine der größten Kunstkollektionen Böhmens. Santini gestaltete auch die Barockfassade der benachbarten spätgotischen Dreifaltigkeitskirche. Von jüdischer Tradition zeugen der alte jüdische Friedhof von 1588 und die Synagoge aus dem Jahr 1782, in der heut