Kaiser Rudolf II., Kunstsammler und Mäzen, war, neben weiteren kuriosen Interessen, gleichfalls ein leidenschaftlicher Liebhaber und Sammler von Pferden. Deshalb ließ er sogar einen Teil der Burgmauern und das alte Vikarsgebäude abreißen und an dieser Stelle um das Jahr 1583 prächtige Pferdeställe
erbauen. Der saalförmige Bau ist mit einem Tonnengewölbe überdacht, in das Aussparungen eingeschnitten sind und das ein Netz aus falschen, lediglich dekorativen Gewölbebögen aufweist.
Heute dient dieser prächtige Pferdestall als Ausstellungssaal für regelmäßig stattfindende Kunstausstellungen.