Der Palas bestand in seinen Obergeschossen ursprünglich aus Fachwerk. Während des Landshuter Erbfolgekrieges brannte er 1504 unter der Belagerung durch die Nürnberger bis auf die Grundmauern ab. Die Ruine ging in die Oberherrschaft der freien Reichsstadt Nürnberg über, die sie in Besitz verschiedener Patrizierfamilien gab.

Einen ersten Wiederaufbau bewerkstelligte die Familie Behaim 1530. Es erfolgte jedoch eine erneute Teilzerstörung um 1555 im Markgräfler Erbfolgekrieg. Endres Oertel konnte 1561 den endgültigen Wiederaufbau im Renaissancestil in Rhätsandstein vollenden.