Das Schloss von Pelhřimov steht an der westlichen Seite des Platzes. Der Renaissancebau stammt aus den Jahren 1550 - 1551. Bei seinem Bau wurde auch ein Teil der Stadtmauern mit dem Verteidigungsturm benutzt. Es wurde nach dem Brand (1561) in den Jahren 1565 - 1572 renoviert. Seit 1582 siedelte hier der Stadtrat.
Das Schloss bekam die heutige Gestalt durch den Spätbarockumbau in den Jahren 1766 - 1770. Das zweiflügelige Gebäude hat das Mansardendach und den prismatischen Turm mit der Zwiebelkuppel. In den Schlossräumen befindet sich das Stadtmuseum. Es gibt hier Sammlungen, die an die Geschichte der Stadt und deren Umgebung erinnern, ethnographische Sammlungen und eine umfangreiche Kollektion von Meißner Porzellan.