Víska Žichovice leží na pravém břehu řeky Otavy asi 8 km jihozápadně od Horažďovic a 1 km jižně od hradu Rabí v nadmořské výšce 450 m.

Historie obce zasahuje do období panování knížete Břetislava. Tehdy patřila k hradu Prácheň. V roce 1043 ji kníže daroval břevnovskému klášteru. V jeho majetku zůstala až do roku 1420. Pak patřila k hradu Rabí a ve druhé polovině 16. století se stala samostatnou.

Ve vsi stávala tvrz, která byla založena až koncem 16. století. Počátkem 17. století byla přestavěna na renesanční zámek se sgrafity na fasádě a s hranolovou hodinovou věží. Ve východním křídle komplexu postaveného ve tvaru písmene L, se nachází zámecká kaple z roku 1680.