Obec Varvažov leží v okrese Písek asi 6 km jihovýchodně od Čimelic při toku říčky Skalice v nadmořské výšce 426 m.

Varvažov býval součástí majetku řádu maltézských rytířů. Byl zde statek se zámkem, u něhož bylo založeno v roce 1734 kaplanství. Od roku 1847 se stal součástí majetku Schwarzenbergů.

V obci stojí barokní zámeček z 18. století. V jeho sousedství je raně gotický, svou architekturou ojedinělý kostel svaté Kateřiny ze 13. století.
Památkou je také kamenný dvouobloukový most přes Skalici z roku 1781.

Nedaleko obce leží při soutoku Lomnice se Skalicí chráněné území V Obouch.