Fara s kostolom sa spomína v rokoch 1332-1337, obec s mýtom (presťahovaným z Voznice) v roku 1344. Doložená je z rokov 1332-1337 ako Zanog, Zirnog, z roku 1389 ako Sarnocha, z roku 1424 ako Sarnocza, Sarnowcza, z roku 1828 ako Zsarnovia, z roku 1920 ako Žarnovica; maďarsky Zsarnóca; nemecky Scharnowitz.
V roku 1388 patrila panstvu Revište, v roku 1647 eráru a správe Ban. komory. V 15. storočí tu postavili hrad.
 |
 |
V roku 1563 sa uvádza ako mestečko. V erbe malo sv. Floriána. V rokoch 1681 a 1814 dostalo jarmočné a v roku 1842 trhové právo. V čase Dóczyovcov sa tu konali župné zhromaždenia, v rokoch 1647 a 1664 Žarnovicu spustošili Turci. V bitke pri Žarnovici v roku 1664 boli Turci porazení. V roku 1696 je doložený cech kožušníkov, v roku 1698 ševcov. V roku 1828 tu žilo v 140 domoch 986 obyvateľov.
Koncom 19. storočia tu postavili parnú pílu s preglejkárňou a tehelňou. Bolo tu drevárska odborná škola.
Obyvatelia sa zapojili do SNP. Pôsobila tu partizánska skupina kpt. Nálepku. Počas SNP dňa 29. 8. 1944 prišla do Žarnovice trnavská posádka s 2000 vojakmi, ktorá prechodne sídlila v kaštieli. Na počesť tejto udalosti je na fasáde pri vstupe do objektu umiestnená pamätná tabuľa.
Miestna organizácia Slovenského zboru protifašistických bojovníkov sa zaslúžila o zhotovenie pomníka obetiam 2. svetovej vojny. V spolupráci s Mestským národným výborom roku 1961 odhalili na Námestí SNP pomník (autorom je akademický sochár Vojtech Ihriský, autor pomníka P. O. Hviezdoslava stojaceho v Bratislave)
Po oslobodení sa rozvíjal drevársky priemysel (Preglejka), kde pracovala prevažná časť obyvateľstva.
Horný kaštiel.
História a stavebný vývoj Opevnené sídlo (pôvodne hrad) postavili v 15. storočí Dóczyovci na obranu mýta a kontrolu obchodnej cesty, čo často zneužívali vo vlastný prospech. Ide o typ neskorogotickej stavby bez veže, s vysokým trojpodlažným palácom, ktorého renesančné opevnenie bolo zbúrané a rozobraté na stavebný materiál. Z objektu sa zachoval iba dvojposchodový palác, ktorý bol silne prestavaný začiatkom 20. storočia a adaptovaný na administratívnu budovu. V 60. rokoch 20. storočia slúžil ako sídlo riaditeľstva štátnych lesov.
Kaštieľ samotný vo väzbe na svoje prostredie je jedinečný nielen pre Žarnovicu, ale aj široké okolie. Je symbolom mesta a jeho historickou dominantou.
Kaštieľ bol podľa historických prameňov postavený v roku 1490 Filipom Dóczym zrejme na staršom základe opevneného hradu. Filip získal hrad v Žarnovici darom ako odmenu za službu vo vojsku Mateja Korvína, za hrdinstvo v boji pri likvidovaní zvyškov husitských vojsk na Slovensku. Podľa iného zdroja ho dal vystavať Urban Dóczy z Veľkej Lúče, kráľovský pokladník, ktorý v roku 1479 dostal od kráľa Mateja Korvína ako dar hrad Revište. Bol to zrejme pôvodne stredoveký gotický hrad, ktorý slúžil ako predpevnosť hradu Revište. Dóczyovská stavba z roku 1490 je dnes nazývaná kaštieľ.
V Žarnovickom kaštieli sa roku 1575 konala porada siedmich banských miest, kde bolo dohodnuté vyslať do Viedne delegáciu so žiadosťou o pomoc od cisára proti Turkom. Roku 1647 napadli Turci Žarnovicu, mesto podpálili a vtedajšieho hradného pána Žigmunda Doczyho popravili. Keď v roku 1664 Turci vyplienili Novú Baňu, stala sa Žarnovica načas župným sídlom. V kaštieli v roku 1666 zasadalo predstavenstvo Tekovskej župy. V roku 1676 končí takmer 200-ročné panstvo rodiny Dóczyovcov a ich majetok prechádza do vlastníctva štátu. Kaštieľ bol prestavaný v druhej polovici 19. storočia po požiari v roku 1848, kedy Žarnovica vyhorela.
V súčasnosti prechádza kaštiel komplexnou rekonštrukciou.
