A göttingeni, müncheni és berlini egyetemeken tanult. 1913-ban nevezték ki tanársegédnek a Berlini Egyetem fizikai tanszékre, itt kezdett együtt dolgozni James Franck-kal. 1914-ben a berlini egyetemen közösen elvégzett Franck-Hertz-kísérlet volt az első, amely a Bohr-modell atomi energianívóinak létezését a fénykibocsátástól függetlenül is igazolta. Ezért 1925-ben Franck-kal megosztva fizikai Nobel-díjat kapott, mert igazolták azt az elméletet, hogy egy atom csak meghatározott mennyiségekben nyelhet el energiát. Hertzet 1925-ben nevezték ki a Hallei Egyetem fizikaprofesszorává. 1928-ban a berlini Műegyetem fizikaprofesszora lett. 1932-ben módszert dolgozott ki a neonizotópok szétválasztására. 1945-től 1954-ig, más vezető német fizikusokkal együtt a Szovjetunióban létrehozott kutatóintézetekben kutatott. 1954-ben tért vissza Kelet-Németországba, 1961-ig a lipcsei Fizikai Intézet fizikaprofesszora és igazgatója volt.