Az új-zélandi egyetemen 1894-ben matematikából és fizikából doktorált, majd a Cambridge-i Cavendish Laboratory-ban J. J. Thomson mellett a radioaktivitás jelenségét kutatva 1897-ben ő vezette be az alfa- béta- és gamma-sugárzás elnevezéseket. 1908-ban kimutatta, hogy az alfa-részecskék valójában héliumatommagok. 1898-1907-ig a montreali McGill egyetem fizikaprofesszora volt. Frederick Soddy-val már 1902-ben arra a következtetésre jutott, hogy a radioaktív sugárzás atomátalakulási folyamatok következtében keletkezik. 1907-ben elfogadta a manchesteri egyetem meghívását a fizika tanszék élére. 1908-ban kémiai Nobel-díjat kapott "az elemek bomlásának vizsgálataiért és a radioaktív anyagok kémiájában elért eredményeiért". Szóráskísérletei során felismerte, hogy az atomok pozitív töltése az atom nagyon kicsiny középső részében, az atommagban koncentrálódik. Az általa alkotott Rutherford-féle atommodellt később Niels Bohr fejlesztette tovább. 1919-ben a Cambridge-i Cavendish Laboratory vezetője, a kísérleti fizika professzora lett, itt a fizika történetének egyik legjelentősebb kutatói iskoláját hozta létre, melyből több Nobel-díjas került ki. Ugyanebben az évben sikerült mesterséges kémiai elemátalakítást létrehoznia: nitrogén atommagot bombázott alfarészecskékkel, e reakció terméke volt az oxigén-17 és a proton, melyet Rutherford nevezett el. 1914-ben lovagi, 1931-ben főnemesi címet kapott. A 20. század egyik legnagyobb hatású fizikusa volt.