A königsbergi egyetemen tanult matematikát, itt doktorált, majd 1909-ben magántanárrá habilitált. Érdeklődése a relativitáselmélet felé fordult. 1921-ben publikálta azt az elgondolását, hogy egy ötödik dimenzió bevezetésével egyesített elméletet lehet létrehozni, amely tartalmazza Maxwell és Einstein elméletét. 1929-ben lett professzor Kielben, majd 1935-ben Göttingenben. Itt működött haláláig. Elmélete, amelyet Einstein nagyra értékelt, a kvantummechanika megjelenésével háttérbe szorult. A nevét viselő Kaluza-Klein elmélet jóval később, a húrelmélet megjelenésével került ismét az érdeklődés középpontjába.