Fizikusként szerzett doktori fokozatot, Philadelhia-ban tanított fizikát. 1941-ben a Pennsylvania-i Egyetemen részt vett egy Eckert által tartott elektronikai kurzuson. Mauchly tervezetet dolgozott ki mai terminológiával - elektronikus számítógép létrehozására, amelyben felhasználta John V. Atanasoff elgondolásait is. Az amerikai hadsereg támogatásával építették meg az ENIAC számítógépet, elsősorban ballisztikai feladatok megoldására. 1945-ben Neumann János meglátogatta az ENIAC építését, s ennek során megfogalmazta a tárolt programú számítógép elvét. Az ENIAC első változata 1945-ben működött. Eckert és Mauchly újabb számítógép, az EDVAC tervezésébe kezdett. 1946-ban Mauchly-val közös céget alapítottak, megépítették az első UNIVAC számítógépet. A céget azonban pénzügyi nehézségek miatt kénytelenek voltak eladni. Mauchly a továbbiakban újabb cégeket is alapított, majd több cégnél működött, mint számítástechnikai szakértő. 1973-ban a Honeywell cég megtámadta Eckert-tel közös szabadalmukat, s a bíróság egy - szakmai körökben máig vitatott végzésben Atanasoff-ot nyilvánította a számítógép feltalálójának. Mauchly számos kitüntetésben és díjban részesült a számítógépek fejlesztésében végzett úttörő munkájáért.