Black a franciaországi Bordeaux-ban született; belfasti születésű, skót származású apja borkereskedő volt. Belfastban tanult, és a Glasgow-i Egyetemen hallgatott orvostudományt és természettudományokat. Itt William Cullen (1712-90) volt az instruktora kémiából, és tanár-diák kapcsolatuk hamarosan átalakult a professzor és asszisztense kapcsolatává. Black 1751-ben Edinburghbe költözött, hogy orvosi tanulmányait befejezze. 1756-ban Cullen utódjaként a Glasgow-i Egyetemen kémiát oktatott. Bár az anatómia professzorává is kinevezték, ezt az állását felcserélte a belgyógyászati tanszék vezetésével. Gyakorló orvos is volt.

Black a magnesia alba (magnézium-karbonát) hevítésével kapcsolatos vizsgálatai során Lavoisier-t és a modern kémiát megelőzve mutatta ki a közönséges levegőtől különböző szén-dioxid gáz létezését. 1756-ban kiadott Experiments Upon Magnesia Alba, Quicklime, and Some Other Alcaline Substances (Kísérletek a magnesia albával, az oltatlan mésszel és néhány más alkalikus anyaggal) c. munkájában bebizonyította, hogy az enyhe alkáliák (karbonátok) szén-dioxid-vesztés hatására maróbbak (lúgosabbak) lesznek, a szén-dioxid abszorpciója pedig kevésbé lúgossá teszi a marólúgokat. Black kimutatta, hogy a szén-dioxid savként viselkedik; erjesztéssel, kilélegzéssel, kőszén elégetésével állítható elő; arra következtetett, hogy a légkörben is jelen van.

Black glasgow-i kutatásai végül is a látens hő elméletéhez vezettek. Észlelte, hogy a jég, miközben olvad, hőmérsékletváltozás nélkül vesz fel hőt. Ezt úgy magyarázta, hogy ennek a hőmennyiségnek egyesülnie kell a részecskékekkel, és így látens (rejtett) lesz. E hipotézisét 1761-ben kvantitatív módon is bebizonyította, és ezután oktatta is elméletét. Bár sohasem írta le részletesen a látens hővel kapcsolatos felismeréseit, bizonyos, hogy barátjára, James Wattra hatással volt a forradalmi újdonságnak számító kondenzációs gőzgép megalkotása során. Black ugyancsak felismerte, hogy különböző anyagi minőségű, de azonos tömegű testek azonos hőmérsékletre történő felmelegítéséhez különböző mennyiségű hő szükséges, és így jutott el a fajhő elméletéhez.

Hátrahagyott feljegyzései és tanítványainak jegyzetei alapján Black előadásait barátja és kollégája, John Robison rekonstruálta 1803-ban, s Lectures on the Elements of Chemistry, Delivered in the University of Edinburgh (A kémia alapjairól az Edinburghi Egyetemen tartott előadások) címmel adta ki.