Poroszországban, a Königsbergi Egyetemen tanult, ahol Friedrich Wilhelm Bessel tanítványa, majd utóda volt. Argelandert 1823-ban nevezték ki a finnországi Âbo (Turku) obszervatóriumának igazgatójává, 1832-ben lett a Helsinki Obszervatórium igazgatója. 1837-ben tette közzé első nagyobb vizsgálatát a Nap térbeli mozgásáról. Ugyanebben az évben az új Bonni Obszervatórium igazgatója lett. 1844-ben kezdte meg a változó csillagok tanulmányozását.
Legnagyobb eredménye a Bonner Durchmusterung (Bonni katalógus) közzététele az 1859-62 években, ez katalogizálja a csillagokat az északi pólustól egészen az égi egyenlítő déli 2o-áig terjedő tartományban. A katalógus 25 évi munka eredménye, tartalmazza valamennyi kilences magnitúdónál (fényrendnél) fényesebb csillagot. 1950-ben újra kiadták.
Argelander alapította meg az Astronomische Gesellschaftot (Csillagászati Társaság), azzal a céllal, hogy munkáját más obszervatóriumokkal való együttműködés keretében kibővítse.