József főherceg 1776. március 9-én született Firenzében, az akkor a Habsburg Birodalom részét képező Toszkánai Nagyhercegség fővárosában, a későbbi II. Lipót császár fiaként és I. Ferenc császár öccseként. 1795-ben egészen fiatalon, 19 évesen lett a Magyar Királyság nádora (azaz a király helyettese), és a pozíciót több mint fél évszázadon át töltötte be. Ő volt a Habsburg családból jövő második nádor, a pozícióban őt megelőző bátyja után, valamint az utolsó előtti magyar nádor, miután a pozíciót az ő halálát követően már csak egy évig töltötték be.

​​​​​A magyarság és a korabeli reformideák felé nyitottan foglalta el hivatalát. Hazánkba érkezve megtanult magyarul, és egyik első kezdeményezéseként elérte, hogy a császár kegyelmet adjon a börtönbe zárt magyar jakobinusoknak. Nádorként végig a magyar alkotmányosság, intézmények és nemesi jogok minél teljesebb tiszteletben tartására ösztönözte az aktuális császárt. A reformkorban kiemelt szerepet játszott a közélet folyásában: az 1825-ös országgyűlés összehívását ő érte el a császárnál, valamint ő járta ki, hogy Kossuth és az országgyűlési ifjak 1840-ben visszanyerjék szabadságukat.

Szívén viselte a nádori székhelynek is helyet adó Pest-Buda fejlesztését. 1808-ban kezdeményezésére jött létre a fővárosi városrendezés megszervezésére megalakított Szépészeti Bizottmány. Már ebben az általa felállított rendszerben zajlott le a Nemzeti Múzeum és a Királyi Városi Színház, a korabeli Közép-Európa legnagyobb játszóhelyének megépítése. Szintén ebben az időszakban nyitott meg a Ludovika Akadémia és hazánk első tömegek által kedvelt csillagvizsgálója, a budai Csillagda.

Műszaki érdeklődésű emberként József külön hangsúlyt fektetett a magyar mérnöki tudományok és az oktatás modernizálására. Kezdeményezésére jött létre Budán az Ipartanoda, a mai Műegyetem elődje.

Mecénásként magánvagyonából is rengeteget áldozott a magyar kultúra és tudomány fejlesztésére. Az elsők között juttatott komoly összeget a Magyar Tudományos Akadémiának és a Pesti Magyar Kereskedelmi Banknak (az első modern magyar banknak), jelentős juttatásokkal támogatta a Magyar Gazdasági Egyletet, a Védegyletet és a Kisfaludy Társaságot is. Az Országos Széchényi Könyvtár és a Nemzeti Múzeum gyűjteményének gyarapításához szintén hozzájárult.

1847. január 13-án, 71 éves korában hunyt el Pest-Budán, alig több mint egy évvel az 1848-as forradalom kitörése előtt. Halálakor még Kossuth Lajos is rendkívül elismerően nyilatkozott róla: úgy fogalmazott, hogy József nádor „Habsburgnak született és magyarnak halt meg.” Köztiszteletben álló mivoltát jól mutatja, hogy utóda a nádori székben fia, István lett. István nádor a szabadságharc kezdetén a Honvédség fővezéri tisztségének betöltésére is felkérést kapott a Batthyány-kormánytól, mielőtt a számára vállalhatatlan konfliktust elkerülendő végleg vissza nem vonult a közélettől.