Narodil se v červnu 1922 v Praze, ke které měl po celý život silný a vřelý vztah. Pokřtěn byl v kostele Nejsvětějšího srdce Páně z dílny architekta Josipa Plečnika. Původně se měl jmenovat po dědečkovi František, ale během příprav proběhly v rodině neshody, tak nakonec dostal jméno Josef, po místním kostelníkovi. Dětství prožil na Vinohradech a horním Žižkově. V roce 1942 ukončil obchodní školu v Praze. Poprvé vystupoval v jedenácti letech jako komparsista v představení Polská krev v Divadle na Vinohradech. Tam si ho všiml rozhlasový režisér Přemysl Pražský, který ho začal obsazovat do rozhlasových rolí. Profesionálně se herectví věnoval od osmnácti let, když jeho první angažmá bylo v divadelní společnosti A. Budínské-Červíčkové, kde hrál do roku 1945. V letech 1945–1947 byl v angažmá na Kladně, v sezóně 1947/1948 pak v divadle Akropolis (pozdější Divadlo města Žižkova). V letech 1948–1950 pokračoval v Divadle S. K. Neumanna a v období 1950–1965 v Městských divadlech pražských. Od roku 1965 pak byl členem činohry Národního divadla v Praze.

Za svůj život ztvárnil stovky divadelních (76), rozhlasových, filmových (150) a televizních (170) rolí. V roce 1993 získal Cenu Thálie za celoživotní mistrovství. Za svoji roli ve filmu Pevnost (1994) byl nominován na Českého lva za nejlepší mužský herecký výkon ve vedlejší roli. Dlouho byl jeho velikým přítelem a kamarádem Rudolf Hrušínský, než však toto přátelství na začátku 90. let na čas skončilo. Hrušínský totiž poplácal po zadku přítelkyni Kemra, za což mu Kemr dal facku. Před smrtí Kemra si to ale odpustili, jak vypráví přitelkyně Kemra v pořadu o herci.

Měl mu být udělen titul Zasloužilý umělec, on ovšem poslal dopis do ÚV KSČ, ve kterém stálo: „Nahý jsem přišel na svět a nahý chci z tohoto světa odejít. Nenavykl jsem byzantským způsobům, abych ruku, která bije, ještě políbil a poděkoval.“

Komunistický režim neměl rád a osobitě mu oponoval. Například když umělci v českých a slovenských divadlech, včetně těch pražských, museli nad rámec svých pracovních aktivit plnit tzv. socialistické závazky. Kemr tyto úkoly plnil s humorem sobě vlastním. Jelikož měl hluboký vztah ke katolické církvi, dlouhé roky na vlastní náklady osobně opravoval poničená Boží muka a kapličky v jižních Čechách. Od místních farností si poté vždy nechával vystavit potvrzení o vykonané práci.

V roce 1989 podepsal petici Několik vět, 12. listopadu byl v Římě účasten svatořečení Anežky České, 25. listopadu téhož roku vystoupil na manifestaci Občanského fóra na Letenské pláni.

Byl manželem herečky Evy Foustkové.

Zemřel dne 15. ledna 1995 v Nemocnici pod Petřínem na rakovinu žaludku ve věku 72 let. Je pohřben na hřbitově Šárka u kostela svatého Matěje v Praze-Dejvicích. Jeho původní hrob nyní vlastní herec Igor Bareš.