Csemegi Károly – Nasch József Károly kiskereskedő gyermekeként – Csongrádon született, 1826. május 3-án (1844-ben vezetékneve Naschról Csemegire módosult). A középiskola után jogi tanulmányait – házi tanítóként finanszírozva – a pesti egyetemen 1846-ban ügyvédi oklevél megszerzésével fejezte be. Szüleitől és tanulmányai révén számos nyelvből (francia, német, latin, olasz, görög, angol) kiváló tudásra tett szert.

1846-ban, mint tiszteletbeli aljegyző, Torontál vármegye szolgálatába lépett, majd a pozsonyi, utolsó rendi országgyűlésen, 1847-ben, a vármegye írnokaként vett részt. Ezt követően párizsi tanulmányútra ment. A szabadságharc idején őrnagyi rangot ért el. Saját szervezésű gyalogos zászlóaljának és lovas századának parancsnoki tisztét ő látta el. A fegyverletétel után várfogságban tartották, és büntetésül besorozták az osztrák hadseregbe, ahonnan csak egészségi okokból szabadulhatott. 1850-től – rendőri felügyelet alatt – ügyvédi tevékenységet folytatott Aradon, majd hazafias kiállása és egyre növekvő népszerűségének csökkentése érdekében egy Butyin (Temesbökény) nevű faluba helyezték. 1858-tól ismét engedélyezték aradi működését. A kiegyezés után a Deák Ferenc bizalmát élvező, akkor már neves jogász az Igazságügyminisztériumba került, előbb titkár, tiszteletbeli osztálytanácsos, nem sokkal később, 1868 áprilisától miniszteri tanácsos, 1871-ben helyettes államtitkár, 1872-től 1879-ig államtitkár lett. Két ciklusban, 1872-től 1878. január 3-i lemondásáig a Deák-párt, illetve a Szabadelvű Párt országgyűlési képviselője a pécskai választókerületben. 1879-től – az általa elképzelt miniszteri pozíció helyett – kúriai tanácselnök lett. 1893-ban sértettsége miatt, ugyanis Szilágyi Dezső igazságügyminiszter nem őt nevezte ki a Kúria másodelnökévé, a Kúriától vonult nyugalomba.

A tudományos felkészültségű és sokoldalú nyelvtudása révén a nemzetközi jogirodalomban rendkívül tájékozott Csemegi Károly aktívan részt vett a kiegyezés utáni igazságszolgáltatási reform munkálataiban: számos jelentős törvény megszületése az ő művének tekinthető. Ide sorolhatók – többek között – 1869-ben a bírói hatalom gyakorlásáról, 1871-ben a bírák és bírósági hivatalnokok felelősségéről, a bírói függetlenség biztosításáról és az ügyészségekről, 1872-ben az ideiglenes bűnvádi eljárásról, 1874-ben az ügyvédi rendtartásról szóló törvények stb. Legnagyobb alkotása az 1878-ban elfogadott első magyar büntetőtörvénykönyv, amelyet ma is kora társadalmának modern jogszabályaként ítélhetünk meg (külföldi visszhangja is igen pozitív volt). A róla elnevezett Csemegi-kódex a francia, az olasz és a német büntetőjog alapos tanulmányozása során szerzett ismereteinek felhasználásával öt évig készült, és Indokolás című 700 oldalas részét a hazai jogászság napjainkig a jogtudományi szakirodalom egyik legkiválóbb szellemi termékeként tartja számon. A kihágásokról szóló 1879. évi XL. törvény szerkesztését is ő végezte. Kodifikátori munkásságának hatékonyságát az 1870-es évtized képviselőházi vitáiban kitűnő szónoki képességei is segítették (a Btk. tervezetét az országgyűlés 1875-től 1878-ig tárgyalta, ennek során Csemegi 101 beszédet mondott). 1879-től 1887-ig a bűnvádi eljárás kodifikációs munkálataival foglalkozott, 1882-ben és 1885-ben kidolgozta annak első és második tervezetét is. Az 1878. évi V. törvény és a többi büntető jogszabály következetes gyakorlati alkalmazásában, végrehajtásában kúriai bíróként Csemegi kiemelkedő szerepet játszott.

Politikai cikkei a Magyarország és az Alföld című lapokban, jogi cikkei és tanulmányai a Magyar Igazságügy, a Törvényszéki Csarnok, a Jogtudományi Szemle, a Jogállam, a Jogtudományi Közlöny című szakfolyóiratokban és a Pester Lloyd, a Pesti Napló című napilapokban jelentek meg.

1878-ban kezdeményezte és megalapította a Magyar Jogász Egyletet, amelynek első elnöki funkcióját 1898 májusáig ő töltötte be. Leköszönésekor örökös tiszteletbeli elnökké választották. 1896-ban a Budapesti Tudományegyetem díszdoktorává avatták. 1878-ban a Szent István-rend középkeresztjét, 1882-ben pedig a valóságos belső titkos tanácsosi címet kapta az uralkodótól. Horváth Tibor konklúzióját idézve „kodifikátori, bírói és szakírói tevékenysége révén Csemegi hosszan tartó és jelentős hatást gyakorolt a magyar büntetőjog fejlődésére” (bizonyos módosításokkal a kódex általános része 1950-ig, különös része pedig 1961-ig volt hatályban).

A magyar jogalkotás, az igazságszolgáltatás, a büntetőjogi kodifikáció elismert egyénisége 72 évesen, 1899. március 18-án a fővárosban hunyt el. Síremlékét a Kerepesi úti temetőben 1902-ben avatták fel.