Ifjabb Andrássy Gyula gróf, a kiegyezés egyik megalkotójának, majd a dualista Magyarország első miniszterelnökének, később az Osztrák-Magyar Monarchia közös külügyminiszterének, idősebb Andrássy Gyula grófnak kisebbik fia 1860. június 30-án született Terebesen, az Andrássy-család ősi kastélyában. 1871-től, amikor az apa a Monarchia külügyminisztere lett, a gyermekek is a Ballhausplatzon éltek. Nyilvános iskolába Andrássy sohasem járt, csak az év végi vizsgákat tette le Budapesten a piaristáknál. Idősebb Andrássy Gyula – akit gyermekei bálványoztak – korán beavatta őket a politika ügyeibe, rendszeresen megbeszélte velük az aktuális politikai történéseket.

1883 végétől majdnem egy éven át a fiatal Andrássy a konstantinápolyi követségen volt fogalmazójelölt. Eközben – elérve 24. életévét – tagja lett a magyar országgyűlés főrendiházának is. A diplomáciai vizsga letétele után 1885-86-ban a Monarchia berlini nagykövete alárendeltjeként dolgozott. Rendszeresen látogatta a berlini egyetemen Eduard Gneist, a nagyhírű jogtudós állam- és jogtudományi előadásait. A berlini évek stúdiumai maradandó nyomot hagytak egész világlátásán. Történetírói és publicisztikai munkásságában Andrássyt mindig egyfelől az államoknak, mint önálló, fejlődésük sajátos törvényszerűségeit követő organizmusoknak a sorsa, másfelől pedig a nagyhatalmak közötti játszma menete köti le.

1886 augusztusában Andrássy váratlanul elhagyta a külügyi pályát, 1886 a csíkszentmártoni kerület országgyűlési képviselőjévé választották a Szabadelvű Párt jelöltjeként. 1887-ben újraválasztották. 1892-ben Terézvárosban lett képviselő. 1892 és 1894 között a Belügyminisztérium államtitkára volt.1897-ben időközi választáson Rozsnyón nyert mandátumot. 1898-ban rövid időre, majd 1904-ben, Tisza Istvánnak a parlamenti ellenzék letörésére irányuló erőszakos politikája miatt ismételten kilépett a Szabadelvű Pártból és csatlakozott a szövetkezett ellenzékhez. 1901-ben Losoncon választották meg. Hevesen támadta a Fejérváry-kormányt.

1894-ben, a második Wekerle-kormányban a király személye körüli miniszter lett.

1896 nyarán befejezte első, még évekkel korábban megkezdett könyvét: a kiegyezésről írott nagyszabású munkáját. Közvetített a Széll-kormány felállítását megelőző tárgyalásokon, majd az új kormány megalakulását követően vissza is lépett a Szabadelvű Pártba. Az új kormány létrejöttében játszott szerepe miatt megnőtt Andrássy súlya és tekintélye a magyar politikai életben. Tudományos tevékenysége ebben az időszakban új lendületet vett. 1900-ban tartotta meg akadémiai székfoglalóját és írta meg legnagyobb munkája, A magyar állam fennmaradásának és alkotmányos szabadságának okairól három kötete közül az elsőt. Ugyanebben az évben vállalt elnöki posztot a Társadalomtudományi Társaságban, a szerveződő polgári radikális progresszió ekkor még konzervatív-liberális elemeket is tömörítő szervezetében. Hasonlóképpen sok időt fordított ekkoriban közismert műgyűjtő, művészetpártoló tevékenységére is.

A parlamenti obstrukció letörésére irányuló törekvések hatására 1904-ben ismét kilépett a kormánypártból.

Az 1905-ös választásokat követően társaival a 67-es alapokon álló Országos Alkotmánypárt alapítója és vezére lett.

A második Wekerle-kormányban 1906. április 8-ától 1910. január 17-éig belügyminiszter. Ellenezte a munkásság és parasztság szocialista mozgalmait, ellenezte az általános választójogot.

1910-ben pártját is feloszlatta, s pártonkívüliként a második Tisza István-kormány parlamenti ellenzékének egyik vezetője lett. 1913-ban újból megszervezte az Alkotmánypártot. 1918. október 24-étől október 30-áig az Osztrák–Magyar Monarchia utolsó közös külügyminisztere volt. 1919-ben Bécsben az ellenforradalmi Antibolsevista Comité egyik vezetője volt, majd 1919 után hazatért.

1920 januárjában pártonkívüli programmal képviselőnek választották, 1921 februárjában elvállalta a Keresztény Nemzeti Egyesülés Pártjának elnökségét. Részt vett a második királypuccsban IV. Károly király oldalán, emiatt Tatán elfogták, és néhány hétig vizsgálati fogságban tartották. Kiszabadulása után a Friedrich-féle Keresztény Nemzeti Párthoz csatlakozott. Haláláig legitimista oldalról támadta a Bethlen-kormány politikáját. 1920-ban Miskolc 1-es számú választókerületének nemzetgyűlési képviselőjévé választották. 1921 és 1922 között a Keresztény Nemzeti Egyesülés Pártjának, az Egységes Párt elődjének elnöke volt. Legitimista nézetei azonban elszigetelték, a Horthy-korszakban nem jutott fontosabb politikai szerephez. 1929. június 11-én hunyt el Budapesten.