Этот университет является вторым в Австрии по величине и по возрасту. Основан он был эрцгерцогом Карлом II в Граце в 1585 году. Большую часть своей истории Грацкий университет находился под управлением католической церкви. Император Иосиф II в 1782 году закрыл университет, поскольку сам стремился его контролировать. Он унизил университет, сделав его лицеем, где готовились медицинский персонал и прислуга. Но император Франц II в 1827 году восстановил университету его статус, поэтому вместе с его основателем был увековечен в названии учебного заведения.
Спустя два десятилетия после возрождения основные принципы работы университета были реорганизованы в духе идей Вильгельма Гумбольдта. Правда, факультет католической теологии уцелел, но стал лишь одним из 6 других факультетов. В Грацком университете работали и знаменитые учёные. Дважды здесь трудился над своей статистической теорией Людвиг Больцман. Здесь преподавал лауреат Нобелевской премии Отто Леви. Выпускник Грацкого университета Виктор Франц Гесс также удостоился Нобелевской премии и позднее преподавал здесь же. Эрвин Шрёдингер в 1936 году короткое время был его ректором.
Оба Грацких университета (второй – технический) кооперируются в проекте NAWI Graz, смысл которого состоит в совместных исследованиях и обучении на родственных факультетах обоих вузов, посвящённых естествознанию. 10 лет назад начались совместные программы в области почвоведения, молекулярной биологии и химии. Разрабатываются общие программы обучения в области физики и математики. Университет является членом Утрехтской сети – ассоциации европейских университетов.