Одни источники сообщают, что он был построен в 859 году образованнейшей женщиной-мусульманкой по имени Фатима аль-Фихри. Она была дочерью богатого купца. И построила огромную мечеть, ставшую впоследствии университетом, в память об отце, средства которого и были вложены в строительство. Еще существует легенда о сестрах, которые на противоположных берегах реки Фес возвели две постройки. Они были похожи как сестры. Позднее здесь построили два здания: аль-Карауин и аль-Андалу. Джами аль-Каравийин оказалась в выгодном положении и стала быстро развиваться. Был возведен минарет, который представлял собой четырехгранную башню с куполом.
В соответствии с ЮНЕСКО Аль-Карауийн — старейшее существующее и постоянно действующее в мире учебное заведение. В отличие от европейской традиции, старинные арабские «университеты» до недавнего времени не выдавали дипломов от имени заведения: упор делался на обучении у индивидуальных наставников. Только в 1947 году Аль-Карауин стал университетом в европейском понимании и был включен в современную государственную университетскую систему Марокко в 1963 году.
В древности здесь изучали прежде всего богословие. Знаменитый теоретик суфизма Ибн-Араби собирал здесь огромные толпы слушателей. В Аль-Карауине учился талмудист Моше бен Маймон, выдающийся еврейский философ и богослов, раввин, врач и разносторонний ученый своей эпохи, кодификатор законов Торы. Что свидетельствует о религиозной терпимости марокканских правителей. Выпускником университета был знаменитый путешественник и географ Лев Африканский. Главный труд Льва Африканского «Об описании Африки и о примечательных вещах, которые там имеются» переведен на русский и французский языки и в течение более чем 20 лет распространялся в рукописи.
С Аль-Карауином связаны также труды историка и экономиста Ибн-Хальдуна. В своем историческом труде «Мукаддима» («Введение в историю») Ибн Хальдун анализировал причины подъема и упадка стран и народов. Ученый открыл огромное количество фундаментальных понятий экономики, ценность и необходимость разделения труда, трудовую теории стоимости.
Согласно некоторым данным, в Фесе изучал математику и астрономию Герберт Орильякский, ставший впоследствии папой Сильвестром II.
В университете кроме Корана и богословия преподавали грамматику, математику, астрономию, химию, музыку. Слава Аль-Карауина как научного центра всего Магриба тешила самолюбие местных правителей, и они с удовольствием принимали участие в жизни университета. Каждый халиф (а позднее — султан) считал своим долгом дополнить и украсить мечеть и медресе. При Альморавидах комплекс достраивался и украшался уникальными орнаментами и мозаиками. При более строгих Альмохадах узоры были признаны излишней роскошью и закрыты слоем штукатурки, но мечеть продолжали достраивать. Наконец, при Моранидах, которые вернули столицу в Фес, особое внимание уделяли именно учащимся — для них построили комплекс общежитий. В XIV веке в Аль-Карауине училось 8 тысяч студентов.
Студенческая жизнь университета оставила свой след в истории. Так, выражение «халиф на час» произошло из ежегодной традиции студентов выбирать среди своей среды праздничного «правителя». Студенческий халиф правил всего неделю, при этом он удостаивался часовой аудиенции у правителя Марокко. Собеседники обращались друг к другу по титулу «халиф», вели на равных беседу о жизни страны, религии, науке и культуре. Поход студенческого халифа к «коллеге» превращался в торжественную процессию.
И мечеть, и университет существуют и работают до сих пор. Они являются главными достопримечательностями Феса и привлекают большой поток туристов.
Обучение и сегодня проходит по традиционному методу, когда учащиеся сидят в полукруге (халга) вокруг шейха, который побуждает их читать разделы конкретного текста, задает им вопросы и объясняет сложные моменты.
И хотя сегодня большинство научных открытий совершаются совсем в других университетах, студенты Аль-Карауина гордятся своей альма-матер и своим дипломом, которые наконец начали выдавать выпускникам.