670年、ビザンツ帝国との戦闘の結果、同地を征服したアラブ・イスラーム軍（ウマイヤ朝）が、要塞の建設を開始したのが都市の起源である。内陸の砂漠地帯が用地に選ばれたのは、ビザンツ帝国の戦艦が往来する沿岸部とベルベル人によって支配された山間部を避けるという戦略上の理由もさることながら、予言者ムハンマドの教友であった理髪師（「聖なる友人」を意味する「シディ・サハブ」の名で呼ばれる）の墓所があったことも大きい。都市はバグダッドを模して建設されたと言われる。このような背景から、カイラワーンは、フェニキア人やローマ人を起源とするチュニジアの他の主要都市とは色調を異にし、イスラームの聖都として発展を遂げた。
9世紀にはアグラブ朝の首都として繁栄するとともに、神学研究の拠点となり、イスラーム法の研究や、高い水準の神学論争が行われた。12世紀に首都はチュニスに遷されたが、カイラワーンはマグレブ地方の最も重要な聖都であり続けた。霊廟の増改築や神学校の建設などが行われ、現在の都市の姿が形作られたのは17世紀である。
現在でも、主にスンニー派のムスリムにとって、カイラワーンは、メッカ（マッカ）、メディナ、エルサレムに次ぐ、4番目のイスラームの聖地である。「カイラワーンを7回訪れた者は、メッカを訪れたこととみなされる」との言い伝えがあり、マグレブ各国から巡礼者が集まる。
【主な宗教遺産】
大モスク：
マグレブ地方では最古のモスクであり（672年に建設開始、9世紀に現在に近い姿に増改築）、マグレブ地方の住民のイスラーム化の拠点となった。大理石や斑岩の列柱は、コリント式のものとイオニア式のものが混在し、カルタゴ、ローマ、ビザンツなどの建造物に使われていたものを転用したと見られている。マグレブ地方には、この大モスクの中庭のタイル装飾や、Ｔ字型の建物の配置などを模したモスクが点在している。
シディ・サハブ霊廟：
現在の霊廟の原型となる廟は、シディ・サハブの埋葬場所に7世紀に建設された。現在の優美な廟は17世紀に再建されたものである。中庭の床や壁はアラベスク文様で彩られており、ドームの石膏の壁は色鮮やかなタイルで装飾され、ステンドグラスが埋め込まれている。子供の割礼の儀式を行うモスクとして人気が高い。
ビル・バルータ：
ビル・バルータとは「聖なる泉」の名を持つ井戸。670年のビザンツ帝国との戦いの勝利に際し、ウマイヤ朝の将軍が地面に槍を突き立てたところ、泉が湧き出したとの伝説に由来する。また、この井戸は、メッカの「ザムザムの泉」とつながっているという言い伝えがある。