Beberapa buku sejarah menyebutkan bahwa yang pertama kali membangun Kabah adalah para malaikat, ada juga yang berpendapat Nabi Adam `alaihissalam dan ada juga yang berkata: Allahlah yang menciptakannya 2000 tahun sebelum menciptakan bumi, kemudian menciptakan bumi dari bawahnya. Sebagaimana beberapa rujukan menyebutkan juga bahwa Ka'bah dibangun beberapa kali, namun yang terbukti di antaranya adalah lima kali, yaitu: pembangunan Ibrahim `alaihissalam bersama anaknya Ismail, pembangunan Quraisy, pembangunan Abdullah bin Zubair radhiyallahu 'anhuma. pembangunan Hajjaj bin Yusuf ats Tsaciafi dan pembangunan Sulthan Murad Khan Al Utsmani.
Pembangunan Kabah Oleh Nabi Ibrahim a.s dan Nabi Ismail a.s
Nabi Ibrahim shallallahu 'alahi wa sallam telah membangun Ka'bah al Musyarrafah atas perintah Allah, bangunannya dari batu, tingginya 9 hasta (4,5m), panjangnya dari arah timur 32 hasta (16 m), dari arah barat 31 hasta (15,5m), dari arah selatan 20 hasta (10m) dan dari arah selatan 22 hasta (11m).
Dia tidak membuat atap untuk Ka'bah, dia membuka dua pintu yang sejajar dengan tanah tanpa ada daun pintu yang menutup, dan membangun di utaranya anjang-anjang sebagai kandang untuk kambing Ismail, yaitu yang disebut dengan Hijir, dan malaikat Jibril 'alaihissalam turun dengan Hajar Aswad dan Ibrahim meletakkannya di tempatnya.
Pembangunan Kabah Oleh Kaum Quraisy
Mereka melingkarinya dengan tembok pendek agar orang-orang berthawaf dari belakangnya. Mereka membuat beberapa perubahan: menambah tingginya sampai 19 hasta (9m), membuat atap untuknya yang sebelumnya tidak beratap, membuat pancuran atap dari kayu, menutup pintu yang di arah barat. meninggikan Pintu Timur dari tanah, sehingga mereka rnemperbolehkan masuk siapa yang mereka kehendaki dan melarang siapa yang mereka kehendaki, dan Rasulullah shallallahu 'alahi wa sallam turut serta dalarn pembangunan Kabah, beliau ikut mengangkat bebatuan dan tatkala mereka usai dari pembangunan dan hendak meletakkan Hajar Aswad, terjadi pertengkaran di antara Quraisy, setiap kabilah ingin mendapatkan kemuliaan meletakkan Hajar Aswad di tempat, akhirnya mereka sepakat untuk menjadikan penengah di antara mereka orang pertama yang masuk ke Masjidil Haram, dan ternyata yang pertama masuk adalah Nabi shallallahu 'alahi wa sallam maka beliau mengambil Hajar Aswad dan meletakkannya di tengah kain selendang dan menyuruh setiap kabilah untuk memegang ujung-ujungnya, maka mereka mengangkatnya dan Nabi shallallahu 'alahi wa sallam meletakkannya di tempatnya semula. Dengan cara itu Nabi shallallahu 'alahi wa sallam memutuskan pertikaian yang hampir memecah belah Quraisy serta akan membahayakan kehidupanbanyak orang dari mereka.
Pembangunan Kabah Oleh Abdullah Bin Zubair r.a
Di tahun 64 H/ 683 M Yazid bin Mu'awiyah mengirim pasukan dengan pimpinan Hushain bin Namir untuk memerangi AbduIlah bin Zubair, maka mereka mengepung Mekah dan melemparinya dengan manjaniq sehingga berdampak kepada bangunan Ka'bah, bangunannya terbakar dan tembok-temboknya rusak, dan setelah 27 hari dari masa pengepungan Yazid wafat, maka pasukannya kembali ke Syam dan tidak memasuki Mekah, dan kekuasaan di Mekah berada di tangan ibnu Zubair, maka dia memutuskan untuk merenovasi bangunan Ka'bah dan mengembalikannya di atas pondasi-pondasi Ibrahim 'alaihissalam, untuk mewujudkan apa yang diidamkan oleh Rasulullah shallallahu 'alahi wa sallam, di mana dia mendengar bibinya (Aisyah) berkata bahwa Nabi shallallahu 'alahi wa sallam berkata kepadanya: "Andai saja kaummu tidak baru saja meninggalkan kejahiliyaah, niscaya aku akan memerintahkan supaya Ka'bah itu dibongkar, maka aku akan memasukkan ke dalamnya apa yang telah dikeluarkan darinya dan aku akan menyejajarkannya dengan tanah, dan aku akan jadikan untuknya pintu di timur dan pintu di barat, dan dengannya aku telah mengembalikannya kepada pondasi Ibrahim"
Oleh karena itu Ibnu Zubair memasukkan ke dalam Ka'bah apa yang telah dikeluarkan oleh kaum Quraisy sepanjang 6 hasta sejengkal, dan dia menjadikan untuknya dua pintu sejajar dengan tanah, satu di arah barat dan satu lagi di timur, dan dia menambah di ketinggiannya 27 Hasta (13,5m)