"Sesungguhnya rumah (ibadah) pertama yang dibangun untuk manusia, ialah (Baitullah) yang di Bakkah (Mekah) yang diberkahi dan menjadi petunjuk bagi seluruh alam." (QS Ali Imran:96)
Ayat diatas menjadi landasan para ulama bahwasanya bangunan Ka'bah dibangun sebelum Nabi Adam turun ke bumi.
Di dalam The Great Episodes of Muhammad saw. Karya Al-Buthy, bangunan Ka'bah mulanya memiliki tinggi 7 hasta, panjangnya 30 hasta, dan lebarnya 22 hasta tanpa atap. Sejarah pembangunan Ka'bah pun berlangsung dari masa ke masa termasuk Nabi Ibrahim hingga kaum Quraisy sebelum Islam dan Nabi Muhammad saw.
Pada zaman Nabi Nuh, Ka'bah mengalami kerusakan akibat banjir besar. Yang mengakibatkan bagian atas hancur dan tersisa pondasinya yang disebut Qaa'idah atau Qowaa'id dalam  bentuk jamak. Dengan kondisi hancur bagian atas, Ka'bah dibangun oleh Nabi Ibrahim dan Nabi Ismail untuk direnovasi. Dimasa inilah Nabi Ibrahim diperintahkan oleh Allah kepada Nabi Ibrahim dan Nabi Ismail untuk meninggikan kembali pondasi tersebut.
"Dan (ingatlah), ketika Ibrahim meninggikan dasar-dasar (pondasi) Baitullah bersama Ismail (seraya berdoa): "Tuhan kami terimalah amalan kami, sesungguhnya Engkau Maha Mendengar lagi Maha Mengetahui." (QS Al-Baqarah:127)
Dibangunnya Ka'bah oleh Nabi Ibrahim untuk melanjutkan proses renovasinya, Ibrahim melakukan pijakan pada batu pertama yang dibawanya. Pijakan batu tersebut adalah yang sekarang diketahui sebagai Maqam (tempat berdiri) Ibrahim. Setelah membangun Ka'bah pada masanya, Ibrahim dan anaknya Isma'il memanjatkan do'a.
Banyak ulama berpendapat dan menafsirkan bahwa sebenarnya Ka'bah dibangun oleh para malaikat, tentu saja atas izin Allah subhanahu wa ta'ala. Itu artinya Ka'bah sudah ada sebelum Nabi Ibrahim dan Nabi Adam. Dan Nabi Ibrahim hanya membangun kembali setelah Ka'bah diterjang banjir pada zaman Nabi Nuh 'alaihissalam.
