Kisah yang agak serupa tentang penghancuran patung-patung ini ada dalam midrash sebagai komentar atas Kitab Kejadian.
Sebagai anak pembuat patung, suatu hari Ibrahim kedatangan seorang perempuan yang membawa semangkuk gandum dan memintanya untuk mempersembahkan ke salah satu patung yang ada di rumah orang tuanya itu.
Usai perempuan itu pergi, Ibrahim mengambil tongkat dan merusak beberapa patung yang dibuat ayahnya. Perbuatan ini jelas membuat gusar Terah, sang ayah. Terah pun membawa anaknya ke hadapan Raja Nimrod.
          ***
Ibrahim yang tak mungkin melawan penguasa Babilonia itu akhirnya menyingkir. Meninggalkan tanah kelahirannya, Ur Kasdim menuju Kanaan. Yang kelak disebut sebagai tanah yang dijanjikan. Di tempat baru itu Ibrahim membangun mezbah, sebagai tempat beribadah kepada Tuhan.
Ujian demi ujian harus dialami kembali oleh Ibrahim dan Sarah, sang isteri. Bencana kelaparan memaksa mereka mengungsi ke Mesir. Raja Mesir yang tertarik dengan kecantikan Sarah mencoba merebutnya dari Ibrahim. Lagi-lagi Tuhan menolongnya dengan menurunkan tulah kepada penguasa lalim itu.
Keduanya pun kembali ke Kanaan dengan membawa serta Hagar atau Hajar, perempuan Mesir sebagai budak perempuan mereka.
Seperti disebutkan dalam Perjanjian Lama, Tuhan menjanjikan pada Ibrahim kelak akan menjadikannya bapak (patriak) dari sebuah bangsa yang besar serta membuat namanya masyhur. Sementara mereka sendiri belum dikaruniai seorang anak. Bagaimana mungkin akan melahirkan bangsa yang besar?
Akhirnya Sarah menyuruh Ibrahim untuk mengambil Hagar sebagai isteri hingga akhirnya mengandung.
Malang, Sarah dan Hagar -yang tengah mengandung- terlibat perselisihan yang membuat Hagar diusir dari rumah Ibrahim dan lari ke padang pasir. Dalam pelariannya itu, sesosok malaikat menampakkan diri dan mengabarkan bahwa ia akan melahirkan bayi laki-laki  dan harus menamainya Ismael. Hagar dan Ismael akhirnya tinggal di gurun Paran di kawasan Sinai.
Bagi kaum Muslim dipercaya bahwa gurun Paran adalah apa yang disebut Hijaz sekarang ini. Dan Ibrahim lah yang membawa Hagar dan Ismael ke gurun itu. Peristiwa itu akhirnya menjadi bagian dari rangkaian ibadah haji.
