Pada tahun 722 SM, bangsa Asyur atau Asyiria menyerang dan meruntuhkan negara Samirah Utara. Kemudian mereka mengusir orang-orang Yahudi yang berada di sana. Bangsa Asyur juga membawa sebagian kecil bangsa Yahudi ke Irak.
Di tahun 596 SM, datanglah bangsa Babilonia dari Irak yang dipimpin oleh Nebukadnezar untuk menyerang kota Al-quds, membantai orang Yahudi, meruntuhkan negara Yahudi Selatan, meruntuhkan Masjid Al-Aqsha yang dibangun Nabi Sulaiman a.s., meruntuhkan kota Al-Quds, membawa 70.000 orang Yahudi ke Babilonia dan menjadikan mereka tawanan selama sekitar 70 tahun.
Memasuki tahun 546 SM datang bangsa Persia di bawah komando Koresh Agung. Walaupun bangsa Persia menduduki Al-Aqsha, tetapi mereka bersikap toleran terhadap orang-orang Yahudi. Koresh Agung mengizinkan orang-orang Yahudi yang ditawan di Babilonia untuk Kembali ke kampung halaman mereka. Ia telah mengalahkan Babilonia dan meruntuhkan negara itu.
Pada tahun 332 SM, tentara Yunani di bawah komando Alexander Agung menyerang Al-Quds dan wilayah Syam. Tetapi mereka juga memperlakukan orang-orang Yahudi dengan toleransi.
Di tahun 203 SM, Kaisar Seleukia (penguasa Suriah kedua) yang bernama Antiokhos II menduduki Al-Quds. Kemudian pada tahun 199 SM datanglah pasukan Ptolematic yang kemudian merebut  kota Al-Quds dari tangan Kaisar Seleukia. Memasuki tahun 170 SM, bangsa Seleukia datang kembali ke kota Al-Quds dan menghancurkan pasukan Ptolemaic.
Tahun 66 SM, bangsa Yunani datang dan menduduki kota Al-Quds yang dipimpin oleh Apollonius. pada tahun 66 SM, datanglah pasukan Romawi ke kota Al-Quds yang dipimpin oleh Pompay. Kota Al-Quds tetap berada di bawah kekuasaan Romawi hingga tahun 614 M.
Memasuki tahun 614 M datanglah tentara Persia ke kota Al-Quds yang dipimpin oleh Kisra' dan ia berhasil mengalahkan Romawi. Al-Qur'an telah mengisyaratkan hal ini dalam surat Ar-Rum ayat 1-3. Allah berfirman, "Alif Laam Mim.Â
Telah dikalahkan bangsa Romawi, di negeri yang terdekat dan mereka sesudah dikalahkan itu akan menang." Apa yang dikatakan Al-Qur'an ini benar-benar terjadi karena bangsa Romawi Kembali ke Al-Quds dan berhasil mengalahkan bangsa Persia. Selanjutnya kota Al-Quds berada ditangan Romawi hingga terjadi pembebasan Islam pada tahun 636 M.
Pada tahun 636 M, Khalifah Umar bin Khatab r.a. membebaskan kota Al-Quds. Kemudian kota Al-Quds berada di bawah kekuasaan umat Islam. Pada masa itu, beberapa khalifah mulai membangun masjid di komplek Masjid Al-Aqsha. Khalifah Umar bin Khatab r.a. membangun Masjid Qibli. Sedangkan Khalifah Abdul Malik bin Marwan membangun Masjid Al-Aqsha yang disempurnakan oleh anaknya yang bernama Walid bin Abdul Malik. Walid bin Abdul Malik juga membangun Masjid Kubah Ash-Shakhrah yang sangat terkenal sampai saat ini.
Di tahun 1099 M datanglah tentara Salib dan mereka menduduki Al-Quds. Mereka melakukan perusakan dan penghancuran terhadap Masjid Al-Aqsha.
Tahun 1187 M panglima Islam yang bernama Shalahudin Al-Ayyubi datang ke Al-Quds dan menghancurkan tentara Salib serta merebut kembali Al-Quds. Kemudian ia membersihkan dan memperbaiki Masjid Al-Aqsha.
