Ahlussunah Wal Jama'ah berasal dari Bahasa Arab, terdiri dari tiga kata yaitu; ahlun, sunnatun, dan jama'atun. Kata "ahlun" artinya keluarga, golongan atau pengikut. Adapun kata "sunntaun menurut istilah adalah jalan yang ditempuh oleh" Rasulullah dan para sahabat, baik berupa ilmu, ucapan, perbuatan, ataupun ketetapan. Sedangkan kata "jama'atun" ini artinya sekelompok orang yang memiliki tujuan. Jadi, ahlussunah wal jama'ah adalah sekumpulan orang yang dekat dengan Rasul dan senantiasa mengamalkan sunnahnya.
Persoalan tentang aliran paham Islam ini dilatarbelakangi oleh peristiwa sosial-politik yang terjadi di dunia Islam. Setelah Utsman bin Affan wafat, pemerintahan umat Islam dipimpin oleh Ali bin Abi Thalib. Namun ia kemudian mendapat tantangan politik dari Thalhah dan Zubair yang didukung oleh Aisyah, mereka turun ke Medan tempur yang dinamakan Perang Jamal, kemudian mereka dikalahkan oleh Ali.
Tantangan kedua datang dari Muawiyah dan keluarga dekat Utsman yang menuntut Ali agar menghukum pembunuh-pembunuh Utsman, tetapi Ali tidak mengambil tindakan keras terhadap para pemberontak bahkan mengangkat salah satunya menjadi Gubernur Mesir.
Kemudian terjadilah pertempuran antara pasukan Ali dan Muawiyah yang dinamakan Perang Siffin, ketika pasukan Ali hampir dapat mengalahkan pasukan Muawiyah, namun dari pihak Muawiyah meminta damai yang dimana dari pihak Ali pun mendesak Ali agar menerima tawaran damai itu dengan mengadakan arbitrase atau biasa disebut peristiwa tahkim.
Dalam pertemuan itu, kelicikan Amr bin 'Ash dari pihak Muawiyah mengalahkan pihak Ali. Maka dengan arbitrase ini kedudukan Muawiyah naik menjadi khalifah meskipun ilegal, keputusan Ali yang menerima arbitrase tidak disetujui oleh sebagian pasukannya.
Mereka memandang Ali telah berbuat salah dan karena itu mereka meninggalkan barisannya, golongan ini disebut Khawarij (orang yang keluar dan memisahkan diri), ada pula yang tetap berada di barisan Ali yang disebut golongan Syiah.
Golongan khawarij ini menganggap bahwa Ali, Muawiyah, Amr bin 'Ash, dan semua yang terlibat dalam tahkim telah kafir karena telah meninggalkan hukum Allah. Khalifah Ali kemudian dibunuh oleh Khawarij. Pembunuhnya adalah Abdurrahman bin Muljam, seorang penganut fanatik Khawarij.
Berdasarkan musyawarah ahlul halli wal áqdi yang beranggotakan sahabat-sahabat besar yang masih tersisa waktu itu, menyepakati kedudukan Ali sebagai khalifah digantikan oleh puteranya Al-Hasan. Namun Al-Hasan hanya dua tahun menjabat sebagai khalifah. Ia mengundurkan diri dan menyerahkan jabatan khalifah kepada Muawiyah karena menurut ijtihadnya mengundurkan diri adalah pilihan terbaik untuk menyelesaikan perselisihan umat. Dalam sejarah, tahun pengunduran diri Al-Hasan dinamakan“am al-jamaáh” atau tahun persatuan.
Di sisi lain, tragedi Karbala yang menyebabkan terbunuhnya cucu Rasulullah saw Al-Husein dan sebagian besar ahlul bait Rasulullah saw pada masa Khlalifah Yazid bin Muawiyah, telah mengobarkan semangat kaum Syiah untuk memberontak terhadap Bani Umayah. Pertikaian selanjutnya melebar jadi pertikaian segitiga antara Bani Umayah, Syiah, dan Khawarij. Pertikaian terus berlanjut hingga masa Bani Abbasiah. Dua kelompok ini senantiasa merongrong pemerintahan yang sah.
Kemudian pada awal abad ketiga Hijriah muncul kelompok Murjiáh, yang berpendapat bahwa dalam persoalan tahkim tidak ada pihak yang berdosa. Setelah Murji'ah, muncullah aliran Jabbariyah dan Qodariyah yang pada awalnya memperdebatkan persoalan aqidah. Setelah Qodariyah dan Jabbariyah, berikutnya muncul aliran Mu’tazilah yang berpendapat sama dengan Qodariah dalam hal perbuatan manusia, namun mereka menolak penetapan sifat (atribut) pada Allah.
Dari aliran Muktazilah ini, ada seorang juru bicara yang bernama Abu Hasan Al-Asy'ari yang pada suatu malam bermimpi bertemu dengan Rasulullah, dalam mimpinya itu Rasul berkata bahwasanya ahli haditsah yang benar. Kemudian beliau bertanya pada gurunya mengenai paham Muktazilah yang dirasa menurutnya salah, hingga pada akhirnya Abu Hasan Al-Asy'ari memberi tantangan kepada gurunya yang dimana gurunya ini kalah dalam tantangan ini. Oleh karena itu, Abu Hasan Al-Asy'ari keluar dari aliran Muktazilah dan mendirikan Ahlussunah Wal Jama'ah.
