Perpecahan umat Islam pada masa khalifah Ali Bin Abi Thalib muncul karena persoalan politik yaitu tentang kepemimpinan umat islam. Akan tetapi mereka membentuk suatu ajaran yang kemudian menjadi ciri dari ajaran mereka, yaitu ajaran tentang persoalan dosa besar. Menurut Khawarij, orang-orang yang terlibat dan menyetujui hasil tahkim telah melakukan dosa besar. Dalam pandangan Khawarij berarti mereka telah kafir, kafir setelah memeluk islam berarti murtad, dan orang murtad berarti keluar dari Islam, mereka halal di bunuh.
Kelompok yang keluar dari kelompok Ali Bin Abi Thalib inilah yang di kenal dengan kelompok Khawarij, yang di pelopori oleh Atab Bin A'war, Urwah Bin Jarrir dan Abu Musa al-Asngari.
Nama Khawarij berasal dari kata kharaja yang berarti keluar. Berdasarkan al-Qur'an surah an-Nisa [4] ayat 100 yang artinya: ''Barang siapa keluar dari rumahnya dengan maksud berhijrah kepada Allah dan Rasul-Nya'', dengan demikian kaum Khawarij memandang diri mereka sebagai orang yang meninggalkan rumah dari kampung halamannya untuk mengabdikan diri kepada Allah dan Rasul-Nya.
Kaum Khawarij mempunyai sifat keras hati, berani, dan tidak bergantung pada orang lain. Di sinilah kaum Khawarij terpecah-pecah menjadi golongan-golongan kecil, mereka itu di antaranya:
1. Al-Muhakkimah
Adalah orang yang berbuat zina dan membunuh manusia tanpa sebab alasan yang sah, maka perbuatan tersebut keluar dari islam dan menjadi kafir, yang di pelopori oleh Amr Ibn al-As dan Abu Musa al-Asy'ari,
2. Al-Azariqah
Adalah orang yang membunuh tanpa sebab yang sah, Bahkan dikatakan musyrik orang yang tidak sepaham dengan mereka, menurutnya paham merekalah yang paling benar. Orang islam di luar golongan mereka adalah musyrik dan wajib di perangi. Pelopor dari al-Azariqah ini ialah Nafi' Ibn al-Azraq. yang pengikutnya berjumlah 20 ribu orang.
3. An-Najdah
Adalah orang yang berdosa besar, menjadi kafir dan kekal dalam neraka, Dalam lapangan politik Najdah berpendapat bahwa adanya iman sangat di perlukan. Pelopor dari An-Najdah ialah Ibn 'Amir al-Hanafi dari Yamamah.
4. Al-Ajaridah
Menurut paham mereka berhijrah hanya merupakan kebaikan. Anak kecil tidak bersalah dan tidak musyrik apabila melakukan perbuatan dosa besar, dosanya ditanggung orang tuanya. Pelopor Al-Ajaridah ialah Abd al-Karim Ibn 'Arad.
5. As-Sufriah
Sekte/golongan ini di pimpin oleh Zaid Ibnu al-Asfar. Pendapat golongan ini sebagai berikut: pertama, orang Sufriah yang tidak berhijrah tidak di pandang Kafir. Kedua, tidak boleh dijadikan tawanan.
6. Al-Ibadah
Golongan ini diambil dari Abullah Ibn Ibad, pendapat antara lain: pertama, orang islam yang tidak sepaham dengan mereka bukanlah mukmin dan juga bukanlah musyrik, tetapi kafir. Kedua, adalah membunuh orang kafir. Ketiga, yang boleh dirampas dalam perang hanyalah unta dan senjata.