Namun setelah Rasulullah wafat dan kekuasaan Islam semakin luas masalah yang dihadapi menjadi semakin rumit. Musuh yang dihadapi tidak selalu berasal dari kalangan kafir Quraisy tetapi juga dari kaum Muslimin sendiri yang berbeda pandangan politik. Pada masa Ali menjadi khalifah kaum Muslimin menemukan diri mereka telah melakukan perang saudara. Salah satunya adalah perang Siffin.
Perang Siffin telah membawa konsekuensi besar, perang Siffin telah membuat kaum Muslimin terpecah, bahkan buntut panjang  dari perang ini adalah pembunuhan Ali bin Abi Thalib sendiri. Perang Siffin menghadapkan Ali pada pilihan untuk berperang melawan Muawiyah. Peperangan pun terjadi di tahun 657 M. di tepi barat sungai Eufrat. Dengan 5000 pasukan yang dibawa oleh Ali dari Kufah, dan Muawiyah membawa 4000 pasukan.
Perang Siffin berlangsung dengan hasil akhir perdamaian. Ketika pasukan Muawiyah di ambang kekalahan, Amr bin Ash meletakkan Mushaf di ujung tombaknya sebagai tanda peperangan harus dihentikan dan diselesaikan dengan perundingan. Ali mengutus Abu Musa Al-Asy'ari dan Muawiyah meminta Amr bin Ash. Perundingan dilakukan dua tahun setelah berakhirnya perang Siffin. Dua tahun pasca perang Siffin bukan berarti Ali menikmati masa-masa yang damai. Selama dua tahun itu dia harus banyak berurusan dengan kelompok Khawarij.
Kelompok Khawarij adalah kelompok yang tidak puas dengan hasil perang dan perundingan perang Siffin. Mereka menganggap Ali maupun Muawiyah sebagai kafir.
Ali bin Abi Thalib Wafat
Ali bin Abi Thalib Wafat setelah menjadi khalifah kurang lebih selama lima tahun. Ia wafat karena dibunuh oleh Abdurrahman bin Muljam. Ali dibunuh dengan cara ditikam dengan pisau yang sudah diberi racun.
Wafatnya Ali menjadi akhir dari masa Khulafahur Rasyidun. Setelah Ali wafat kepemimpinan berpindah tangan pada Dinasti-dinasti yang menghantarkan sejarah Islam pada masa-masa pasang surutnya. Yang tentu dengan kerumitan politiknya sendiri.
