Ketika pasukan Muslim sampai di daerah Ma'an, terdengar berita bahwa Heraklius, Kaisar Romawi telah mempersiapkan 100 ribu pasukannya. Selain itu, kaum Nasrani dari beberapa suku Arab pun telah siap dengan jumlah yang sama, sehingga total 200 ribu orang.
Mendengar kabar yang demikian, muncul keraguan di sebagian pasukan Muslim. Bagaimana mungkin akan menang tiga ribu melawan 200 ribu.
Mengetahui demikian, 'Abdullah bin Rawahah lantas mengobarkan semangat pasukan Muslim, "Demi Allah, sesungguhnya perkara yang kalian tidak sukai ini adalah perkara yang kamu keluar mencarinya, yaitu syahadah. Kita itu tidak berjuang karena karena jumlah pasukan atau kekuatan. Kita berjuang untuk agama ini yang Allah Azza wa Jalla telah memuliakan kita dengannya. Bergeraklah. Hanya ada salah satu dari dua kebaikan: menang atau gugur (syahid) di medan perang."
Zaid bin Haritsah, panglima pertama yang ditunjuk Rasulullah kemudian membawa pasukan ke wilayah Mu'tah. Pertempuran berlangsung sengit. Zaid bin Haritsah gugur dalam pertempuran ini. Komando kemudian dipegang oleh Ja'far bin Abi Thalib. Ja'far menunjukkan keberanian luar biasa dengan mengayunkan panji Islam dengan satu tangannya setelah tangan kanannya terputus. Ja'far pun gugur dalam pertempuran ini. Komando selanjutnya dipegang oleh Abdullah bin Rawahah. Namun, Abdullah bin Rawahah pun gugur menyusul Zain bin Haritsah dan Ja'far bin Abi Thalib.
Ketiga panglima perang yang ditunjuk oleh Rasulullah telah gugur. Pasukan Muslim dilanda kebingungan, siapa selanjutnya yang harus memimpin perang. Sampai kemudian Tsabit bin Arqam maju mengambil bendera Islam dan menyerahkannya kepada Khalid bin Walid seraya berkata, "Ambillah wahai Khalid. Sebab engkau yang lebih tahu mengenai strategi dalam perang dan tahu tentang muslihat peperangan. Dan demi Allah, aku tidak akan mengambilnya kecuali aku serahkan kepadamu!"
Tsabit bin Arqam lalu berteriak ke arah pasukan muslim, "Bersediakah kalian wahai pasukan muslimin berada di bawah pimpinan Khalid?"
"Allahu Akbar!" jawab pasukan Muslim tanda setuju.
Khalid bin Walid sebenarnya belum lama menjadi Muslim. Namun, semua orang sudah tahu siapa Khalid. Dia lah yang memimpin pasukan berkuda Quraisy yang hampir mengalahkan pasukan Muslim saat di perang Uhud.
"Apa strategimu, Khalid?" Abdurrahman bertanya.
"Bagaimanapun kalau dipaksakan melawan pasukan sebanyak itu, pasukan kita akan banyak yang gugur. Kita harus mundur," jawab Khalid.
"Tapi pasukan Romawi tak akan diam, mereka pasti mengejar kita. Sama saja akan banyak pasukan kita yang gugur."
