Setelah Rasulullah melakukan dakwah di Makkah, beliu mendapat penolakan dan diusir oleh kaumnya sendiri. Beliau pun memutuskan untuk berhijrah dikarenakan penyiksaan-penyiksaan yang telah didapatkannya dan para sahabat. Bneliau lalu memutuskan untuk melakukan hijrah, wilayah yang dituju adalah Madinah. Setelah melakukan hijrah, penduduk Madinah pun menyambut dengan antusias kedatangan beliau.
Hal sama yang beliau temukan antara penduduk Makkah dan Madinah adalah masih minimnya kepemimpinan di kedua kota ini. Mereka masih memiliki rasa bangga dan fanatic kesukuan. Mereka selalu merasa bahwa suku mereka adalah yang paling baik dan pantas untuk berkuasa. Setiap suku merasa kalau mereka memiiki supremasi dari yang lain,. Mereka tidak mau mengakui dominasi suku lain atas mereka. Maka dari itu, Rasulullah pun memutuskan jika beliau harus bertindak demi terciptanya perdamaian di Madinah.
Beliau pun memutuskan untuk melakukan rekonsiliasi dengan semua pihak yang ada . beliau pun melakukan kesepakatan dengan semua penduduk Madinah dan orang-orang Yahudi yang tinggal di Madinah. Kesepakatan ini merupakan kesepakatan yang pertamaa kali ditanda tangani oleh Rasulullah dan merupakan sebuah dokumen yang memiliki nilai historis.
Bukan saja karena ia merupakan kesepakatan pertama yang terjadi dalam Islam, namun dokumen itu juga telah mereformasi secara revolutif konsep sebuah negara yang didasarkan pada keimanan. Satu negara yang merangkul masyarakat dari berbagai keyakinan dan agama, namun memiliki loyalitas pada satu ikatan politik yang satu. Kaum Muslimin menyatakan diri sebagai satu komunitas (umat) berbeda dari yang lain. Yang mengikat dan menyatakan mereka adalah kesamaan iman.
Kaum Muslimin yang berasal dari Mekkah adalah saudara Muslimin yang berasal dari Madinah. Dan secara ideologis mereka menjadi musuh bagi saudarasaudara sekandung mereka yang tidak beriman yang menetap di Mekkah. Jadi, persahabatan dan permusuhan tidak didasarkan kepada ikatan darah dan ekonomi, suku atau keluarga, tapi didasarkan kepada ikatan ideologi.
Didalam perjanjian ini asas persamaan diutamakan, walaupun itu untuk orang yahudu Madinah yang tidak seiman. Kaum muslim bebas untuk menganut kepercayaan dan keimanan mereka sendiri. Sedangkan kaum Yahudi juga bebas dalam menganut apa yang mereka yakini. Setelah menandatangani perjanjian itu.
Rasulullah mengatakan, bahwa daging dan darah orang-orang Yahudi juga adaah darah orang islam. Pada saat nyawa dan harta mereka mendapat jaminan dari uummat islam, maka merka juga mempunyai kewajiban yang sama. Disamping itu, dokumen ini juga telah meletakkan aturan umum tentang perilaku yang tampak bagi satu  lompatan yang sangat revolusioner hingga saat ini bagi mereka yang belajar tentang etika diplomasi dalam peristiwa nasional.
Perjanjian ini merupakan gambaran dari konstitusi modern, dimana Rasuluah telah mengaplikasikannya sebelum adanya konsep Negara modern seperti yang terjadi setelah Perjanjian Westphalia. Konstitusi ini pun dikenal dengan nama Konstitusi Madinah atau Piagam Madinah. Seain itu, pakar mengatakan jika terpilihnya Rasulullah menjadi seorang pemimpin adalah hal yang tepat. Hal ini dikarenakan beliau tidak bersidat otoriter dan tetap mengutamakan proses musyawarah diantara para sahabatnya.
Piagam Madinah menjadi cerminan bahwa Rasulullah adaah seorang negarawan yang ulung dan telah berfikir meampaui zamannya. Beliau menciptakan suatu gebrakan baru yang baru yang mana hal itu telah diapikasikan semua Negara modern saat ini. Adanya Piagam Madinah telah mengikat masyarakat Madinah saat ini didaam sebuah nasionalisme, yang mana mereka akan saling tolong menolong demi menjaga Madinah.
