Sebuah sejarah yang tidak kalah penting dalam praktek diplomasi Islam oleh Umar adalah kisah pembebasan Yerussalem dengan metode diplomasi.
Umar adalah khalifah pertama yang melakukan perjalanan ke luar tanah Arab. Salah satu perjalanan pertamanya adalah perjalanan Umar ke tanah Palestina.
Perjalanan ini mengandung makna historis. Bukan karena Umar sengaja ingin mengadakan perjalanan ke sana, namun para uskup yang ada di Yerusalem meminta Umar untuk datang ke tempat itu secara pribadi untuk penyerahan kota suci itu. Umar kemudian berkonsultasi dengan para sahabatnya.
Utsman bin Affan merasa keberatan dengan apa yang akan dilakukan Umar itu, sedangkan Ali sangat setuju dengan ide yang disampaikan khalifah, karena ini menyangkut persoalan besar dan sudah seharusnya seorang khalifah memenuhi permintaan itu.
Akhirnya Umar menerima pendapat Ali dan beliau melakukan perjalanan pertama kalinya ke luar tanah Arab. Umar menugaskan Ali untuk menduduki jabatan khalifah sementara di Madinah selama dia berada di Yerusalem.
Umar pun berangkat dari Madinah dan berhenti di Jabiah. Sebelum mengadakan perjalanan beliau telah mengirimkan surat kepada salah satu komandan perang saat itu agar menyambutnya di sana.
Sesampainya di tengah perjalanan, Umar disambut oleh pasukan yang dipimpin oleh Yazid bin Sufyan, Abu Ubaidah dan Khalid bin Walid.
Diriwayatkan bahwa saat itu para pasukan muslim memakai yalmak, sebuah pakaian luar bangsa Persia yang terbuat dari sutra. Saat itu amirulmukminin geram dan turun dari untanya dan mengambil batu kemudian dilemparkannya kepada mereka, sambil berkata dengan nada marah: "Cepat! Saya tidak ingin melihat kalian! Untuk menyambut saya kalian berpakaian begini! Kalian sudah kenyang dalam dua tahun ini: Demi Allah, kalau kalian lakukan ini untuk dua ratus orang pasti saya ganti kalian dengan yang lain.", diceritakan pula beliau berkata: "Begitu cepatnya kalian terjerumus kepada kebiasaan-kebiasaan orang-orang Persia." Para pemimpin pasukan saat itu meminta maaf sambil berkata: "Amirulmukminin, itu adalah pakaian luar karena kami membawa senjata." Setelah Umar melihat senjata yang mereka bawa, tampak kemarahannya agak reda. "Ya, tidak apa." katanya. Ia meneruskan perjalanan sampai di Jabiah, diikuti oleh rombongan itu.
Sementara beliau bermarkas di Jabiah, para pasukan segera bersiap-siap dengan senjata mereka ketika melihat sebuah pasukan berkuda datang dengan pedang di tangannya.
Melihat mereka Umar hanya tersenyum dan berkata "Berikan perlindungan kepada mereka. Jangan merasa khawatir, beri mereka keamanan. Mereka para utusan Severinus, Uskup Agung Baitulmaqdis, datang ingin mengajak damai dengan amirulmukminin."
Di Jabiyah inilah Umar membuat perjanjian dengan mereka, Umar menutup surat perjanjian itu dengan tanda tangannya, disaksikan oleh Khalid bin Walid, Amr bin Ash, Abdur Rahman bin Auf, dan Muawiyah bin Abu Sufyan.