Tarekat sufi atau kelompok-kelompok sufi berkembang secara bertahap dan tidak secara langsung.
Di abad-abad awal Islam, kaum sufi tidak terorganisasi dalam lingkungan-lingkungan khusus atau tarekat. Namun, dalam perjalanan waktu, ajaran dan teladan pribadi kaum sufi yang menjalani kehidupan menurut aturan-aturan yang telah ditetapkan agama mulai banyak menarik kelompok manusia. Di antara abad kesembilan dan kesebelas, mulai muncul berbagai tarekat sufi, yang meliputi para ahli dari segala lapisan masyarakat. Ketika tarekat sufi, atau persaudaraan sufi ini muncul, pusat kegiatan sufi bukan lagi di rumah-rumah pribadi, sekolah atau tempat kerja sang pemimpin spiritual. Selain itu, struktur yang lebih bersifat kelembagaan pun diberikan pada pertemuan-pertemuan mereka, dan tarekat-tarekat sufi mulai menggunakan pusat-pusat yang sudah ada khusus untuk pertemuan-pertemuan ini. Pusat pertemuan kaum sufi biasanya disebut Khaneqah atau Zawiyya. Orang Turki menamakan tempat perlindungan orang sufi sebagai Tekke. Di Afrika Utara tempat semacam itu disebut Ribat, nama yang juga digunakan untuk menggambarkan kubu atau benteng tentara sufi yang membela jalan Islam dan berjuang melawan orang-orang yang hendak menghancurkannya. Di anak-benua India, pusat sufi disebut Jama’at Khana atau Khaneqah.
Sama halnya dengan berbagai mazhab hukum Islam, yang muncul pada abad-abad awal setelah wafatnya Nabi Muhammad SAW, dimaksudkan untuk menegaskan suatu jalan yang jelas untuk penerapan hukum tersebut, demikian pula tarekat-tarekat sufi yang muncul dalam periode yang sama bermaksud menegaskan jalan yang sederhana bagi praktik penyucian batin. Sebagaimana banyak mazhab hukum Islam (fiqh) tidak lagi dipropagandakan sehingga berakhir, demikian pula banyak tarekat besar menghadapi situasi yang serupa. Di abad kesembilan terdapat lebih dari tiga puluh mazhab fiqh Islam, tetapi kemudian jumlah tersebut berkurang hingga lima atau enam saja. Di abad ke-12 Anda tak dapat menghitung jumlah tarekat sufi, antara lain karena banyaknya, dan karena tarekat-tarekat itu belum ditegaskan sebagai tarekat. Sebagian besar syekh dan guru spiritual dalam tarekat sufi dan mazhab hukum tidak mengharapkan ajaran mereka akan diberikan penafsiran yang terbatas dan sering kaku pada masa setelah kematian mereka, atau bahwa tarekat sufi dan mazhab hukum dinamai dengan nama mereka. Namun, terpeliharanya tarekat-tarekat sufi sebagian sering merupakan akibat dari pengasingan diri (uzlah) secara fisik dan arah yang diambil oleh kecenderungan Islam
Suatu kecenderungan yang nampak pada tarekat-tarekat sufi ialah bahwa banyak diantaranya telah saling bercampur, sering saling memperkuat dan kadang saling melemahkan. Kebanyakan tarekat sufi memelihara catatan tentang silsilahnya, yakni rantai penyampaian pengetahuan dari syekh ke syekh, yang sering tertelusuri sampai kepada salah satu Imam Syi’ah dan karenanya kembali melalui Imam ‘Ali ke Nabi Muhammad SAW, sebagai bukti keotentikan dan wewenangnya. Satu-satunya kekecualian adalah tarekat Naqsyabandiyah yang silsilah penyampaiannya melalui Abu Bakar, khalifah pertama di Madinah, ke Nabi Muhammad SAW.
Berikut ini adalah beberapa tarekat sufi yang masih ada hingga kini, masing-masing dengan ciri-cirinya yang menonjol. Para pencari pengetahuan mungkin menjadi anggota dari satu atau beberapa tarekat, karena memang mereka sering mengikuti lebih dari seorang syekh sufi. Yang berikut ini hanya contoh dari beberapa tarekat sufi yang secara pribadi telah akrab dengan penulis.
Tarekat Qadiriyah
Tarekat Qadiriyah didirikan oleh Syekh ‘Abdul Qadir al-Jailani (m. 1166) dari Gilan di Iran, yang kemudian bermukim di Baghdad, Irak. Setelah wafatnya, tarekatnya disebarkan oleh putra-putranya. Tarekat Qadiriyah telah menyebar ke banyak tempat, termasuk Suriah, Turki, beberapa bagian Afrika seperti Kamerun, Kongo, Mauritania dan Tanzania, dan di wilayah Kaukasus, Chechnya dan Ferghana di Asia Tengah, serta di tempat- tempat lain.
Tarekat Rifa’iyah
Didirikan oleh Syekh Ahmad ar-Rifa’i (m. 1182) di Basra, tarekat Rifa’i telah menyebar ke Mesir, Suriah, Anatolia di Turki, Eropa Timur dan wilayah Kaukasus, dan akhir-akhir ini di Amerika Utara.
Tarekat Syadziliyah
Tarekat Syadzili terealisasi di sekitar Syekh Abul Hasan asy-Syadzili dari Maroko (m. 1258) dan akhirnya menjadi salah satu tarekat terbesar yang mempunyai pengikut yang luar biasa banyaknya. Sekarang tarekat ini terdapat di Afrika Utara, Mesir, Kenya dan Tanzania, Timur Tengah, Sri Langka dan di tempat-tempat lain, termasuk di Amerika Barat dan Utara.
