Perjuangan Buya dalam merintis pesantren tidaklah ringan. Rintangan dan gangguan beliau rasakan dari sana-sini, termasuk harus berurusan dengan hukum karena ada fihak yang merasa lebih berhak atas tanah wakaf yang dikelolanya, walaupun pada akhirnya Buya berhasil melewatinya dengan baik dan damai, hingga tanah wakaf dari Abah Haji Basyari yang terletak di Kampung Pangurisan Jalan Cibaduyut ini, baik secara the facto ataupun the jure jatuh ke tangan Buya.
Pada tahun 1978 Buya mendirikan yayasan serta pendidikan formal tingkat Taman Kanak Kanak dan Sekolah Dasar. Tahun 1980 dalam keterbatasan fasilitas yang dimiliki, Buya mulai mengasramakan sekitar 7 santri non formal yang beliau beri nama "Ma'hadiyah", dan saya sendiri masuk pondok saat jumlah santri Ma'hadiyah yang di asrama masih belasan orang. Mereka mengkhususkan diri belajar Al-Qur'an, Kitab Kuning, dan Bahasa Arab.
Mendirikan Pendidikan Formal Kepesantrenan
Menjadi pejabat di Departemen Agama dan dosen di perguruan tinggi, bukanlah tujuan dan cita-citanya sejak kecil, maka pada tahun 1982 saat keberadaan pondok sudah mulai dikenal masyarakat dan memerlukan penanganan yang lebih serius, Buya melepaskan jabatannya di Departemen Agama dan pekerjaannya sebagai dosen di beberapa perguruan tinggi (kecuali di Fakultas Hukum Unpas masih dipertahankan sampai beberapa tahun kemudian karena mahasiswanya bisa datang dan kuliah di pondok).
Lalu Buya lebih memfokuskan diri dalam pengembangan pondok yang memerlukan kehadirannya selama 24 jam. Lalu tahun 1983 mendirikan madrasah tingkat Tsanawiyah, dan dua tahun berikutnya beliau mendirikan madrasah tingkat Aliyah. Para orang tua terutama yang mengenal Buya termasuk karyawan dan anak buahnya di Departemen Agama yang telah mengetahui kehandalan dan dedikasinya dalam mendidik, menyambut positif dengan memasukkan anak dan kerabatnya ke Al-Basyariyah.
Seiring berjalannya waktu, Buya terus berfikir dan berinovasi, tenaga dan ilmunya beliau curahkan. Beliau berkeinginan mengombinasikan pendidikan pesantren salafiyah dan pendidikan pesantren modern ala Gontor yang beliau sendiri pernah belajar pada kedua model pesantren itu. Maka pada tahun 1986, dengan menaiki mobil "turungtung" Suzuki ST-20 yang hanya berkapasitas 550 cc. saya menemani beliau ke Ponorogo bersilaturrahmi menemui  pimpinan Pondok Modern Gontor untuk berkonsultasi tentang pengembangan pondok.
Maka sejak itulah, perjuangan Buya dalam mengembangkan Pondok Pesantren Al-Basyariyah memasuki babak baru, pendidikan modern model Gontor dan model salafiyah dipadukan dengan kurikulum Departemen Agama. Pendidikan Tingkat Tsanawiyah disatukan dengan tingkat Aliyah menjadi 6 tahun plus masa bakti 1 tahun dengan nama TMI (Tarbiyatul Mu'alimin wal Islamiyah).
Publikasi terus disebar dari mulut ke mulut, juga lewat brosur dan media, sehingga santripun mulai berdatangan dari dalam kota, luar kota, bahkan dari luar Jawa.
Mengembangkan Kampus Tahap Pertama
Ketika jumlah santri sudah melebihi kapasitas di komplek Markaz (Jalan Cibaduyut no.9), tahun 1985 Buya melebarkan pesantrennya dengan membeli sebidang tanah di ujung Jalan Sauyunan, yang kemudian beliau bangun untuk ruang kelas dan sebagian asrama putra secara bertahap. Komplek ini diberi nama LPK (Lokasi Pondok Kholaf). Karena jumlah santri terus bertambah, kemudian beliau diberi pinjaman hak guna pakai sebidang tanah dari keluarga Bapak Sukandi & Ibu Romdoniyah untuk dijadikan asrama putra yang diberi nama PRS (Pondok Romdoniyah Sukandi).
Ketika Komplek Markaz, LPK, dan PRS sudah over kapasitas, pada tahun 1986 saya membonceng Buya dengan skuter Bajaj-nya menuju kampung Cimindi-Rahayu (Cigondewah) yang waktu itu masih sangat terpencil dan akses jalan yang masih buruk untuk penjajagan pengembangan pondok, karena di lokasi inilah dahulu kakek Buya dari fihak Ibu memiliki pesantren yang cukup besar. Setelah berembuk dengan kerabatnya yang tinggal di tempat ini, lalu saat itu juga Buya membeli sebidang tanah seluas 20 tumbak. Dan tanah inilah yang kemudian menjadi cikal-bakal Kampus-2 Cigondewah.
