Mulailah dirasakan keberadaan Buya sebagai sebuah ancaman, bisa merusak reputasi kepala daerah yang selama ini dibebani tugas memenangkan Golkar, bukan hanya sekedar menang bahkan dengan target perolehan suara dalam jumlah yang tertentu.
Daerah yang perolehan kemenangan Golkar dengan prosentasenya rendah akan menerima resiko tertentu, daerahnya mungkin tidak tersentuh pembangunan dan kepala daerahnya bisa terjungkal dari kursinya.
Usai pemilu tahun 1977, Pelantikan Buya sebagai anggota DPRD Bengkalis, ditunda dengan alasan yang dicari-cari, penundaan itu sampai tiba pada masa pemilu berikutnya, dan PPP meskipun dirugikan karena satu kursinya kosong  namun tetap tidak mampu berbuat apa-apa.
Dalam masa 1977 sampai dengan 1982, menjadi masa suram bagi Hubbulwathan, baik itu yang di Duri maupun di Bagansiapi-api.Â
Kemarahan pejabat daerah terhadap Buya berimbas kepada pondok pesantren. Akibatnya Pesantren Hubbulwathan menjadi lembaga pendidikan yang dikucilkan, harap maklum.
Menghadapi Pemilu tahun 1982, Ismail Yusuf, Bupati Bengkalis pada waktu itu mengutus Abdul Latif untuk membujuk Buya menjadi jurkam Golkar, namun dengan santun beliau menolak, dan menyatakan diri sudah tidak terlibat lagi dalam politik praktis.
Jawaban itu mungkin tidak  memenuhi keinginan pak Bupati, namun pernyataan meninggalkan politik praktis itu sudah membuat Bupati merasa lega, karena merasa batu sandungan besar sudah berhasil mereka singkirkan.
Seiring berjalannya waktu, tibalah masanya pergantian jabatan, almarhum Johan Syarifuddin terpilih sebagai Bupati berikutnya.Â
Mantan Sekda Kota Pekanbaru ini menyadari betapa penting artinya silaturrahmi, dan itu beliau jalani dengan semua pihak, termasuk dengan Buya Hamka, dan sejak itu pulalah hubungan Hubbulwathan dengan Pemerintah daerah setempat terjalin dengan baik kembali.
Masa suram yang berlangsung sedemikian lama, ternyata tidak  mampu membuat langkah Hubbulwathan terhenti, bahkan makin merangkak maju kedepan.  Kader pendidik dipersiapkan sedemikian rupa.
Kalau dulu Poqih Doaman (begitu nama pendiri pondok ini akrab dipanggil) menempa anak-anaknya untuk menjadi tenaga pendidik, maka anak-anaknya juga meneruskan langkah ini dengan menyiapkan anak-anak, menantu dan orang-orang dekatnya dengan bekal pendidikan yang lebih baik yang pada gilirannya mengabdi untuk kemajuan Pondok Pesantren Hubbulwathan.