Sebelum dibangun masjid, di lokasi tersebut sudah berdiri mushola yang menjadi persembunyian ulama besar Kyai Abdul Rahman yang melawan Belanda.
