Namun itulah kelebihan Rahmah yang tidak dimiliki wanita seusianya. Beliau memiliki pandangan yang luas ke depan terhadap perjuangan umat wanita dalam agama dan negara.
Kesadaran Rahmah dalam perjuangan kaum wanita
Beliau memiliki gagasan yang visioner dalam membela martabat kaum wanita. Di saat yang bersamaan Rahmah juga melihat bahwa wanita harus mendapatkan pendidikan agama untuk mendidik generasi Islam. Apalagi di dalam Islam, wanita adalah madrasatul ula bagi anak-anaknya. Sehingga jika ingin melahirkan generasi yang hebat, maka dimulai dari mendidik para wanita.
Karena lahirnya ulama besar seperti Imam AL-Ghazali, Imam Nawawi dan Imam Syafi'I tak terlepas dari peranan ibu yang telah mendidik dan membesarkan mereka sehingga menjadikan mereka sebagai generasi terbaik di zamannya.
Atas kesadaran itulah, Rahmah bersama dua orang temannya Siti Nansia dan Djawana Basyir mendirikan sekolah agama yang dikhususkan untuk wanita dan dinamakan Madrasah Lil Banat yang merupakan bagian dari diniyyah school yang dipimpin abang nya.
Di dalam sekolah khusus wanita tersebut, Rahmah mulai mengajar berbagai disiplin ilmu dan yang utamanya ialah pendidikan Islam yang diajarkan kepada wanita yang terdiri dari ibu-ibu, remaja dan lansia.
Namun lama kelamaan Rahmah mulai berpikir untuk membangun sekolah putri yang berdiri sendiri. Hal itulah yang membuatnya berani mengungkapkan kepada Zainuddin Labay El-Yunusiyy yang dikutip oleh Juniadatul Munawwara di dalam bukunya "Ulama Perempuan Indonesia".
"Kalau saya tidak mulai dari sekarang, maka kaum wanita akan tetap terbelakang. Saya harus mulai dan saya yakin akan banyak pengorbanan yang dituntut dari diri saya. Jika kakanda bisa, kenapa saya tidak bisa? Jika pria bisa, kenapa perempuan tidak bisa?"
-Rahmah kepada Zainuddin
Rintangan dalam perjuangannya
Sejak saat itulah Rahmah mulai merintis sekolah perempuan pertama yang berbasis Islam dan dinamakan Diniyyah Putri School. Namun perjalanan sekolah ini tidak lah mulus, satu persatu rintangan dihadapi oleh Rahmah dalam mengemban misi mulia nya mendidik para wanita Islam.
Mulai dari kematian abangnya yang membuat Rahmah sedih dan kehilangan pegangan dalam berjuang hingga peristiwa gempa bumi besar dan menghancurkan sekolah Diniyyah Putri School dan menewaskan satu guru terbaiknya, Nanisah karena tertimpa bangunan.
Namun satu persatu rintangan dihadapi oleh Rahmah dan muridnya hingga bisa kembali membangun Diniyyah Putri School dan berkembang hingga memiliki 500 murid di tahun 1940-an.Â