Arsitektur masjid bergaya Islam bercorak Minangkabau, berdenah bujur sangkar dengan satu bagian menjorok tempat mihrab masjid. Perkiraan luas masjid 150 meter persegi. Bentuk atap yang estetika yakni atap ijuk bertingkat tiga berbentuk gonjong, sehingga aliran air hujan jatuh sempurna. Atap tingkat tiga ini juga mengandung nilai filosofi yakni kepemimpinan dalam kehidupan sosial masyarakat yang terdiri dari tiga unsur (tigo tungku sajarangan) ninik mamak, alim ulama dan cerdik pandai.
Hanya pada bagian mihrab masjid yang atapnya berbentuk rumah gadang Minangkabau dengan gonjongnya yang khas. Seperti umumnya, puncak atap masjid ini juga ada mustaka. Sementara dinding, plafon, lantai dan tiang terbuat dari kayu dengan warna hitam yang khas.
Di depan masjid terdapat tabuah atau bedug yang juga beratap ijuk dan bertiang kayu dan diperkirakan usianya sama dengan Masjid Tuo Kayu Jao. Guna tabuah ini sebagai tanda dimulainya waktu shalat sebelum azan dikumandangkan.
Keaslian arsitektur tetap dipertahankan walaupun sudah dipugar beberapa bagian yang rusak. Jika kita berada di dalam Masjid Tuo Kayu Jao, terasa sangat sejuk. Jendelanya yang berjumlah 13 yang melambangkan 13 rukun shalat, jendela-jendala yang terbuka ini mengalirkan udara yang sejuk. Lantai papannya dialasi dengan karpet warna hijau.
Ada mimbar yang diukir dengan motif ukiran tumbuh-tumbuhan dan diperkirakan sama usianya dengan Masjid Tuo Kayu Jao. Masjid ini disangga dengan 27 tiang dengan tinggi 15 meter, angka 27 melambangkan simbol suku-suku yang hidup sekitar masjid, ditambah 4 unsur pemerintahan serta 3 unsur agama yaitu khatib, imam, dan bilal.
Lingkungan masjid ini sangat asri, telah dibangun toilet, tempat wudhu dan tempat pengunjung untuk duduk santai menikmati alam dan bangunan masjid. Berada di lembah yang dikelilingi perbukitan, aliran sungai kecil yang airnya sangat jernih.
