Masjid Gedhe Mataram dilingkungi tembok batu bata merah yang bercorak Hindu. Fakta ini menunjukkan bahwa majid yang semula berupa langgar bukan hanya didirikan umat Islam, namun pula umat Hindu dan konon juga umat Buddha. Karenanya bisa dikatakan bahwa rakyat Mataram di era kekuasaan Sultan Agung hidup dalam toleransi yang tinggi.
Bangunan masjid ini pula mengingatkan bangunan Balekambang yang merupakan tempat bertapa Kresna sebelum Bharatayuddha tergelar di Padang Kurukasetra.
Bangunan Masjid Gedhe Mataram terbagi menjadi bangunan utama berbentuk limasan dan bangunan tambahan. Bagian serambi masjid ditopang 26 tiang kayu jati.
 Atap serambi yang berbentuk tumpang terbuat dari sirap. Atap masjid bertingkat dua. Tingkat atas berbentuk segitiga dengan sudut runcing. Tingkat bawah yang berbentuk serupa segi tiga tersebut terpotong bagian atasnya. Puncak atap diberi pataka.
Masjid Gedhe Mataram memiliki tiga pintu yang terbuat dari kayu jati. Pada pintu utama terdapat tulisan Jawa yang yang berbunyi, "Kamulyaaken tahun Ehe ngademken cipta sawarnaning jalmi."Â Dua pintu lainnya yakni pintu masuk di sisi utara dan di sisi selatan masjid.
Masjid Gedhe Mataram yang pada bagian halamannya ditumbuhi pepohon sawo kecik tersebut dilengkapi dengan mimbar dari Palembang. Konon mimbar tersebut merupakan hadiah adipati Palembang pada Sultan Agung sepulang dari menunaikan ibadah haji di Makkah.
Keistimewaan Masjid
Dengan mengetahui keistimewaannya, tidak aneh bila Masjid Gedhe Mataram menjadi salah satu masjid favorit bagi kaum muslim untuk melakukan sembahyang tarawih dan ibadah lainnya. Karena terbilang masjid tertua di Yogyakarta dan berlatar belakang sejarah Mataram, banyak peziarah dari luar Yogyakarta menyempatkan hadir dan bersembahyang tarawih di masjid tersebut.
