Pesantren ini berasal dari pengajian kecil kalangan dewasa setiap malam Sabtu di tahun 1984. Pengajian itu makin berkembang dan mengkristal menjadi pesantren. Berkat dukungan Masyarakat pada 1988 pesantren ini mulai menerima santri dari berbagai daerah Pulau sumatera dan Jawa.
Pendiri pesantren tersebut bernama Tgk. H. Sofyan Ahmad. Pesantren atau Dayah setelah mendapat petunjuk dari guru beliau yang bernama Tgk H. Syekh Abdul Wahab Seulimun. Pesantren Dayah Tarbiyatul Ula Punie menjadi salah satu cabang Dayah Ruhul Fata pimpinan Syekh tersebut. Syekh Abdul Wahab adalah pejuang kemerdekaan yang menganut tharekat Syatariyah dan Kulutiah. Tharekat ini berasal dari Syekh Qusyaisyi Dhahir Madinah yang terus berkembang hingga saat ini.
Menempati lokasi seluas 1,5 hektar terletak di desa Punie, kecamatan Darul Imarah, Kabupaten Aceh Besar. Berjarak sekitar 9 km dari Kota Banda Aceh, pesantren ini memiliki pemandangan yang cukup indah karena letaknya di daerah perbukitan sehingga aman dari banjir. Selain itu, letaknya yang tepat di tengah-tengah pemukiman membuat Pesantren mudah dijangkau. Para santri merasa aman dan tenang menuntut ilmu di pesantren, karena jauh dari kebisingan kota. Pesantren dialiri oleh sebuah sungai yang sebagian airnya ditampung dalam sebuah waduk kecil hingga berfungsi sebagai tempat mencuci pakaian serta perikanan rakyat. Selain itu lahan pertanian yang subur menjadi potensi besar dalam pengembangan agribisnis.
Pimpinan Pesantren Tarbiyatul Ula meyakini ulama tangguh takkan bisa hasilkan oleh sistem sekolah terpadu, yang waktunya singkat sehingga tak memungkinkan proses pewarisan dan upaya mempertahankan keulamaan dapat tercapai. Kalau ini terjadi dihawatirkan akan hilang generasi yang benar-benar menguasai semua kitab-kitab muktabar. Untuk itu sistem pendidikan yang dipakai Pesantren Tarbiyatul Ula adalah tradisional murni. Sistem ini tetap dipertahankan agar menjadi ciri khas daya daya di Daerah Istimewa Aceh. Dengan tradisi murni akan mampu mempertahankan proses transformasi keilmuan dari kitab-kitab yang digunakan seluruh Dayah di Aceh sehingga regenarasi keulamaan dapat berjalan baik.
Kurikulum yang digunakan Pesantren Tarbiyatul Ula adalah kurikulum pesantren yang disesuaikan dengan pondok-pondok lain di Aceh. Ilmu yang dipelajari di pondok ini meliputi fiqih, usul Fiqih, hadits, adab atau sastra, tafsir, tauhid, sejarah Islam, tasawuf, akhlak, nahwu, mantiq, shorof, balaghoh atau ma'ani, bayan, dan lainnya. Dengan sistem tradisional murni maka jenjang kependidikan yang dipakai diatur sendiri oleh guru kelas masing-masing berdasarkan koordinasi dengan pimpinan.
Jenjang pendidikan dan materi pelajaran di Pesantren Tarbiyatul Ula sebagai berikut :
1. Kelas Satu (Tajhizi)
- matan taqrib
- matan bina
- matan jurumiyah
- dhammun
- awamil
- dan kitab-kitab jawi
2. Kelas Dua
- bajuri
- mutammimah (kawakib)
- kailani
- tijan darari
- ta'lim muta'alim
3. Kelas Tiga
- i'anatul thalibin
- alfiah
- ibnu aqil
- hud hudi
- waraqat
- samsul madkhal
4. Kelas Empat
- al mahalli
- al khudari
- idhahul mubhan
- kifayatul awan
- lathaiful isyarah
- tafsir al jalalain
- tafsir ash shawi
- hadits bulughul maram
- irsyadul ibad
