Oleh: Christian Tangkere (Ilmu Ekonomi 2018), Staf Departemen Kajian dan Penelitian Himiespa FEB UGM 2019
Pendahuluan
Salah satu data yang digunakan dalam berbagai kajian dalam bidang ekonomika pendidikan adalah skor peserta didik berdasarkan asesmen tertentu. Beberapa contoh di antaranya adalah penelitian oleh Schneeweis dan Winter-Ebner (2007: 387--409) yang mempelajari peer-effect di sekolah-sekolah yang ada di Austria dengan menggunakan hasil tes PISA (Programme for International Student Assessment), penelitian yang dilakukan oleh Jürges dan Scheider (2007: 411--431) yang mempelajari pengurutan (ranking) kinerja guru berdasarkan hasil tes PIRLS (The Progress in International Reading Literacy Study) dari peserta didik di Jerman,  dan penelitian oleh Fuchs dan Wößmann (2007: 433--464) yang mengestimasi fungsi-fungsi produksi pendidikan secara internasional menggunakan basis data hasil tes PISA dari beberapa negara. Meskipun demikian, skor yang dihasilkan dari suatu asesmen bergantung pada bentuk asesmen tersebut. Sebagaimana yang akan diulas pada bagian berikut, bentuk asesmen tertentu akan menghasilkan skor yang lebih representatif dan valid daripada yang lain. Oleh karena itu, diperlukan kajian ekonomika mengenai pengalokasian sumber daya yang dapat meningkatkan kualitas dari suatu asesmen, sehingga setiap skor yang dihasilkan dapat dijadikan dasar yang andal untuk melakukan kajian-kajian lainnya yang berhubungan dengan ekonomika pendidikan. Kajian ini ditulis untuk mengulas secara teoretis kerangka berpikir ekonomi dalam melaksanakan suatu asesmen.
Kualitas dan Kepraktisan Asesmen
Dalam pendidikan formal, proses pembelajaran dilaksanakan berdasarkan seperangkat kurikulum yang menjelaskan tujuan, konten, proses, dan evaluasi proses pembelajaran. Salah satu aspek yang penting dalam kurikulum adalah evaluasi terhadap proses belajar mengajar. Evaluasi bertujuan untuk mengukur keefektifan proses pembelajaran yang dilaksanakan oleh pendidik dan peserta didik dalam mencapai tujuan yang sudah ditetapkan dalam kurikulum. Dalam dunia pendidikan, evaluasi ini sering disebut asesmen.
Oleh karena informasi mengenai keefektifan proses pembelajaran merupakan hal yang dicari melalui asesmen, maka kualitas suatu asesmen sangat bergantung pada kemampuannya dalam menghasilkan informasi yang autentik dan relevan. Stecher dkk. (1997: 35) mengemukakan bahwa kualitas dari suatu asesmen sangat penting untuk diperhatikan khususnya jika berbagai implikasi yang signifikan dapat dihasilkan dari asesmen tersebut (high-stakes assessment), seperti penetapan kelulusan dan sertifikasi peserta didik. Kualitas dan kemanfaatan suatu asesmen ditentukan oleh indikator-indikator berikut.
1. Reliabilitas
Kubiszyn dan Borich (2013: 338) mengemukakan bahwa indikator reliabilitas menilai konsistensi nilai yang dihasilkan suatu asesmen jika dilakukan berulang kali. Asesmen yang reliabel  dapat menghasilkan informasi yang konsisten, stabil, dan dapat dipercaya. Stecher dkk. (1997: 37--38) berpendapat bahwa secara umum tingkat reliabilitas yang tinggi ditemukan pada bentuk asesmen yang memberikan pilihan jawaban kepada peserta didik (selected-response assessment), seperti soal pilihan ganda dan soal benar atau salah. Sebaliknya, bentuk asesmen seperti esai, proyek, dan portofolio yang menuntut siswa untuk mengonstruksi jawabannya secara independen (constructed-response assessment, sering disebut performance assessment) cenderung memiliki tingkat reliabilitas yang rendah.
2. Validitas
Kubiszyn dan Borich (2013: 330) mengemukakan bahwa indikator validitas mengukur kesesuaian antara bentuk asesmen dengan tujuan pembelajaran yang ditetapkan. Terkait dengan tujuan pembelajaran, Kubiszyn dan Borich (2013: 116 --122) menguraikan bahwa tujuan pembelajaran dapat dipaparkan dalam ranah kognitif, afektif, dan psikomotorik. Stecher dkk. (1997: 39--40) menyatakan bahwa suatu asesmen dinyatakan berkualitas jika nilai yang dihasilkan dari asesmen tersebut dapat menghasilkan inferensi yang benar dan akurat mengenai kemampuan peserta didik. Validitas suatu asesmen sangat bergantung pada kemiripannya dengan kegiatan riil dalam kehidupan yang direfleksikan. Bentuk dari constructed-response assessment yang fleksibel menyebabkan asesmen ini cenderung memiliki tingkat validitas yang tinggi. Sebaliknya, rigiditas dari asesmen yang tergolong selected-response assessment membuat asesmen ini kurang valid dalam penyimpulan.
3. Akurasi
Kubiszyn dan Borich (2013: 348) menyatakan bahwa signifikansi dari indikator ini berasal dari kenyataan bahwa tidak ada asesmen yang dapat menghasilkan skor sejati secara sempurna. Hal ini menyebabkan skor yang diperoleh menyimpang dari skor sejati dari peserta didik. Terdapat beberapa faktor yang menjadi sumber penyimpangan, di antaranya keadaan peserta didik, desain asesmen, penyelenggaraan asesmen, dan eror dalam penskoran. Faktor-faktor tersebut perlu dipertimbangkan oleh pendidik agar akurasi dari asesmen dapat meningkat sedemikian rupa, sehingga skor yang dihasilkan dapat mendekati skor sejati.
4. Keadilan
Stecher dkk. (1997: 42--43) mengemukakan bahwa dalam indikator ini, suatu asesmen dinyatakan berkualitas jika asesmen tersebut mempertimbangkan faktor-faktor eksternal yang dapat memengaruhi nilai dari peserta didik tertentu yang mengikuti asesmen. Indikator ini merupakan indikator yang sulit untuk dipenuhi, karena setiap peserta didik memiliki latar belakang yang berbeda-beda sehingga faktor-faktor yang dapat memengaruhi nilai peserta didik sangat sulit untuk dideteksi. Praktik yang sering dilakukan untuk mengupayakan keadilan asesmen adalah pelibatan para ahli yang peka terhadap faktor-faktor eksternal tersebut untuk meninjau format asesmen.
Di sisi lain, Stecher dkk. (1997: 35) mengemukakan bahwa konsekuensi dari autentisitas asesmen yang meningkat adalah ongkos asesmen yang semakin mahal dan waktu yang semakin lama, sehingga pendidik perlu memperhatikan kepraktisan dari asesmen yang direncanakan. Stecher dkk. (1997: 43--48) mengemukakan indikator kepraktisan yang perlu diperhatikan oleh pendidik.
1. Ongkos.
Asesmen yang berbentuk performance assessment cenderung lebih mahal daripada asesmen yang berbentuk selected-response assessment. Hal ini karena beberapa faktor, yakni proses perencanaan yang lebih panjang, kerumitan dalam mengadministrasi asesmen beserta setiap alat dan bahan yang dibutuhkan, dan proses penilaian yang tidak bisa dimekanisasi (seperti soal pilihan ganda yang dapat dilaksanakan dalam bentuk ujian berbasis komputer).
2. Waktu.
Asesmen yang berbentuk performance assessment membutuhkan waktu yang lebih banyak, baik dalam proses perencanaan, pengadministrasian pada peserta didik, dan penilaian. Hal ini dapat mengurangi waktu bagi pendidik untuk melakukan pengajaran.
3. Kompleksitas
Penggunaan alat dan bahan, cakupan tugas, tingkatan kognitif yang dibutuhkan peserta didik untuk mengerjakan asesmen, prosedur dalam mengumpulkan jawaban, dan prosedur penilaian merupakan faktor-faktor yang membuat performance assessment lebih kompleks dibanding selected-response assessment.
4. Kredibilitas
Suatu asesmen harus mampu menghasilkan informasi yang kredibel, sehingga standar teknis dari pelaksanaan asesmen harus dapat dipertanggungjawabkan. Dalam konteks seperti ini, performance assessment kurang dipercaya oleh para pengguna informasi asesmen dari luar sekolah yang terbiasa menggunakan informasi dari ujian yang dilakukan secara tradisional yang umumnya tergolong selected-response assessment.
Penalaran Ekonomi dalam Merencanakan Asesmen
Dari paparan mengenai kualitas dan kepraktisan asesmen, dapat dilihat bahwa pendidik menggunakan kerangka berpikir sebagai homo economicus, yakni menerapkan kerangka berpikir ekonomi untuk mendesain suatu asesmen. Kerangka berpikir ekonomi secara tidak langsung digunakan karena pendidik diperhadapkan pada berbagai macam batasan untuk menyusun dan melaksanakan asesmen yang berkualitas. Parkin (2012: 8--9) menyatakan bahwa dalam membuat suatu keputusan ekonomi, ada beberapa gagasan yang mendasari pengambilan keputusan seseorang. Pertama, keterbatasan yang ada membuat seseorang harus melakukan pengorbanan dalam menentukan pilihan. Kedua, dengan mengasumsikan manusia sebagai makhluk yang rasional, seseorang membandingkan biaya yang harus ia tanggung dan manfaat yang dia terima dalam membuat keputusan. Manfaat merupakan suatu hal yang paling diinginkan dan oleh karenanya seseorang rela melakukan pengorbanan untuk mendapatkannya. Di sisi lain, biaya yang dibandingkan dengan manfaat bukan hanya biaya yang secara eksplisit dikeluarkan oleh seseorang, tetapi juga biaya implisit yang mencakup alternatif-alternatif lain yang tidak dipilih. Keseluruhan biaya eksplisit dan implisit ini disebut biaya kesempatan. Ketiga, perbandingan yang dilakukan oleh seseorang secara spesifik adalah antara manfaat marginal (tambahan manfaat yang diperoleh dari tambahan suatu aktivitas) dan biaya marginal (tambahan biaya yang ditanggung dari tambahan suatu aktivitas). Keempat, pengambilan pilihan sangat tergantung pada insentif yang tersedia. Oleh karena penyusunan asesmen merupakan salah satu bentuk pengambilan keputusan yang memerhatikan batasan, maka kerangka berpikir ekonomi dapat diterapkan untuk mengevaluasi berbagai bentuk asesmen. Analisis ekonomi terhadap pilihan bentuk asesmen dapat digambarkan dalam bentuk kurva manfaat marginal dan biaya marginal. Dengan mengadaptasi kurva manfaat marginal dan biaya marginal yang diperkenalkan Parkin (2012: 35), maka manfaat marginal dan biaya marginal dari suatu bentuk asesmen dapat digambarkan sebagai berikut.
Dalam gambar tersebut, garis berwarna hijau merupakan kurva yang menggambarkan pergerakan manfaat marginal (MB = marginal benefit). Dalam hal ini, manfaat marginal diasumsikan mengalami hukum marginal yang semakin menurun. Garis berwarna merah merupakan kurva yang menggambarkan pergerakan biaya marginal (MC = marginal cost). Daerah yang diarsir dengan garis berwarna biru menggambarkan surplus ekonomi optimum. Kondisi ini tercapai ketika seluruh sumber daya teralokasi secara efisien. Kondisi ini sering disebut sebagai efisiensi alokatif (Samuelson dan Nordhaus, 2010: 160--161). Oleh karena asesmen merupakan kegiatan untuk memperoleh informasi mengenai kesuksesan peserta didik dalam proses pembelajaran, maka Q adalah kuantitas informasi yang diperoleh dari suatu asesmen, sedangkan P menggambarkan "harga" yang harus dikeluarkan oleh pendidik dalam menghasilkan informasi dengan bentuk asesmen tertentu. Ketika efisiensi alokatif tercapai, maka P sama dengan manfaat marginal dan biaya marginal. Oleh karena P sama dengan biaya marginal, maka pada titik ini P merupakan biaya yang harus dikeluarkan untuk menghasilkan informasi dengan bentuk asesmen tertentu. Dengan bantuan kurva, analisis secara ekonomi mengenai bentuk-bentuk asesmen dapat dilakukan. Dalam hal ini, diasumsikan bahwa asesmen yang sedang dianalisis diorientasikan untuk menjadi bahan pengambilan keputusan yang signifikan (high-stakes assessment). Selain itu, faktor-faktor teknis yang memengaruhi akurasi dan keadilan asesmen dianggap konstan. Hal ini karena faktor-faktor tersebut sangat bergantung pada konteks setiap pendidik dan peserta didik sehingga harus diasumsikan konstan agar dapat melakukan generalisasi.
Tinjauan terhadap Ujian Terstandar
Salah satu bentuk high-stakes assessment yang dilakukan dengan format selected-response assessment adalah ujian terstandar (standardized test). Ujian terstandar merupakan asesmen yang umum digunakan di sebagian besar sistem pendidikan dalam menentukan kelulusan peserta didik. Di Indonesia, ujian terstandar dapat dibandingkan dengan Ujian Nasional Berbasis Komputer (UNBK). Pada umumnya ujian ini disusun dengan format pilihan ganda dan diperiksa baik menggunakan medium kertas maupun komputer. Ujian terstandar juga tidak menilai kemampuan peserta didik atas seluruh mata pelajaran yang dimandatkan oleh kurikulum. Dengan informasi ini, maka analisis terhadap ujian terstandar dapat digambarkan dalam bentuk kurva sebagai berikut.
Pergerakan kurva manfaat marginal dari MB' menjadi MB" menjelaskan bahwa penerapan ujian terstandar yang umumnya berlaku saat ini menurunkan manfaat yang diperoleh pendidik dalam menilai kesuksesan peserta didik. Ada beberapa hal yang membuat manfaat dari ujian terstandar rendah. Pertama, sebagian besar ujian terstandar hanya menguji kemampuan peserta didik pada beberapa mata pelajaran. Hal ini berarti para peserta didik tidak dapat menarik kesimpulan mengenai kemampuan peserta didik pada mata pelajaran lainnya yang tidak dimasukkan dalam tes. Kedua, meskipun reliabilitas dari ujian terstandar sangat tinggi, validitas asesmen ini sangat lemah karena format yang digunakan sangat kaku, sehingga cakupan kompetensi yang dapat diukur melalui asesmen ini sangat sedikit. Padahal validitas merupakan kualitas asesmen yang secara langsung berhubungan dengan proses penarikan simpulan mengenai keberhasilan peserta didik. Format yang kaku membuat validitas ujian ini rendah dalam mengukur kompetensi siswa secara utuh, baik dalam ranah kognitif, afektif, maupun psikomotorik.
Dari sisi biaya, seharusnya ujian terstandar yang berlaku secara umum hanya mengeluarkan sedikit biaya. Ujian terstandar seperti UNBK di Indonesia disusun oleh pemerintah, sehingga dalam beberapa kasus, peran pendidik dalam mengembangkan asesmen dapat dikatakan tidak ada. Penggunaan teknologi komputer dalam ujian terstandar dapat membuat biaya untuk melakukan penilaian berkurang. Meskipun demikian, pendidik sesungguhnya terlibat secara tidak langsung dalam meningkatkan biaya pelaksanaan ujian terstandar. Penelitian yang dilakukan oleh Herman dan Golan (1991: 23--31) menunjukkan bahwa pendidik menyesuaikan rencana pengajaran mereka dengan ujian terstandar terdahulu agar pengajaran yang dilakukan dapat mencakup konten ujian terstandar. Selain itu pendidik juga mengalokasikan waktu belajar yang signifikan untuk mempersiapkan peserta didik menghadapi ujian terstandar, umumnya melalui proses drilling soal-soal yang mirip dengan soal-soal yang diujikan pada ujian terstandar. Fenomena ini lebih jelas pada sekolah-sekolah dengan peserta didik yang berasal dari latar belakang sosial dan ekonomi yang rendah. Dalam ilmu pendidikan, fenomena yang baru saja dibahas dikenal sebagai washback effect. Scott (2016: 151) menggambarkan washback effect sebagai suatu efek dari suatu asesmen yang dapat mentransformasi beberapa hal, seperti kurikulum, pengajaran, kapasitas individu, dan struktur dari pengetahuan seseorang. Dalam kaitannya dengan asesmen, washback effect termanifestasikan dalam usaha peserta didik untuk mengembangkan kerangka berpikirnya agar cocok dengan bentuk ujian yang diberikan. Dalam keadaan seperti ini, asesmen tidak dapat dipandang sebagai alat yang mendeskripsikan pengetahuan dan kemampuan peserta didik secara independen.
Ada dua hal yang ditunjukkan dari fenomena ini. Pertama, fenomena ini menunjukkan bahwa ujian terstandar memberikan insentif bagi pendidik untuk mengutamakan materi-materi yang diujikan pada ujian terstandar, sehingga setiap mata pelajaran tidak mendapat perhatian yang sama. Persiapan untuk ujian terstandar yang berlangsung sepanjang proses pembelajaran dan waktu pengajaran untuk mata pelajaran lain yang hilang merupakan biaya kesempatan yang timbul akibat ujian terstandar. Kemunculan biaya ini ditunjukkan dalam pergerakan kurva biaya marginal dari MC' ke MC". Kedua, fenomena ini menunjukkan bahwa ujian terstandar memberikan insentif bagi pendidik untuk membatasi proses pembelajaran pada kemampuan berpikir tertentu yang dibutuhkan untuk mengerjakan ujian terstandar. Proses drilling soal-soal sesungguhnya membuat para peserta didik terdorong untuk mencocokkan kemampuan berpikirnya dengan ujian terstandar. Karena ujian terstandar yang berlaku secara umum terbatas dalam menguji kemampuan berpikir pada semua level, maka kemampuan siswa untuk berpikir pada tingkat yang lebih tinggi juga tidak berkembang. Hal ini semakin mengurangi manfaat yang diperoleh dari ujian terstandar. Pada akhirnya manfaat yang rendah dan biaya kesempatan yang tidak sedikit membuat surplus ekonomik berkurang.
Alternatif terhadap Ujian Terstandar
Berbagai kritik terhadap ujian terstandar yang umumnya menggunakan format selected-response assessment meningkatkan posisi tawar asesmen dengan format constructed-response assessment sebagai bentuk alternatif bagi asesmen yang diorientasikan untuk menjadi bahan pengambilan keputusan penting. Paparan terdahulu telah menyebutkan manfaat dan keterbatasan yang dihadapi oleh pendidik dalam menerapkan constructed-response assessment. Berdasarkan paparan tersebut, analisis ekonomi terhadap constructed-response assessment digambarkan dalam bentuk kurva pada gambar berikut.
Gambar ini menunjukkan bahwa asesmen yang dilakukan dalam format constructed-response assessment membutuhkan ongkos dan waktu yang lebih banyak. Hal ini ditunjukkan oleh pergerakan kurva biaya marginal dari MC' ke MC". Kompleksitas yang muncul dalam mengembangkan, mengadministrasi, dan melakukan penilaian membuat asesmen dengan format ini cenderung berbiaya tinggi. Selain itu, biaya yang tinggi juga datang dari usaha pendidik untuk meningkatkan reliabilitas dan keadilan dari asesmen. Di sisi lain, pergerakan kurva manfaat marginal ke kanan atas menunjukkan bahwa asesmen dengan format ini memberikan manfaat kepada pendidik dan pihak-pihak lain yang berkepentingan. Manfaat yang didapat dari bentuk asesmen ini adalah validitas yang tinggi sehingga proses penyimpulan kemampuan peserta didik menghasilkan simpulan yang autentik dan prediktif. Di samping itu, asesmen dengan format constructed-response assessment juga memberikan manfaat kepada peserta didik dalam hal peningkatan kemampuan berpikir. Manfaat ini terkait dengan sifat format constructed-response assessment yang menuntut peserta didik untuk mengonstruksi jawabannya secara independen dalam berbagai bentuk, seperti tulisan, proyek, eksperimen, dan lain sebagainya.
Selain beberapa manfaat yang disampaikan sebelumnya, Stetcher dkk. (1997: 46--47) mengemukakan bahwa asesmen dengan format constructed-response assessment berdampak pada peningkatan kompetensi guru, khususnya pada saat pendidik menilai pekerjaan peserta didik menggunakan rubrik penilaian. Pengalaman tersebut membantu para pendidik untuk mengidentifikasi karakteristik dan kemampuan berpikir setiap peserta didik secara personal, mendeteksi kesalahpahaman dan masalah yang dihadapi peserta didik, memahami keterkaitan antara kurikulum dan asesmen, serta mengembangkan rencana pengajaran. Dengan kata lain, pengalaman melakukan penilaian terhadap pekerjaan peserta didik dalam format constructed-response assessment merupakan suatu bentuk lain dari pengembangan profesi. Manfaat ini dinilai dapat mengimbangi biaya yang dikeluarkan akibat proses penilaian yang lebih lama daripada penilaian dalam format selected-response assessment. Keseluruhan peningkatan manfaat dari bentuk asesmen ini ditunjukkan melalui pergerakan kurva manfaat marginal dari MB' ke MB".
Kesimpulan dan Penutup
Dari paparan ini, dapat dilihat bahwa kombinasi manfaat dan biaya dari format constructed-response assessment menghasilkan surplus ekonomi yang lebih besar dibanding format selected-response assessment. Salah satu aspek yang membuat surplus ekonomi dari constructed-response assessment lebih besar adalah manfaat-manfaat yang bersifat jangka panjang. Peningkatan kompetensi pendidik dan kemampuan berpikir peserta didik merupakan manfaat dari format constructed-response assessment yang berguna bagi pihak yang bersangkutan dalam jangka waktu yang lama. Meskipun demikian, diperlukan upaya-upaya untuk menurunkan biaya dari format asesmen ini. Salah satu upaya yang perlu dilakukan adalah pengadaan fasilitas-fasilitas tertentu (seperti alat-alat laboratorium, alat-alat peraga di kelas, komputer). Pengadaan fasilitas-fasilitas tersebut dapat membantu pendidik dalam memenuhi kebutuhan akan alat dan bahan tertentu yang relevan dengan asesmen sembari meminimumkan biaya asesmen yang harus ditanggung baik oleh pendidik maupun oleh peserta didik.Â
Dalam kenyataan, ada begitu banyak faktor yang dapat memengaruhi kualitas dan kepraktisan suatu asesmen sehingga keahlian pendidik sangat menentukan kedua hal tersebut. Dengan menganalogikan asesmen sebagai alat, Kubiszyn dan Borich (2013: 3) mengemukakan bahwa kompetensi dari pendidik dalam perencanaan, pelaksanaan, dan penafsiran hasil asesmen merupakan determinan yang signifikan terhadap kemanfaatan asesmen. Hal ini karena tidak ada model asesmen tunggal yang cocok dalam semua konteks. Oleh karena itu diperlukan pengembangan profesi secara rutin bagi para pendidik mengenai kurikulum, asesmen, serta psikologi dan latar belakang sosial ekonomi dari peserta didik. Pengembangan profesi tersebut dapat membuat pendidik lebih terampil dan produktif dalam menyusun asesmen, mengadministrasi asesmen, dan melakukan penilaian terhadap peserta didik.
Sebagai penutup, tulisan ini merupakan kajian teoretis sederhana mengenai asesmen dalam pembelajaran. Dalam rangka mempelajari manfaat dan biaya dari setiap bentuk asesmen, diperlukan analisis kuantitatif lebih lanjut yang dapat dijadikan dasar dalam pengambilan kebijakan baik di tingkat yang paling rendah (sekolah) maupun di tingkat yang paling tinggi (pemerintah).
Untuk kritik dan saran:Â himiespa.dp@gmail.comÂ
Referensi.
Fuchs, Thomas, dan Ludger Wößmann. 2007. "What accounts for international differences in student performance? A re-examination using PISA data." Empirical Economics no. 32, 433-464. Diakses pada 15 April 2019. https://link.springer.com/content/pdf/10.1007%2Fs00181-006-0087-0.pdf
Herman, Joan L., dan Shari Golan. 1991. Effects of Standardized Testing on Teachers and Learning-Another Look. CSE Technical Report 334. National Center for Research on Evaluation, Standards, and Student Testing (CRESST), UCLA Graduate School of Education.Â
Jürges, Hendrik, dan Kerstin Schneider. 2007. "Fair ranking of teachers." Empirical Economics no. 32, 411-431. Diakses pada 15 April 2019. https://link.springer.com/content/pdf/10.1007%2Fs00181-006-0112-3.pdf
Kubiszyn, Tom, dan Borich, Gary D. 2013. Educational Testing and Measurement: Classroom Application and Practice. Edisi Kesepuluh. Hoboken: John Wiley & Sons, Inc.
Parkin, Michael. 2012. Economics. Edisi Kesepuluh. Boston: Pearson Education, Inc.
Samuelson, Paul A., dan William D. Nordhaus. 2010. Economics. Edisi Kesembilan belas. New York: McGraw-Hill Irwin.
Schneeweis, Nicole, dan Rudolf Winter-Ebmer. 2007. "Peer effects in Austrian schools." Empirical Economics no. 32, 387-409. Diakses pada 15 April 2019. https://link.springer.com/content/pdf/10.1007%2Fs00181-006-0091-4.pdf
Scott, David. 2016. New Perspective on Curriculum, Learning and Assessment. Springer International Publishing Switzerland.
Stecher, Brian M., Mikala L. Rahn, Allen Ruby, Martha Naomi Alt, dan Abby Robyn. 1997. Using Alternative Assessments in Vocational Education. Berkeley: National Center for Research in Vocational Education, University of California, Berkeley.
