Education Commons^™

What Makes A Difference? Measuring Non-Academic Outcomes, Prue Anderson, Julian Fraillon

Prue Anderson

There are some very real challenges that educators face in attempting to define, measure and improve the non-academic outcomes of students in Australian schools but there is plenty that can be done to better measure and influence them. There are many challenges in measuring non-academic outcomes but the overarching one is to determine what they are, and whether they are actually 'non-academic' at all. This article addresses each of three major challenges: (1) Defining the outcomes, followed by a recommendation; (2) measuring the outcomes; recommendation; and (3) improving outcomes; recommendation.

Group Of National Experts On The Ahelo Feasibility Study : Engineering Assessment Framework : Ahelo Feasibility Study, Hamish Coates, Sarah Richardson, Jacob Pearce, Julian Fraillon

Julian Fraillon

This AHELO Engineering Assessment Framework describes and illustrates the domain of engineering competency that is used in the AHELO Feasibility Study. The framework gives an organisational structure for the domain in terms of engineering knowledge, processes and contexts; describes the types of assessment items that have been developed; and details how reporting will be carried out. - p.4

Towards Excellence In Mathematics Teaching: Forging Links Between National Curriculum And Professional Standards Initiatives, Hilary Hollingsworth, Catherine Pearn

Catherine Pearn

No abstract provided.

The Mathematics Education Of Future Primary And Secondary Teachers : Methods And Findings From The Teacher Education And Development Study In Mathematics, Maria Tatto, Sharon Senk, Glenn Rowley, Ray Peck

Ray Peck

In 2005, the International Association for the Evaluation of Educational Achievement (IEA), Michigan State University, and the Australian Council for Educational Research took an important step in advancing the field of education by partnering to develop and implement the first international and comparative study of mathematics teacher education. The study was made possible by the substantial funding received from the National Science Foundation, the IEA, and the collaboration of 17 participating countries. The purpose of this article is to illustrate the methodology used in this major cross-national study of teacher education—the IEA Teacher Education and Development Study in Mathematics, known …

Literacy Learning: What Works For Young Indigenous Students??, Nola Purdie, Kate Reid, Sarah Buckley

Dr Sarah Buckley

The Longitudinal Literacy and Numeracy Study for Indigenous Students (ILLANS) tracked the growth in literacy and numeracy skills of a group of Indigenous students from 27 schools across Australia from the beginning of primary school until the end of Year 6. At the time the study was conceived, longitudinal studies on the school achievement of Indigenous students were comparatively rare. A desire to develop a broader picture of primary school experiences motivated data collection that included a range of other data from a variety of informants in addition to academic achievement data. ILLANS commenced in 2000, with the first phase …

Scaling Procedures For Iccs Test Items, Wolfram Schulz, Julian Fraillon

Julian Fraillon

This chapter describes the procedures used to analyse and scale the International Civic and Citizenship Education Study (ICCS) international and regional test items that were administered to measure students’ civic knowledge. The chapter covers the following topics: the scaling model used to analyze and scale the test items; test coverage and item dimensionality; assessment of item fit; assessment of scorer reliabilities for open-ended items; differential item functioning by gender; review of cross-national measurement equivalence; international item adjudication; international item calibration and test reliability; international ability estimates (plausible values and weighted likelihood estimates); estimation of changes in civic content knowledge between …

The Development Of Regional Instruments, David Kerr, Wolfram Schulz, Julian Fraillon

Julian Fraillon

The International Civic and Citizenship Education Study (ICCS) included regional modules for Europe, Latin America, and Asia. Thirty-five of the 38 countries that participated in ICCS opted to be involved in these regional modules. Twenty-four countries participated in the European module, six in the Latin American module, and five countries in the Asian module. Regional instruments were developed for each module and were administered to students after they had completed the international assessment. These instruments were designed to address aspects of civic and citizenship education specific to each region. The results of these additional data collections are reported in a …

Overview Of The Iea International Civic And Citizenship Education Study, John Ainley, Wolfram Schulz

Dr John Ainley

The International Civic and Citizenship Education Study (ICCS) studied the ways in which young people are prepared to undertake their roles as citizens. ICCS was based on the premise that preparing students for citizenship roles involves developing relevant knowledge and understanding as well as helping them form positive attitudes toward being a citizen and participating in activities related to civic and citizenship education. It also examined differences among countries in relation to these outcomes of civic and citizenship education, and it explored how differences among countries relate to student characteristics, school and community contexts, and national characteristics. This technical report …

The Contribution Of Iea Research Studies To Australian Education, John Ainley, John Keeves, Jan Lokan, Petra Lietz, Geoff Masters, Sue Thomson

Prof Geoff Masters AO

This chapter is concerned with the contribution of the research studies conducted by the International Association for the Evaluation of Educational Achievement (IEA) to Australian education. During a period of 50 years education across the world has undergone a remarkable transformation. Many of the changes that have occurred have been initiated by the United Nations Organization and its agen¬cies, particularly UNESCO. From its origins within the UNESCO Institute in Hamburg, IEA and its programs have evolved to develop the worldwide conduct of research in education both through the undertaking and reporting of studies as well as the informal training of …

Translation And National Adaptations Of Iccs 2009 Instruments, Barbara Malak, Alana Yu, Wolfram Schulz, Tim Friedman

Dr Tim Friedman

In close collaboration with the participating countries, the international study center (ISC) developed an international English version of the ICCS assessment and questionnaires. These materials were subsequently translated and adapted by countries to their languages of instruction. Throughout this translation and adaptation process, the overarching aim was to create high-quality instruments that were internationally comparable yet also appropriate to each country’s national context and education system. The ICCS instruments were administered in 31 languages, the most common being English and Spanish. Even when the language of testing was English, adaptations were still required to suit the cultural setting and the …

Establishing The Criterion Validity Of Umat : A Multi-Cohort Study Of Australian Medical Students, Daniel Edwards, Tim Friedman, Hamish Coates

Dr Tim Friedman

No abstract provided.

Enhancing Education, Sheldon Rothman, David Slattery, Sarah Buckley, John Ainley

Dr Sheldon Rothman

The Analysis Of Measurement Equivalence In International Studies Using The Rasch Model, Wolfram Schulz, Julian Fraillon

Julian Fraillon

When comparing data derived from tests or questionnaires in cross-national studies, researchers commonly assume measurement invariance in their underlying scaling models. However, different cultural contexts, languages, and curricula can have powerful effects on how students respond in different countries. This article illustrates how the application of the Rasch item response theory (IRT) model (Rasch, 1960) can be used for assessing differences in measurement properties of tests and questionnaires with reference to examples from the field trial analyses for the International Association for the Evaluation of Educational Achievement (IEA) International Civic and Citizenship Education Study (ICCS). It also discusses the general …

The Contribution Of Iea Research Studies To Australian Education, John Ainley, John Keeves, Jan Lokan, Petra Lietz, Geoff Masters, Sue Thomson

Dr John Ainley

This chapter is concerned with the contribution of the research studies conducted by the International Association for the Evaluation of Educational Achievement (IEA) to Australian education. During a period of 50 years education across the world has undergone a remarkable transformation. Many of the changes that have occurred have been initiated by the United Nations Organization and its agen¬cies, particularly UNESCO. From its origins within the UNESCO Institute in Hamburg, IEA and its programs have evolved to develop the worldwide conduct of research in education both through the undertaking and reporting of studies as well as the informal training of …

The International Civic And Citizenship Education Study (Iccs), Wolfram Schulz, Julian Fraillon, John Ainley

Dr Wolfram Schulz

The IEA International Civic and Citizenship Education Study (ICCS) investigated the ways in which young people are prepared for, and consequently ready and able to undertake their roles as citizens. Consequently, it studied student knowledge and understanding of civics and citizenship as well as affective and behavioral aspects of civics and citizenship such as value beliefs, attitudes, intended behaviors and current activities related to civic and citizenship education. Contextual data from education systems and schools were analyzed to help explain variation in these outcome variables. ICCS built on the previous IEA studies of civic education (Arnadeo et. al., 2002; Schulz …

Estimasi Parameter Integrasi Sosial Suku Tionghoa-Jawa Di Yogyakarta Dan Surakarta: Pengembangan Hybrid Model, Bagus Haryono

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan mengembangkan hybrid model Integrasi Sosial pada 333 responden suku Tionghoa-Jawa di YK dan SKA. Hybrid model di YK, SKA, YK-SKA dengan LISREL 8.80 ditemukan 7, 8 dan 6 jumlah pengaruh dengan t signifikan. Namun structural model di YK lebih baik, dibandingkan SKA ataupun YK-SKA dalam menjelaskan Simpati sebesar (79%); (56%) dan (64%), Aksi (94%); (59%) dan (79%), dan Integrasi Sosial (90%); (75% ) dan (83%). Pengaruh Simpati paling kuat (0,68) menentukan Integrasi Sosial, diikuti oleh SES (0,60), Pen-didikan Nilai Demokrasi/PND (0,33) dan Aksi (0,31). Pengaruh Simpati (0,78), PND (0,75) dan Aksi (0,46) terkuat di YK. SES …

Pengembangan Instrumen Pengukur Hasil Belajar Nirbias Dan Terskala Baku, Djemari Mardapi, Badrun Kartowagiran

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian hibah ini bertujuan untuk mengembangkan instrumen pengukur hasil belajar yang nirbias dan terskala baku yang digunakan dalam beberapa mata pelajaran di SMA dan atau SMP. Jenis penelitian ini adalah research and development (R&D) yang dilakukan selama dua tahun. Hasil penelitian tahun pertama dihasilkan draf instrumen pengukur hasil belajar yang nirbias dan terskala baku. Tahun kedua, diseminasi draf instru-men pengukur hasil belajar yang dihasilkan tahun pertama ke beberapa guru Matematika SMA dan SMP di Provinsi DIY dan Jawa Tengah. Setelah direvisi, instrumen disosialisasikan ke be-berapa guru Matematika SMA dan SMP di Provinsi DIY, Jawa Tengah dan NTB.

Kata kunci: …

Transformasi Madrasah Dalam Sistem Pendidikan Nasional, Supaat Supaat

Jurnal Penelitian dan Evaluasi Pendidikan

Undang-undang No.2 Tahun 1989 tentang Sistem Pen-didikan Nasional mengamanatkan madrasah ditransformasi dari lembaga pendidikan agama menjadi sekolah yang berciri agama Islam. Pada status yang baru madrasah harus bekerja keras memenuhi tuntutan stakeholders. Penelitian tentang transformasi Madrasah Aliyah (MA) ini menggunakan pendekatan kualitatif. Hasil penelitian adalah ada enam masalah yang diidentifikasi yaitu (1) kapasitas manajemen, (2) kurikulum, (3) keterbatasan SDM, (4) orientasi akademik, (5) ujian nasional, (6) otonomi daerah. Secara kelembagaan, MA ada tiga tipe, yaitu MA Plus, MA Salf Tafaqqubfiddin, dan MA dengan pembelajaran ke-agamaan lebih banyak. Ada tiga model yang diaplikasikan yaitu institusional sebagai model utama, model sain …

Model Penskoran Partial Credit Pada Butir Multiple True-False Bidang Fisika, Wasis Wasis

Jurnal Penelitian dan Evaluasi Pendidikan

Tujuan penelitian ini menghasilkan model penskoran politomus untuk respons butir multiple true-false, sehingga dapat mengestimasi secara lebih akurat kemampuan di bidang fisika. Pengembangan penskoran menggunakan Four-D model dan diuji akurasinya melalui penelitian empiris dan simulasi. Penelitian empiris menggunakan 15 butir multiple true-false yang diambil dari soal UMPTN tahun 1996-2006 dan dikenakan pada 410 mahasiswa baru FMIPA Universitas Negeri Surabaya angkatan tahun 2007. Respons peserta tes diskor dengan tiga model partial credit (PCM I; II; dan III) dan secara dikotomus. Hasil penskoran dianalisis dengan program Quest untuk mendapat-kan estimasi tingkat kesukaran butir (δ) dan estimasi ke-mampuan peserta ( …

Profil Resiliensi Pendidik Berdasarkan Resilience Quetient Test, Prihastuti Prihastuti

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan untuk memperoleh gambaran umum profile resiliensi pendidik Fakultas Psikologi Unair mela-lui Resilience Quotient Test (RQ). Instrumen yang digunakan adalah Resilience Quotient Test, yang terdiri 56 item. Resilience Quotient Test memuat 7 faktor, yaitu: emotional regulation, impulse control, emphati, optimism, causal analysis, self-efficacy dan reaching-out. Analisis profile resiliensi dilakukan berdasarkan perbandingan nilai rata-rata dari masing-masing faktor dengan nilai acuan yang sudah ditentukan dalam Resilience Quotient Test. Hasil penelitian menunjukkan 2 faktor berada pada kategori di atas rata-rata (impulse control dan optimism), 3 faktor berada pada kategori rata-rata ( …

Difusi Kebijakan Pengarusutamaan Gender Pada Individu: Refleksi Terhadap Metode Penelitian Difusi, Mami Hajaroh

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan untuk menemukan model kon-septual difusi kebijakan, faktor-faktor penentu adopsi, dan metode penelitian difusi pengarusutamaan gender (PUG). Penelitian menggunakan pendekatan kualitatif fenomenologi dengan subjek Fatayat NU di DIY. Data dikumpulkan dengan interview mendalam dengan triangulasi tema-tema. Analisis data menggunakan Interpretive Phenomenology Analysis (IPA) dan Event History Analysis (EHA). Hasil penelitian menunjukkan bahwa model konseptual difusi kebijakan pada individu ditemukan dengan tahap pengetahuan, persuasi, konfirmasi, keputusan dan implementasi. Adopsi kebijakan PUG pada individu ditentukan oleh faktor internal meliputi latar belakang individu, keinovatif-an sesuai dengan kebutuhan individu, dan perilaku aktif dari individu dan faktor penentu eksternal meliputi ketersediaan sumber dan …

Pengembangan Instrumen Pendeteksi Miskonsepsi Kesetimbangan Kimia Pada Peserta Didik Sma, Das Salirawati

Jurnal Penelitian dan Evaluasi Pendidikan

Tujuan penelitian ini adalah mengembangkan dan meng-hasilkan produk berupa Instrumen Pendeteksi Miskonsepsi Ke-setimbangan Kimia (IPMKK) pada peserta didik kelas XI SMA dengan uji kualitas IPMKKK berdasarkan expert judgment melalui Forum Group Discussion (FGD) dilanjutkan analisis Teori Res-pons Butir (TRB) tiga parameter dan uji fisibilitas penggunaan IPMKK. Penelitian ini merupakan penelitian pengembangan dengan model prosedural mengadaptasi prosedur pengembang-an Borg & Gall. Hasil analisis kebutuhan (need assessment) dan kaji pustaka dipilih materi pokok kesetimbangan kimia dan instrumen berbentuk tes pilihan ganda dengan alasan setengah-terbuka. Simpulan hasil penelitian ini adalah telah berhasil di-kembangkan IPMKK pada peserta didik kelas XI SMA. Hasil …

Pengembangan Instrumen Asesmen Kebutuhan Perkembangan Untuk Penyusunan Kurikulum Dan Evaluasi Program Bk, Gendon Barus

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian pengembangan ini bertujuan menghasilkan instrumen asesmen kebutuhan peserta didik, disebut Invantori Kebutuhan Perkembangan Murid (IKPM). Penelitian mengikuti model Plomp (1999) dengan lima fase. Reliabilitas instrumen diestimasi dengan teknik Alpha Cronbach, validitas isi diperiksa oleh pakar dan telaah praktisi melalui FGD. Validitas empirik dan kecocokan model pengukuran dibuktikan dengan analisis faktor konfirmatori (CFA) dengan program Lisrel 8.30. Telaah praktisi melibatkan 60 orang guru kelas V dan VI SD dalam dua tahap FGD, sedangkan uji coba empirik dan implementasi melibatkan murid kelas V dan VI. Hasil penelitian pengembang-an ini adalah: 1) IKPM dapat digunakan untuk menghimpun data kebutuhan perkembangan sebagai dasar …

Pengembangan Computerized Adaptive Testing (Cat) Dengan Algoritma Logika Fuzzy, Haryanto Haryanto

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan menghasilkan: (1) model sistem inferensi dalam mengambil keputusan untuk memilih butir-butir tes yang tepat bagi siswa, (2) perangkat lunak Computerized Adaptive Testing (CAT) dengan algoritma logika fuzzy dalam mendeskripsikan kemampuan siswa. Penelitian dengan pen-dekatan Research and Development (R & D), terdiri atas dua bagian yaitu: (1) pengembangan program CAT, (2) pengujian program CAT pada siswa SMA Negeri 6 Yogyakarta kelas XII sebagai sampel, pada mata pelajaran Matematika dengan pokok bahasan Notasi sigma, barisan dan deret. Data dikumpulkan melalui observasi, dokumentasi, dan angket dan dianalisis secara deskriptif kuantitatif. Hasil penelitian menunjukkan program CAT: (1) mudah digunakan, tampilan interaktif, …

Pengembangan Model Assessment For Learning Pada Pembelajaran Matematika Di Smp, Mansyur Mansyur

Jurnal Penelitian dan Evaluasi Pendidikan

Tujuan penelitian ini adalah untuk menemukan cara mengembangkan model assessment for learning pada pembelajaran matematika. Penelitian ini merupakan penelitian pengembangan model Hopkins & Clark. Subjek uji coba adalah 20 orang guru matematika dan 199 orang siswa kelas VII SMPN 13 dan SMPN 27 Makasar. Analisis data dilakukan dua tahap dan secara kualitatif dan kuantitatif. Ujicoba model AfL meng-gunakan repeated measures analysis. Hasil penelitian menunjukkan bahwa model assessment for learning yang dikembangkan memiliki lima karakteristik utama. pembelajaran lebih memberikan rasa keadilan bagi semua siswa, dan cocok diterapkan untuk semua mata pelajaran. Beberapa temuan dalam penelitian ini yaitu: (1) informasi yang …

Manajemen Sertifikasi Jalur Portofolio Bagi Guru Sekolah Dasar Di Kota Semarang, Indarti Indarti

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan untuk mengetahui perencanaan, pengorganisasian, pelaksanaan, dan pengawasan sertifikasi jalur portofolio bagi guru Sekolah Dasar di Kota Semarang. Peneliti-an ini menggunakan pendekatan kualitatif, dilaksanakan di Di-nas Pendidikan Kota Semarang. Subjek penelitian terdiri dari Kepala Bidang Pendidik dan Tenaga Kependidikan Dinas Pen-didikan, kepala sekolah, dan guru. Teknik pengumpulan data menggunakan metode wawancara, observasi proses pembelajar-an, penelusuran dokumen perencanaan pembelajaran dan por-tofolio. Data yang diperoleh dianalisis dengan analisis kualititatif melalui langkah pengumpulan, penyajian, reduksi, dan penarik-an kesimpulan. Hasil penelitian menunjukkan bahwa: (1) Peren-canaan sertifikasi jalur portofolio tidak berjalan dengan baik, dari aspek sosialisasi prosedur tidak tuntas dan data tidak valid, …

Pengembangan Asesmen Alternatif Dalam Pembelajaran Matematika Dengan Pendekatan Realistik Di Sekolah Dasar, Fatimah Setiani

Jurnal Penelitian dan Evaluasi Pendidikan

Tujuan penelitian ini adalah untuk mengembangkan dan menemukan asesmen alternatif yang valid, praktis dan efektif berlandaskan pembelajaran matematika dengan pendekatan realistik di Sekolah Dasar (SD). Penelitian ini merupakan peneli-tian pengembangan yang mengacu pada model pengembangan pendidikan dari Plomp dengan mengacu pada kriteria kualitas produk pengembangan yang dikemukakan Nieveen, yang melipu-ti kriteria kevalidan, kepraktisan, dan keefektifan. Hasil peneliti-an ini adalah seperangkat penilaian dalam pembelajaran mate-matika dengan pendekatan realistik. Hasil uji coba, menunjuk-kan bahwa asesmen alternatif telah memenuhi kriteria kevalid-an, kepraktisan, dan keefektifan. Kevalidan asesmen alternatif beserta perangkat asesmen yang digunakan termasuk dalam kategori sangat baik. Kepraktisan dan keefektifan asesmen alter-natif …

Evaluasi Kinerja Guru Fisika, Biologi Dan Kimia Sma Yang Sudah Lulus Sertifikasi, Yusrizal Yusrizal, Soewarno S, Zarlaida Fitri

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan (1) mengembangkan instrumen evaluasi kinerja guru yang valid dan reliabel, (2) mengevaluasi kinerja guru Fisika, Biologi, dan Kimia SMA yang sudah terser-tifikasi/menerima tunjangan profesi. Populasi penelitian yaitu seluruh guru Fisika, Biologi dan Kimia SMA tersertifikasi/pene-rima tunjangan profesi yang berada di Kota Banda Aceh, Kabupaten Aceh Besar dan Kabupaten Pidie. Validitas konstruk instrumen yang dikembangkan dibuktikan melalui analisis fak-tor, dan reliabilitasnya diestimasi dengan rumus alpha Cron-bach. Analisis tingkat kinerja ditentukan dengan persentase. Hasil penelitian menunjukkan: (1) instrumen yang dikembang-kan terdiri atas 33 butir pernyataan, dan memiliki koefisien reliabilitas konsistensi internal sebesar 0,953; (2) kinerja guru Fisika, Biologi, dan …

Diagnosis Kesalahan Siswa Berbasis Penskoran Politomus Model Partial Credit Pada Matematika, Awal Isgiyanto

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan untuk menemukan informasi diagnostik dari kesalahan jawaban peserta pada Ujian Nasional (UN) Matematika. Informasi diagnostik yang ditemukan meli-puti atribut yang mendasari butir soal, ketidaktuntasan atribut, dan jenis kesalahan yang dilakukan oleh peserta. Penelitian ini merupakan diagnosis post-hoc, yang digambarkan sebagai pende-katan retrofitting. Analisis butir soal dan respons butir pada UN mata pelajaran matematika untuk menemukan informasi diag-nostik pada kategori isi, proses, dan keterampilan siswa SMP di Bantul Yogyakarta 2007/2008. Hasil penelitian (1) atribut yang mendasari butir soal pada matematika ada 47 atribut, meliputi 4 atribut isi, 36 atribut proses, dan 7 atribut keterampilan, (2) ketidaktuntasan atribut isi, …

Karakteristik Butir Soal Ulangan Kenaikan Kelas Sebagai Persiapan Bank Soal Bahasa Inggris, Nur Hidayanto Pancoro

Jurnal Penelitian dan Evaluasi Pendidikan

Penelitian ini bertujuan untuk mengembangkan rintisan bank soal Bahasa Inggris SMP kelas VIII pada tingkat provinsi dengan memperhatikan (1) karakteristik soal Ulangan Kenaikan Kelas (UKK); (2) karakteristik butir-butir soal; (3) jumlah butir soal yang memenuhi standar. Metode yang digunakan adalah pengembangan dengan pendekatan kuantitatif deskriptif. Sam-pel sebanyak 6554 respon siswa (lembar jawab). Perangkat tes dianalisis kesesuaian indikatornya dengan Standar Kompetensi (SK) dan Kompetensi Dasar (KD) yang telah ditentukan, serta ditelaah secara kualitatif oleh ahli berdasarkan kriteria kons-truksi, bahasa dan materi. Respons siswa dianalisis secara kuantitatif dengan Iteman 3.00, dan Bilog MG 3.0 3 PL untuk mendapatkan informasi tentang tingkat …