QUANTITATIVE DATA COLLECTION

QUANTITATIVE DATA COLLECTION: Technical AdequacyA. Uji validitas Validitas adalah penilaian kelayakan suatu pengukuran dalam melakukan fungsi ukurnya atau keputusan yang dihasilkan dari data dan skor yang ada. Dengan kata lain, validitas adalah konsep dari situasi tertentu: Hal ini dinilai tergantung pada tujuan, populasi, dan karakteristik lingkungan di mana pengukuran berlangsung. Hasil tes dapat berlaku dalam satu situasi namun tidak valid pada situasi lain. Akibatnya, dalam rangka untuk meyakinkan orang lain bahwa prosedur validitas dalam kaitannya dengan masalah penelitian, subyek, dan pengaturan penelitian merupakan kewajiban penyidik ​​untuk menggambarkan validitas kaitannya dengan konteks di mana data dikumpulkan. Hal ini juga dapat dianalogikan bahwa uji tes valid untuk suatu grup belum tentu valid bagi grup yang lainnya, sebagai contoh sutu tes valid untuk para siswa Sekolah Menengah Umum (SMU), belum tentu valid untuk Sekolah Lanjutan Tingkat Pertama (SLTP)"Validitas mengacu pada sejauh mana melibatkan bukti yang mendukung teori interpretasi skor tes oleh kegiatan tertentu" (Standar, 2000 , h. 9). Ini berarti bahwa proses validasi adalah tentang penilaian profesional, yang "relatif dan selalu berkembang, dievaluasi dengan jelas bukti-bukti baru sesuai dengan interpretasi yang diinginkan" (Gorin, 2007, p.46l). Untuk menjamin validitas, maka, peneliti perlu mengidentifikasi atau membuat argumen yang bisa membenarkan suatu inferensi atau menggunakan asumsi-asumsi untuk tujuan tertentu (misalnya, menyimpulkan bahwa siswa dalam satu kelompok memiliki pengetahuan lebih atau memiliki gagasan kuat daripada siswa di kelompok yang lain) dan kemudian mengumpulkan bukti untuk mendukung asumsi (Shepard, 1993; lihat Gambar 8.1). penekanan disini konsisten dengan ide bahwa validitas adalah sebuah konsep tunggal kesatuan yang membutuhkan penggunaan petunjuk khusus. Sebagai contoh, sebuah tes masuk perguruan tinggi dapat mengakibatkan kesimpulan yang valid tentang kinerja masa depan siswa sebagai sarjana tapi tidak bisa digunakan untuk kesimpulan yang valid tentang kualitas SMA-nya. Ada dua jenis kesimpulan yang biasa digunakan dalam penelitian pendidikan. Yang pertama adalah berhubungan dengan penilaian prestasi, yang tergantung pada isi seberapa baik tes atau penilaian terutama merupakan sebuah domain yang lebih besar dari konten atau tugas. Untuk jenis inferensi, bukti penilaian diperlukan untuk mendukung kesimpulan yang dibuat. Jenis kedua inferensi, yang bahkan lebih umum didefinisikan dengan jelas di educational research, adalah tentang sifat-sifat atau karakteristik yang lebih abstrak dari konten. Ciri-ciri atau karakteristik yang sering disebut konstruksi dan termasuk misalnya, kecerdasan, kreativitas, kemampuan membaca, nilai-nilai, perencanaan, dan konsep diri. Secara metodologis validitas suatu tes dapat dibuktikan dengan beberpa cara yaitu:Evidence Based on Test Conten (conten validity) Evidence Based on Test Conten pada umumya ditentukan melalui pertimbangan para ahli. Tidak ada formula matematis untuk menghitung dan tidak ada cara untuk menunjukkan secara pasti. Tetapi untuk memberikan gambaran bagaimana suatu tes validasi digunakan untuk Evidence Based on Test Conten, pertimbangan tersebut dilakukan dengan cara seperti berikut, para ahli, pertama dimunta untuk mengamati secara cermat semua item tes yang hendak divalidasi. Kemudian mereka diminta untuk mengoreksi item-item yang telah di buat. Dan pada akhirnya mereka juga diminta untuk memeberikan pertimbangan tentang bagaimana tes tersebut menggambarkan kecukupan isi yang hendak diukur, biasanya bukti dikumpulkan para ahli meneliti dengan isi dari instrumen dan menunjukkan sejauh mana mengukur kriteria atau tujuan yang telah ditentukan. Para ahli juga mengunakan ini untuk menilai kekritisan relatif, atau kepentingan, dari berbagai bagian dari instrumen. Sayangnya, bukti yang berdasarkan konten pengujian untuk validitas sering tidak dilaporkan dalam artikel penelitian, biasanya karena tidak ada upaya sistematis untuk memperoleh bukti tersebut untuk instrumen dibuat secara lokal. Ketika instrumen standar yang digunakan, penting untuk mengacu pada penelitian sebelumnya, review instrumen, dan manual teknis. Kadang-kadang tes validitas juga disebut face validity atau validitas wajah walaupun hal tersebut masih meragukankarena validitas wajah hanya menggambarkan derajat dimana sebuah tes tampak mengukur tetapi validitas wajah kurang systematik antara ukuran dan domain yang lebih besar. Evidence Based on Contrasted groups Pendekatan langsung untuk menetapkan validitas yaitu untuk melihat apakah kelompok yang berbeda menanggapi seperti yang diperkirakan. Biasanya, hal ini dilakukan dengan kelompok-kelompok yang jelas kontras antara satu sama lain sehubungan dengan apa yang sedang diukur. Sebagai contoh, suatu ukuran efektivitas mengajar harus memberikan hasil yang sangat tinggi untuk individu yang telah diakui untuk mengajar mereka (misalnya, guru tahun), sedangkan guru yang dinilai oleh kepala sekolah sedikit efektif harus menerima skor rendah. Kutipan 8.3 memberikan contoh tentang bagaimana bukti yang berdasarkan kelompok kontras digunakan.Evidence Based on response processes Bukti didasarkan pada proses respon difokuskan pada analisis strategi perfomance atau tanggapan terhadap tugas-tugas tertentu dan apakah strategi ini dan tanggapan yang konsisten dengan apa yang dimaksudkan untuk diukur. Sebagai contoh, jika siswa harus terlibat dalam penalaran matematis, akan mungkin untuk meminta mereka tentang pemikiran mereka kaitannya dengan pemecahan masalah untuk memastikan bahwa digunakan penalaran, bukan aplikasi hafalan dari suatu alogorithma. Demikian pula, pengamat atau penilai dapat diminta menunjukkan kriteria yang digunakan dalam penilaian mereka untuk memastikan kriteria yang tepat sedang diterapkan.Bukti Berdasarkan Struktur Internal Struktur internal dari sebuah instrumen mengacu pada bagaimana item-item terkait satu sama lain dan bagaimana bagian-bagian yang berbeda dari instrumen terkait. Bukti didasarkan pada struktur internal disediakan bila hubungan antara item dan bagian dari instrumen secara empiris konsisten dengan teori atau tujuan penggunaan nilai. Jadi, jika ukuran dari konsep konsep itu sendiri mengemukakan beberapa jenis konsep (misalnya, akademis, sosial, atletik), maka item pengukur komponen akademik harus terkait erat satu sama lain dan bukan berkaitan sebagai komponen lain (terpisah). Prosedur yang disebut analisis faktor sering digunakan untuk memberikan bukti struktur internal; seperti yang diilustrasikan pada Kutipan 08:04Bukti Berdasarkan Hubungan dengan Variabel Lain Cara tafsiran yang paling umum validitas adalah dengan menunjukkan bahwa bagaimana memberikan nilai dari ukuran yang berbeda namun berhubungan dengan sifat-sifat yang sama. Ada beberapa cara yang bisa dilakukan. Yaitu; Pertama; Ketika skor dari satu instrumen yang sangat berkorelasi dengan nilai dari ukuran lain yang sifatnya sama, kita memiliki apa yang disebut bukti konvergen, bukti Diskriminan ada ketika sesuatu nilai yang diukur tidak berkorelasi tinggi dengan skor dari instrumen yang berbeda. Dengan demikian, diharapkan skor dari pengukuran konsep itu sendiri berkorelasi tinggi dengan nilai dari konsep yang berbeda, langkah-langkah lain untuk sifat terkait tetapi berbeda, seperti kecemasan dan self-efficacy. Dalam artikel penelitian, jenis bukti akan disebut sebagai validitas konstruk. Kedua; Pendekatan untuk mengumpulkan bukti berdasarkan hubungan dengan variabel lain berkaitan sejauh mana nilai tes atau pengukuran memprediksi kinerja pada ukuran kriteria (misalnya, kriteria uji hubungan). Dua pendekatan yang digunakan untuk memperoleh tes-kriteria bukti: prediktif dan konkuren. Dengan bukti prediksi, kriteria kemudian diukur pada suatu waktu, setelah instrument telah diberikan. Bukti berkaitan dengan seberapa baik ukuran sebelumnya dapat memprediksi kriteria perilaku atau kinerja. Misalnya, dalam mengumpulkan suatu bukti pengkuran untuk memilih pelamar untuk posisi leadership, skor pada instrumen akan berkorelasi dengan perilaku kepemimpinan di masa mendatang. dimana seseorang mendapatkan skor yang rendah pada tes ternyata menjadi pemimpin kurang mampu sedangkan mereka yang mendapat skor yang tinggi diperkirakan dari kriteria atau bukti yang diperoleh akan menjadi pemimpin yang baik,. Validitas jelas merupakan aspek yang paling penting dari instrumen dan temuan yang dihasilkan dari data. Kualitas bukti dinilai oleh pengguna temuan sangat bervariasi dalam penelitian pendidikan. Jika tes yang digunakan standar, akan ada bukti yang canggih, sedangkan kuesioner yang dikembangkan secara lokal mungkin memiliki bukti-bukti sistematis Kecil.
B. TEST RELIABILITY Uji reliabilitas (or, more accurately reliability of score) mengacu pada konsistensi pengukuran-sejauh mana hasil yang sama dari bentuk yang berbeda dari instrumen yang sama dengan cara-cara pengumpulan data sama pula. Menurut John M. Echols dan Hasan Shadily (2003: 475) reliabilitas adalah hal yang dapat dipercaya. Popham (1995: 21) menyatakan bahwa reliabilitas adalah "...the degree of which test score are free from error measurement". Dalam pandangan Brennan (2001: 295) reliabilitas merupakan karakteristik skor, bukan tentang tes ataupun bentuk tes. Menurut Sumadi Suryabrata (2004: 28) reliabilitas menunjukkan sejauhmana hasil pengukuran dengan alat tersebut dapat dipercaya. Hasil pengukuran harus reliabel dalam artian harus memiliki tingkat konsistensi dan kemantapan. Cara lain untuk konsep reliabilitas adalah sejauh mana langkah-langkah pengumpulan data bebas dari kesalahan. Jika instrumen memiliki kesalahan kecil, maka dapat dipercaya, dan jika memiliki banyak kesalahan, maka itu tidak dapat peracaya. Kita dapat mengukur kesalahan dengan memperkirakan seberapa konsisten suatu sifat dinilai. Dalam pandangan Aiken (1987: 42) sebuah tes dikatakan reliabel jika skor yang diperoleh oleh peserta relatif sama meskipun dilakukan pengukuran berulang-ulang. Untuk memperoleh skor yang sama, maka tidak boleh ada kesalahan pengukuran. Dengan demikian, keandalan sebuah alat ukur dapat dilihat dari dua petunjuk yaitu kesalahan baku pengukuran dan koefisien reliabilitas. Kedua statistik tersebut masing-masing memiliki kelebihan dan keterbatasan (Feldt & Brennan, 1989: 105) Menurut teori tes klasik, skor yang diperoleh dianggap memiliki dua komponen: skor benar atau skor umum, yang merupakan pengetahuan yang sebenarnya atau tingkat keterampilan individu, dan kesalahan, sumber variabilitas tidak berhubungan dengan maksud dari instrumen:skor yang diperoleh = skor benar atau skor umum + errorSumber umum kesalahan yang tercantum dalam Tabel 8.2. Tujuan dalam memilih atau mempertimbangkan instrumeats adalah untuk mencari bukti bahwa kesalahan telah dikendalikan sebanyak mungkin. Jumlah kesalahan aktual varians dalam skor tes, atau keandalan, ditentukan secara empiris melalui beberapa jenis prosedur 'Setiap jenis reliabilitas. Terkait dengan kontrol dari jenis kesalahan tertentu dan biasanya dilaporkan dalam bentuk koefisien reliabilitas. Koefisien reliabilitas adalah statistik korelasi membandingkan dua set skor dari individu yang sama. Skala untuk koefisien reliabilitas adalah 0,00 ke 0,99. Jika koefisien yang tinggi, (atau contoh 0,90, nilai memiliki kesalahan kecil dan sangat handal sebaliknya adalah benar untuk korelasi .20 atau .35.. Sebuah rentang yang paling dapat diterima untuk koefisien reliabilitas untuk instrument adalah .70 ke. 90. Secara umum lima jenis perkiraan keandalan (reliabilitas) yaitu stabilitas, kesetaraan dan stabilitas, konsistensi internal, dan kesepakatan. Lima jenis reliabilitas tersebut dirangkum dalam Tabel 8.3.2 Pembahasan1. Stabilitas
Sebuah koefisien stabilitas diperoleh dengan menghubungkan nilai dari tes yang sama pada dua kesempatan yang berbeda dari sekelompok individu. Jika tanggapan dari individu-individu yang konsisten (yaitu, jika mereka mendapat skor tinggi pertama kalinya juga skor tinggi kedua kalinya, dan seterusnya), maka koefisien korelasi dan keandalannya pun tinggi. Selain itu, stabilitas biasanya berarti bahwa ada waktu yang cukup lama antara tindakan (beberapa bulan) sehingga konsistensi dalam skor tidak dipengaruhi oleh efek memori atau praktek2. Reliabilitas bentuk ekuivalenSesuai dengan namanya ekuivalen (persamaan derajat) maka tes yang hendak diukur reliabilitasnya dibuat identik. Setiap tampilannya, kecuali subtansi item yang ada dapat berbeda. Karakteristik yang dimaksud tersebut termasuk misalnya; mengukur variable yang sama, mempunyai jumlah item sama, struktur sama, mempunyai tingkat kesulitan dan mempunyai pentunjuk, cara scoring dan mempunyai interpretasi yang sama.
3. Kesetaraan dan StabilitasKetika seorang peneliti memberikan pre-test dan post-test untuk menilai perubahan perilaku, maka koefisien reliabilitas kesetaraan dan stabilitas harus ditetapkan. Dalam prosedur ini, reliabilitas data diperoleh dengan pemberian kepada kelompok individu yang sama salah satu bentuk instrumen pada satu waktu dan bentuk kedua di kemudian hari. Jika instrumen ini memiliki tipe reliabilitas, peneliti dapat meyakini bahwa perubahan nilai sepanjang mencerminkan perubahan sebenarnya pada sifat yang diukur. Ini adalah jenis reliabilitas yang paling ketat, dan ini terutama berguna untuk penelitian yang melibatkan perolehan-skor atau perbaikan.4. Konsistensi internalKonsistensi internal adalah jenis yang paling umum dari reliabilitas karena dapat diperkirakan pada saat partama kali memberikan satu tes. Ada tiga jenis konsistensi internal: split-half, Kuder-Richardson, dan alpha Cronbach method.Dalam split-half reliability, item dari tes yang telah diberikan kepada kelompok dibagi menjadi dua bagian yang sebanding dan koefisien korelasi dihitung antara bagiannya. Jika setiap siswa memiliki sekitar posisi yang sama kaitannya dengan kelompok pada setiap setengah maka korelasi yang tinggi dan memiliki reliabilitas yang tinggi. Setiap uji setengah harus memiliki kesulitan yang serupa. Metode ini memberikan reliabilitas yang lebih rendah daripada metode lainnya, karena jumlah dalam persamaan korelasi yang hanya berisi setengah dari item (dan kita tahu bahwa hal-hal lain dianggap sama, tes lagi lebih dapat diandalkan daripada tes pendek). (Rumus Spearman-Brown digunakan untuk meningkatkan reliabilitas split-half untuk memperkirakan korelasi tes secara keseluruhan.) Teknik konsistensi internal tidak boleh digunakan dengan tes dipercepat. Hal ini karena tidak semua item yang berikan bisa dijawab oleh semua siswa, dimana factor tersebut merupakan faktor yang cenderung untuk meningkatkan ketidaknyataan yang inter correlation dari item. Metode kedua untuk menyelidiki sejauh mana konsistensi internal adalah dengan menggunakan-KuderRichardson (KR) rumus dalam rangka untuk mengkorelasikan semua item pada uji tunggal antara satu sama lain ketika setiap item dinilai benar atau salah Prosedur ini mengasumsikan bahwa semua item dalam instrumen setara, tujuan dari tes ini adalah untuk mengukur sifat tunggal. Jika tes memiliki item dari berbagai kesulitan atau tindakan lebih dari satu sifat, perkiraan KR biasanya akan lebih rendah daripada split-half reliabilitas.Cronbach alpha (atau koefisien alpha atau hanya alpha) menentukan kesepakatan jawaban pada pertanyaan ditargetkan untuk suatu sifat tertentu. Hal ini digunakan ketika jawaban yang dibuat pada skala dari beberapa jenis bukan mengukur benar atau salah. Skala dapat berupa kesepakatan, tinggi, menengah, dan status sosial ekonomi rendah; luas untuk sedikit pengalaman, dan sebagainya. Karena banyak survei dan kuesioner menggunakan jenis item, alpha adalah jenis yang paling umum dari kehandalan dilaporkan dalam penelitian pendidikan. Koefisien Alpha harus dilaporkan total untuk setiap subskala skor yang-digunakan sebagai-variabel.5. Agreement (kesepakatan)Jenis kelima reliabilitas dinyatakan sebagai koefisien kesepakatan. Hal ini ditentukan dengan menentukan sejauh mana dua atau lebih orang setuju tentang apa yang mereka lihat, dengar, atau dinilai. Jenis reliabilitas ini umumnya digunakan untuk penelitian observasional dan studi yang melibatkan; penilaian berbasis kinerja di mana penilaian profesional dibuat tentang kinerja siswa. Ini akan dilaporkan sebagai peringkat reliabilitas, perjanjian intercoder, atau perjanjian penskoran dan akan dinyatakan sebagai koefisien korelasi atau sebagai persentase dari kesepakatan.Ada dua prosedur umum yang menghasilkan koefisien reliabilitas: koefisien Kendall’s persesuaian dan Cohen kappa. Koefisien persesuaian berkisar dari 0 ke 1 dan digunakan dengan data peringkat.
6. Interpretasi Koefisien ReliabilitasBerikut beberapa factor yang harus dipertimbangkan dalam menafsirkan koefisien reliabilitas:1) Kelompok yang lebih heterogen adalah pada sifat yang diukur, semakin tinggi reliabilitas.2) Semakin banyak item yang ada di instrumen, semakin tinggi reliabilitas.3) Semakin besar kisaran nilai, semakin tinggi reliabilitas.4) Pencapaian tes dengan tingkat kesulitan menengah akan memiliki keandalan yang lebih tinggi daripada tes yang sangat sulit, atau sangat mudah.5) Reliabilitas, seperti validitas, apabila didasarkan pada kelompok norming, ditunjukkan hanya untuk mata pelajaran yang karakteristiknya mirip dengan kelompok norming.6) Semakin banyak item membedakan antara berprestasi tinggi dan rendah, semakin besar keandalan.7) Hal lain dianggap mempunyai, reliabilitas yang sama adalah berhubungan positif dengan jumlah participar.Para peneliti sering bertanya seberapa tinggi korelasi harus untuk itu untuk menunjukkan kehandalan memuaskan, tentu hal ini tergantung pada jenis instrumen (umumnya kuesioner kepribadian memiliki reliabilitas lebih rendah daripada tes prestasi), tujuan dari penelitian (apakah itu eksplorasi penelitian atau penelitian yang mengarah ke keputusan penting), dan apakah kelompok atau individu dipengaruhi oleh hasil ( karena tindakan yang mempengaruhi individu membutuhkan korelasi yang lebih tinggi daripada aksi mempengaruhi kelompok). Namun, aturan praktis yang baik adalah untuk waspada terhadap reliabilitas bawah 0,70.