ANCAMAN VALIDITAS

Salah satu sisi yang penting dalam penelitian kuantitatif adalah memastikan bahwa inferensi data hasil penelitian yang dibuat sudah benar. Ancaman yang mungkin dalam membuat inferensi sebaiknya dipertimbangkan dalam melakukan penelitian eksperimental. Ancaman ini biasa disebut sebagai ancaman validitas. Ancaman validitas merujuk kepada suatu alasan mengapa kita dapat membuat inferensi yang keliru dalam membuat inferensi. Jenis-jenis ancaman yang mungkin terjadi telah lama didiskusikan yang dimulai oleh Campbell dan Stanley (1963) hingga dielaborasi oleh Cook dan Campbell (1979) dan yang terbaru oleh Sadish, Cook, dan Campbell (2002). Secara umum, ancaman validitas dapat dibagi menjadi dua yaitu ancaman pada: validitas internal dan validitas eksternal (Creswell, 2012).

Ancaman pada Validitas Internal

Ancaman pada validitas internal merujuk pada ancaman dalam menggambarkan inferensi yang benar tentang kovarian (yaitu: variasi dari satu variabel berkontribusi ke variasi dalam variabel lain) antara perlakuan yang diberikan dan hasil dari sebuah hubungan kausalitas (Creswell, 2012). Dengan kata lain bahwa seorang peneliti hendaknya mengeliminasi atau menjaga agar semua variabel tambahan (extraneous variables) tidak memengaruhi hasil pengukuran pada post-test (Gall, Gall, & Borg, 2003). Ancaman pada validitas internal dapat dibagi menjadi tiga yaitu ancaman yang berhubungan dengan partisipan, yang berhubungan dengan perlakuan dan yang berhubungan dengan prosedur (Creswell, 2012).

Ada enam ancaman yang berhubungan dengan partisipan menurut (Creswell, 2012).

1.      History (sejarah), perlakuan eksperimen berlangusung selama periode waktu tertentu, dan beberapa kejadian mungkin terjadi dan memengaruhi hasil eksperimen. Dalam eksperimen pendidikan, sangat susah untuk mengontrol semua variabel tambahan dan membuat hanya perlakuan (variabel bebas) yang bekerja selama penelitian (Gall et al., 2003). Meskipun demikian, peneliti dapat mengontrol aktifitas setiap kelompok agar tetap sama selama eksperimen dan yang membedakan hanya perlakuan saja (variabel bebas).

2.      Maturation (kematangan). Individu berkembang atau berubah selama eksperimen berlangsung, misalnya saja bertambah tua, bijak, kuat dan pengalaman-pengalaman lainnya. Perubahan ini mungkin memberikan dampak pada hasil yang diperoleh antara pretest dan post-test. Memilih partisipan dengan tepat dengan kematangan yang sama untuk kelompok kontrol dan kelompok eksperimen dapat membantu meningkatkan validitas internal eksperimen.

3.      Regression (regresi). Ketika peneliti memilih individu-individu pada suatu kelompok berdasarkan skor yang ekstrim (sangat tinggi ataupun sangat rendah), maka secara otomatis tanpa perlakuan pun individu tersebut akan memiliki skor yang tinggi atau justru rendah pada post-test daripada pretest. Memilih partisipan yang tidak berada pada skor ekstrem dapat mengatasi masalah ini.

4.      Selection (seleksi). Pemilihan sampel yang cerdas, mudah menerima perlakuan atau familiar dengan perlakuan yang diberikan dalam suatu eksperimen akan memengaruhi hasil eksperimen. Sehingga dengan memilih secara random sedikitnya dapat mengurangi ancaman ini.

5.      Mortality (mortalitas). Ketika individu dikeluarkan dalam eksperimen karena beberapa alasan akan menyebabkan penggambaran kesimpulan menjadi susah. Hal ini dapat terjadi karena beberapa hal misalnya partisipan berhalangan hadir karena sakit (Gall et al., 2003).  Peneliti perlu untuk memilih sebuah sampel yang besar dan membandingkan keduanya

6.      Interaction with selection (interaksi antar partisipan pilihan). Beberapa perlakuan dapat berinteraksi dengan partisipan yang terpilih untuk menambahkan ancaman baru terhadap eksperimen. Boleh jadi partisipan yang terpilih mencapai kematangan dalam eksperimen secara berbeda meskipun berada pada usia yang sama. Catatan historisnya juga akan berinteraksi dengan pilihan karena individu dari kelompok yang berbeda berasal dari tempat yang berbeda secara sosial-ekonomi.

Kategori selanjutnya adalah ancaman yang berhubungan dengan perlakuan menurut (Creswell, 2012).

1.      Diffusion treatments (gabungan perlakuan): ketika kelompok eksperimen dan kelompok kontrol dapat berkomunikasi satu sama lain, kelas kontrol bisa jadi belajar bersama kelompok eksperimen yang akan mengancam validitas internal. Sebisa mungkin, peneliti menjaga agar kelompok eksperimen dan kelompok kontrol tetap terpisah selama eksperimen berlangsung. Hal ini mungkin sangat sulit ketika kelas eksperimen dan kelas kontrol merupakan dua kelas yang berada pada tingkatan yang sama.

2.      Compensatory equalization (kompensasi kesetaraan): ketika hanya kelompok eksperimen yang mendapat perlakuan, ketidaksetaraan terjadi yang mungkin mengancam validitas penelitian. Manfaat dari penelitian hendaknya diterima secara merata pada semua kelompok yang diteliti. Untuk mengatasi masalah ini, peneliti membuat kelompok pembanding. Misalnya, satu kelompok menerima kuliah kesehatan-resiko, sementara itu kelompok lain menerima handout tentang materi ini sehingga kedua kelompok mendapatkan keuntungan yang sama.

3.      Compensatory Rivalry (kompensasi persaingan): ketika peneliti mengumumkan tugas untuk kelompok kontrol dan kelas eksperimen, kompensasi persaingan boleh jadi muncul antara kedua kelompok karena kelas kontrol merasa sebagai “underdog”. Peneliti dapat berusaha mengabaikan ancaman ni dengan maksud untuk mengurangi kepedulian dan eskpektasi terhadap dugaan manfaat dari eksperimen yang dilakukan.

4.      Resentful demoralization (demoralisasi marah): individu dalam kelompok kontrol bisa jadi merasa marah dan mengurangi semangat karena mereka menerima sebuah perlakuan yang kurang diinginkan daripada group yang lain. Salah satu cara memperbaiki ancaman ini adalah meberikan sebuah perlakuan kepada kelompok kontrol setelah eksperimen disimpulkan.

Berikutnya adalah ancaman terhadap penelitian eksperimental kaitannya dengan prosedur dalam penelitian menurut (Creswell, 2012).

1.      Testing (penilaian): potensi ancaman terhadap validitas internal adalah bahwa partisipan boleh jadi terbiasa terhadap tes akhir dan mengingat respon mereka pada penilaian sebelumya. Selama beberapa eksperimen, hasil diukur dari sekali, seperti dalam pretest. Untuk mengatasi situasi ini, peneliti eksperimental mengukur hasil sekurang mungkin dan menggunakan butir tes yang berbeda pada post-test dibandingkan dengan butir tes yang digunakan pada saat pretest.

2.      Instrumentation (instrumentasi): antara penyusunan instrumen pretest dan post-test, instrumen bisa jadi berubah yang akan memunculkan potensi ancaman terhadap validitas internal. Sebagai contoh, observer bisa jadi semakin ahli selama proses pengamatan dalam suatu penelitian. Untuk mengatasi permasalahan ini, peneliti dapat membuat prosedur yang terstandar sehingga peneliti dapat menggunakan skala dan instrumen observasi yang sama selama eksperimen berlangsung.

Sebagai kesimpulan, tujuan dalam mendesain sebuah eksperimen adalah menciptakan sebuah perangkat kondisi dengan level kepercayaan yang tinggi terhadap variabel dependen (perlakuan) daripada variabel tambahan (extraneous variable).

Ancaman pada Validitas Eksternal

Temuan dalam suatu penelitian eksperimen bisa jadi valid pada satu tempat tapi tidak begitu valid pada lokasi yang berbeda. Sebagai contoh, seorang peneliti melakukan tes terhadap pengaruh ilustrasi dalam buku anak-anak yang diambil datanya pada suatu kelompok kecil anak-anak kelas satu. Setiap kelompok menerima cerita yang sama tapi dengan ilustrasi yang berbeda. Buku ilustrasi yang digunakan tersebut cukup berkualitas. Siswa kemudian dinilai seketika setelah membaca cerita, bahkan eksperimen terkontrol degan baik dengan beberapa extraneous variabel yang dikendalikan. Eksperimen ini secara internal valid, akan tetapi kemampuan untuk mengeneralisasikan hasil temuannya sangat lemah. Hal tersebut disebut sebagai validitas eksternal.

Menurut Bracht dan Gene Glass dalam (Gall et al., 2003), terdapat 12 faktor yang dapat mengancam validitas eksternal. Secara umum ancaman ini dapat dibagi menjadi dua bagian besar yaitu validitas populasi dan validitas ekologi.

1.    Validitas Populasi

Validitas populasi berfokus pada seberapa mampu sebuah hasil eksperimen dapat digeneralisasikan ke populasi. Bracht dan Glass membedakan dua jenis ancaman validitas populasi.

a.       Sejauh mana hasil penelitian dapat digeneralisasikan dari sampel ke populasi

Bayangkan jika anda adalah seorang guru yang hendak meningkatkan kemampuan pemahaman membaca siswa Anda. Anda hendaknya tahu bahwa penggunaan hypertext lebih baik jika menggunakan sebuah bacaan konvensional. Anda melaksanakan penelitian ini pada 125 siswa sekolah menengah atas secara random pada sebuah sekolah. Ekperimen menunjukkan bahwa hypertext lebih baik meningkatkan pemahaman membaca siswa.

Hasil ini membatasi cakupan generalisasi peneliti. Anda tidak dapat melakukan generalisasi kepada semua siswa. Anda hanya dapat melakukan generalisasi terhadap siswa pada sekolah diamana Anda memberikan perlakuan. Sangat sering peneliti maupun pembaca berharap ada generalisasi ke kelompok yang lebih besar.

b.      Sejauh mana variabel personal berinteraksi dengan efek perlakuan.

Pada eksperimen yang dijelaskan di atas, Anda tidak tahu apakah pembelajaran berinteraksi dengan karakteristik siswa. Sehingga, meskipun hypertext ditemukan lebih superior dari pada buku konvensional, perbedaan hasil mungkin ditemukan pada siswa lain yang berada pada kelas yang berbeda. Jika demikian, maka terjadi penurunan kemampuan penggeneralisasian hasil penelitian. Kemampuan siswa. Jenis kelamin dan level kecemasan adalah contoh-contoh dari variabel personal yang dapat memengaruhi kemampuan suatu hasil penelitian digeneralisasikan.

2.    Validitas Ekologi

Validitas ekologi fokus pada sejauh mana hasil sebuah penelitian dapat digeneralisasikan dari set lingkungan penelitian yang telah diciptakan seorang peneliti pada lingkungan lain. Jika jika efek dari perlakuan hanya berlaku pada kelompok yang diberi perlakuan saja maka hasil penelitian ini dikategorikan sebagai hasil penelitian dengan validitas ekologi yang rendah. Menurut Bracht dan Glass dalam (Gall et al., 2003), terdapat 10 faktor yang mengancam validitas ekologi.

a.       Deskripsi eksplisit dari perlakuan eksperimental.

Peneliti perlu untuk mendeskripsikan perlakuan secara detail sehingga peneliti lain dapat mereproduksinya. Saran suatu hasil penelitian terkadang lebih efektif dijadikan sebagai metode diskusi daripada metode kuliah. Meskipun demikian, deskripsi peneliti terhadap metode diskusi begitu lemah dan tidak lengkap menyebabkan peneliti lain yang hendak mereplikasi eksperimen tersebut tidak dapat melakukan hal yang sama. Dalam hal ini, temuan hasil eksperimennya tidak dapat digeneralisasikan pada lokasi yang berbeda.

b.      Interferensi perlakuan ganda.

Terkadang seorang peneliti akan menggunakan sebuah desain eksperimental dengan lebih dari satu perlakuan. Misalkan setiap partisipan memeroleh tiga perlakuan yang berbeda: A, B dan C. perlakuan A ditemukan bahwa menghasilkan pencapaian pembelajaran yang lebih baik jika dibandingkan perlakuan B dan C. karena menggunakan desain eksperimental, temuan tidak dapat digeneralisasikan kecuali eksperimen tersebut hanya memberlakuan perlakuan A.

c.       Efek Howthorne

Efek ini merujuk pada kondisi eksperimen dimana partisipan sadar bahwa dirinya sedang dalam eksperimen, tahu hypothesis peneliti, atau menerima perhatian khusus. Hal ini dapat memengaruhi perilaku partisipan. Generalisasi hasil penelitian akan lemah karena perbedaan perilaku partisipan pada lokasi yang berbeda tidak berlaku.

d.      Efek kebaruan dan gangguan

Perlakuan eksperimental yang baru boleh jadi efektif karena secara sederhana berbeda dari pembelajaran yang biasanya siswa peroleh. Jika ini benar, maka hasil temuan penelitian memiliki kekuatan generalisasi yang lemah.

e.       Efek eksperimenter

Sebuah perlakuan eksperimental bisa jadi efektif atau tidak efektif tergantung pada eksperimenter (orang yang melakukan eksperimen), guru atau individu lain yang memberikan perlakuan. Pada kasus ini, efek perlakuan tidak dapat digeneralisasikan pada kondisi dengan orang yang berbeda.

f.        Pengaruh pretest

Pada beberapa eksperimen, pretest bisa jadi berkaitan dengan perlakuan sehingga berdampak pada hasil penelitian. Jika eksperimen diulang tanpa pretest, hasil penelitian juga berubah.

g.      Pengaruh post-test

Sumber ketidakvalidan ekologi ini mirip dengan pengaruh pretest di atas. Hal ini dapat terjadi jika post-test juga merupakan suatu pengalaman belajar tersendiri. Sebagai contoh, ketika dalam perlakuan peneliti mengungkapkan ide untuk tidak jatuh pada tempat yang sama pada beberapa peserta didik. Ketika tidak diberikan post-test hasil penelitian menjadi berbeda. meskipun efek ini masuk akal namun belum ada studi mendalam tentang pengaruh post-test. Hal ini berbeda dengan studi tentang pengaruh pretest terhadap validitas ekologi.

h.      Interaksi dari sejarah dan efek perlakuan

Seseorang dapat membantah bahwa peneliti tidak boleh menggeneralisasi di luar periode waktu di mana eksperimen dilakukan. sebuah eksperimen yang mengevaluasi metode pendidikan inovatif dapat dilakukan pada saat para guru sangat kecewa dengan metode konvensional yang sesuai. mereka mungkin sangat termotivasi untuk menunjukkan keunggulan metode baru. di lain waktu, kami mungkin mengulang percobaan dan tidak menemukan perbedaan karena guru tidak lagi melihat metode sebagai inovatif.

i.        Pengukuran variabel bebas

Generalisasi suatu hasil eksperimen dapat dibatasi dengan desain pretest dan post-test untuk mengukur pencapaian pencapaian atau variabel hasil lainnya. misalkan keunggulan program hypertext melalui buku teks biasa ditunjukkan pada tes pilihan ganda yang diambil siswa segera setelah menyelesaikan perlakuan. jika program hypertext efektif hanya karena memfasilitasi kemampuan siswa untuk mengambil tes pilihan ganda, hasil eksperimen tidak akan digeneralisasikan ke ukuran lain. misalnya, tidak ada perbedaan antara format pembelajaran yang dapat ditemukan jika pretest dan post-test membutuhkan soal esai.

j.        Interaksi waktu dari pengukuran dan efek perlakuan

Penerapan pretest dan post-test pada dua waktu yang berbeda mungkin menghasilkan perbedaan temuan tentang efek temuan. Praktek yang biasa ada untuk melakukan post-test segera partisipan menyelesaikan perlakuan eksperimen. Kesimpulan tentang efektivitas perlakuan didasarkan pada hasil post-test. Meskipun memungkinkan untuk melakukan test bersamaan atau parallel beberapa pekan atau bulan berikutnya.

Creswell, J. W. (2012). Educational research: planning, conducting, and evaluating quantitative and qualitative research (4th ed). Boston: Pearson.

Gall, M. D., Gall, J. P., & Borg, W. R. (2003). Educational Research (Seventh Edition). United State of America: Library of Congress Cataloging.