Posted by: tonyteaching | January 7, 2010

Mengukur RELIABILITAS & VALIDITAS? yang saya lakukan

0. Seandainya saja sebuah questionnaire sudah berhasil saya bikin (bagaimana membikin questionnaire yang valid dan reliable saya bahas di-posting lain aja ya)…
Nah sekarang yang harus kita lakukan adalah mengevaluasi dan memodifikasi agar questionnaire kita ini Valid dan Reliable!
Sekali lagi biar nggak lupa, “Valid” berarti item questionnaire benar2 mengukur apa yang ingin diukur, dan “Reliable” berarti item questionnaire jika ditanyakan ke orang yang sama atau berbeda jawabannya cenderung sama/konsisten.

Langkah pertama, yang paling mudah adalah:
1. Menghubungi supervisor kita, ahli dibidang objek yang kita teliti, dan ahli statistika untuk mengevaluasi questionnaire kita :

a. Content validity: apakah item2 pertanyaan yang ada sudah mengukur/menginvestigasi setiap construct secara comprehensive (dari semua aspect)? (tanyakan ini terutama dari ahli objek yang kita teliti).
Umumnya kita membutuhkan semakin banyak item pertanyaan untuk meningkatkan Content Validity questionnaire kita!
Contoh dalam PhD riset saya, finally saya mengubah jumlah 2 item pertanyaan (indirect measurement)  –> menjadi 4 pertanyaan (direct measurement)

b. Face validity: apakah secara ‘kasat mata’ dan logika,pertanyaan dan instruksi dalam questionnaire kita sudah jelas? tidak ambigu? benar secara logika? sudah teracak sehingga menghindari respondent yang menjawab berdasar blok jawaban (misal untuk semua pertanyaan attitude selalu menjawab ‘strongly agree’ semua)? Beberapa pertanyaan di-negasi-kan (not) untuk menghindari respondents yang sembarangan menjawab kanan/kiri semua? (jangan lupa coding skalanya nanti juga dibalik ya)

2. Mencari/menghubungi 5-10 respondent kita dan kembali meminta mereka untuk melakukan evaluasi “Face Validity” (komentar, mencoba mengisi, plus ukur waktu yg dibutuhkan utk ngisi)
Berdasar pengalaman ‘kesalahan’ saya, lebih baik respondent ini diundang ke acara khusus dan diberi insentive (dipastikan lama waktu yang dibutuhkan).
Tahapan ini sering disebut “Pre-Test

3. Berdasar Feedbacks langkah 1 dan 2 ini selanjutnya saya harus mengubah/memodifikasi questionnaire saya! (ini yang saya lakukan sekarang….)

4. Tahapan berikutnya setelah questionnaire kita evaluasi berdasarkan Test ‘Face Validity’ dan ‘Content Validity’ maka saatnya kita melakukan: “Pilot Test
Dengan cara mencobakan questionnaire kita ke 25 hingga 150 respondents…paling gampang ke mahasiswa kita🙂
Pastikan semua orang bener2 serius ngisi penuh dan kita dapatkan datanya.

5. Nah…dari data Pilot Test ini kita bakalan dapat data untuk Uji Reliability dan Uji Validity (yakni Uji “Construct Validity” atau disebut juga “Convergent & Discriminant validity“)

a. Uji Reliability..saya lakukan pake SPSS:

Analysis > Scale > Reliability Test…………. intinya pake parameter Alpha aja (Alpha >= 0.70 untuk reliable)

b. Uji Convergent & Discriminant validity, dengan SPSS:

pake Factor Analysis aja…bikin ‘Correlation Matrix’-nya…terus lihat nilai correlation per-blok construct, semestinya dalam 1 blok korelasinya paling kuat dibandingkan blok2 pertanyaan construct lain.

Lebih jelas tentang bagaimana melakukan uji Validity dan Factor Analysis serta Reliability saya posting di sini: https://tonyteaching.wordpress.com/2010/10/14/construct-validity-factor-analysis/


Responses

  1. mas saya mau tanya, saya sedang melakukan penelitian dg menggunakan content validity, nah, apa yangb harus saya lakukan untuk mengukur reliabilitasnya???
    terima kasih

    • MAs Shidiq, pake fasilitas SPSS aja mas gampang…kalo data udah siap di Data View langsung bisa dianalisis: menu “Analyze” > “Scale” > “Reliability analysis” …ntar dilihat nilai Alpha-nya aja, idealnya nilai Alpha untuk semua item question musti 0.7 ke atas, tetapi 0.6 masih bisa diterima

  2. Pak Tony,
    maaf saya mau tanya, bagaimana cara uji content validity di spss apa yg harus di-klik? apa sama dengan uji validitas biasa yg menggunakan korelasi&menggunakan person/spearman dengan melihat alpha? Terimakasih sebelumnya.

    • mbak/mas Yudith..beda. (saya emang sering nemuin referensi dlm bhs Indonesia yg salah kaprah🙂 ) “Content validity” artinya “Valid secara content/isi” artinya item-item pertanyaan yg akan kita gunakan untuk mengukur suatu faktor sudah mencakup semua aspek yg mesti diukur. Contoh kalo dalam ujian matematika, misalnya kurikulum yg diajarkan mencakup penjumlahan, pengurangan, dan perkalian maka saat ujian agar pertanyaan ujian “Valid secara Content” maka item pertanyaan harus ada/mencakup soal penjumlahan, pengurangan, dan perkalian. Jadi “content validity” parameter nya adalah referensi lain (dari teory lain atau literature review atau malah survey pake opened questions) yang menjelas aspect2 apa saja yang musti diukur untuk mengukur factor itu.
      Kalo Uji korelasi hanyalah menunjukkan hubungan antar item pertanyaan yg biasanya bisa gunakan untuk menentukan kelompok2 pertanyaan yg mengukur faktor yang sama. dan jelas tidak menunjukkan Content validity.
      Semoga membantu

  3. Pak Tony,

    bagaimana cara menguji reliabilitas dan validitas untuk analisa faktor (factor analysis)? setahu saya KMO & Bartlett bukan uji reliabilitas dan validitas, apakah benar begitu?

    • David…
      Teknis uji Factor analysis bisa di baca di posting saya di sini: https://tonyteaching.wordpress.com/2010/10/14/construct-validity-factor-analysis/
      di situ kamu juga akan menemukan bahwa nilai KMO menunjukkan nilai kecukupan sample untuk uji Factor Analysis.
      Factor analysis biasanya digunakan untuk uji Validitas dalam hal membuang mengelompokkan item-item pertanyaan ke factor yang diukur atau mengukur hubungan (factor loading) antara item dengan factor jika menggunakan metode SEM.

  4. klo mo ngukur content validity pake spss bisa gak? klo bisa, gimana caranya ya mas?

    • Ayu….”Content Validity” adalah ukuran ketepatan/valid dalam hal Content atau isi pertanyaan..artinya ini menyangkut masalah apakah item2 pertanyaan yg kita punya sudah mengukur semua aspek hal yg kita analisis tidak. Contoh: saya pengin mengukur Kemampuan Matematika siswa saya…jika pertanyaan yang saya ajukan hanya tentang Aljabar, maka pertanyaan2 saya tadi jelas tidak valid secara Content…agar valid secara content maka pertanyaan saya harus berisi pertanyaan2 tentang Aljabar, Triginometri, Aritmetika dan kelompok keahlian lain dalam Matematika….Jadi Content Validity tidak mungkin diukur dengan statistik, hanya mungkin diukur secara qualitative oleh ahli dibidangnya misalnya. …Nb: hati2 saya sering menemukan tulisan statistika dalam bahasa Indonesia yg mencampur-adukkan pengertian Content Validity dengan Construct validity..keduanya berbeda🙂


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

Categories

%d bloggers like this: