Posted by: tonyteaching | October 14, 2010

Construct Validity, Factor Analysis & Reliability Test

Baru aja saya menyelesaikan pengujian alat ukur penelitian saya (questionnaire).
Seperti kita tahu, sebuah alat ukur (dalam hal ini questionnaire) musti di Uji Validity dan Reliability-nya sebelum dipercaya untuk mengambil data yang sebenarnya. Alat ukur tersebut harus di’pastikan’ VALID, yakni benar-benar mengukur sesuatu yang memang ingin diukur. Bukan cuman Valid tetapi Juga RELIABLE, yakni jika pengukurannya diulang-ulang untuk subject yang sama maka hasilnya selalu ajeg/konsisten/sama. Dua syarat itu harus terpenuhi, va valid ya reliable. Seperti alat Timbangan Badan misalnya, orang baru bisa mempercayai informasi berat badan seseorang yang ditimbang dengan alat itu jika alat timbangan badan itu benar-benar mengukur berat badan kita secara tepat (kalo 70 kg ya tertulis 70 kg) dan jika diulang-ulang berat badan itu masih sama pada saat itu.

Naah..yang saya lakukan…
Untuk Uji Validity, pertama kali saya melakukan FACE VALIDITY.
Pendapat yang tidak setuju dengan Face Validity mengatakan bahwa istilah face validity sebenarnya tidak ada, ini hanya istilah pengganti untuk ‘subjective’ validity. Validitas suatu item alat ukur berdasarkan pendapat seseorang (bisa ahli, bisa respondents, dll). Namun menurut saya, karena saya setuju bahwa mengukur 100% validitas suatu alat ukur entitas Non Fisik adalah Tidak Mungkin, maka pendapat/analisa pakar dan calon respondent jelas sangat dibutuhkan untuk mengukur ketepatan item tersebut. Karena dalam banyak hal, validity bersifat qualitative daripada kuantitatif.
Dalam penelitian saya saya menguji Face Validity berdasar masukan dari Ahli ilmu yang bersangkutan (e-government) bisa supervisor, bisa pakar lain…ahli statistika, dan yang nggak kalah penting adalah calon respondent sendiri. Saya meminta komentar dan masukan kepada 8 calon respondents saya. Feedbacks yang saya peroleh saya pergunakan untuk memperbaiki questionnaire saya.

Sebenarnya, selanjutnya saya bisa melakukan Uji Content Validity. Yakni memastikan bahwa setiap grup items yang ditujukan untuk mengukur suatu construct/factor benar-benar telah mencakup semua aspect yang terkait dengan factor tersebut. Biasanya aspek2 tersebut diketahui dari penelitian kualitatif sebelumnya atau dari survey opened-questions yang kita lakukan sebelumnya.

Saya langsung melakukan CONSTRUCT VALIDITY test. Apa itu construct validity? Construct validity adalah penilaian validitas (kebenaran bahwa suatu item benar2 mengukur sesuatu yg dia ukur) berdasarkan pola keterkaitan antar item pertanyaan yang mengukurnya. Item-item yang mengukur faktor yang sama semestinya memiliki inter-korelasi yang kuat dan yang mengukur faktor yang berbeda mestinya memiliki inter-korelasi yang lemah. Korelasi-korelasi (Pearson Correlation) yang kuat itu akan membentuk kelompok (cluster) yang mengumpul merepresentasikan faktor yang diukur.
Dalam penelitian saya, saya mengukur Construct Validity dengan menggunakan Factor Analysis khususnya teknik Principal Component Analysis (PCA).

PCA biasanya dipergunakan untuk exploratory analysis yakni meng’explore latent variable-latent variable  apa saja yang melandasi/menyebabkan suatu construct. Latent Variable adalah factor yang tidak bisa diukur langsung, diukur dari aspek-aspek yang terkait saja, contoh Stress tidak bisa diukur dengan pertanyaan “Seberapa Stress anda (1-7)?” tetapi diukur dari misal “berapa sering ada pusing jika menghadapi masalah?” atau  “berapa kali mag anda kambuh minggu ini?”.

Saya melakukan PCS dengan menggunakan aplikasi SPSS, yakni di Menu “Analyse” > “Dimension Reduction” > “Factor

Contoh:
Secara teori dan konsep yang saya kembangkan Construct “Social Influences” misalnya dipengaruhi oleh 2 dimensi (latent factor) yakni “Normative Social Influence” (tekanan dari lingkungan sosial) dan “Informational Social Influence” (informasi dari lingkungan)…Nah, 2 latent factor ini tidak bisa diukur langsung. Dari hasil survey diketahui bahwa tekanan dari lingkungan sosial dari konteks object penelitian saya ini mayoritas dilakukan oleh keluarga dan teman…maka pertanyaan untuk mengukur “Normative Social Influence” ini bisa berupa “Saya merasa teman saya akan senang jika saya menggunakan alat ini” dan “Saya merasa keluarga saya akan senang jika saya menggunakan alat ini”. Begitu seterusnya untuk item-item pertanyaan latent factor yang lain. Jadi secara teori, item-item pertanyaan yang mengukur faktor yang sama akan memiliki nilai korelitas yang kuat (Pearson Correlation) atau kalo dalam Factor Analysis (dengan ditambahi Rotation) item-item ini akan mengumpul sesuai kesamaan factor yang diukur.

Sesudah saya menjalankan sebuat “Pilot Study” mencoba questionnaire saya ini pada 108 respondents (o iya Factor Analysis sangat peka terhadap jumlah respondent…biasanya minimal 100 respondent..ada yg mendasarkan pada banyak factor yang diukur yakni 1 factor 15 respondent, jadi kalo mau menganalisis 10 factor musti punya 150 respondent…tapi ada juga yg berpendapat 1 factor 10 respondent…wah yg penting nampilin referensinya, dan yang pasti kecukupan sample nanti bisa diukur dari nilai KMO yang diperoleh)

Okay..secara teknis di SPSS sesudah saya memilik menu “Analyse” > “Dimension Reduction” > “Factor“:

* saya memasukkan item-item pertanyaan untuk sebuah construct (contoh “Social Influence” jadi secara teori, item2 ini mengukur lebih dari satu latent faktor yakni “Normative Social Influence” dan “Informational Social Influence”. Misal, total pertanyaan ada 12 items.

* di tombol menu “Descriptive” saya aktifkan semua pilihan. Yang paling penting di sini adalah Univariate Descriptive (menampilkan banyak item, Mean, parameter discriptive lainnya) dan KMO value

* di tombol menu “Extraction” saya pilih
Method: “Principle Component” krn saya memang mau meng-explore latent factor yang ada,
di grup Analyze, saya pilih “Correlation“..
di grup Display saya aktifkan (tampilan) “Scree Plot” (ini grafik yang bisa untuk menduga berapa titik factor yang beda dari ‘bengkokan radikal’ garis)
di grup Extract saya pilih default yakni di extract berdasarkan Eigen Value di atas nilai 1
Maximum Iteration Convergence saya biarin default di 25 kali maximal.

* di tombol menu “Rotation” saya pilih
Method: “Varimax” (salah satu metode Orthogonal Rotation) karena asumsi awal saya masing-masing latent factors yang mau saya amati ini independent satu sama lain (tidak mempunyai hubungan). Jika misalnya kita punya alasan/teori cukup yang mengasumsikan latent factors ini Tidak Independent (bisa saling berhubungan) maka kita memilih Obligue Rotation (bisa milih “Direct Oblimin” atau “Promax”.
Loading Plot” juga saya aktifkan (akan saya tampilkan).

* di tombol menu “Scores”
Save as variables” saya aktifkan dan saya memilih “Correlation” karena saya tertarik untuk melihat factor scores yang saling terkait, sebaliknya jika kita lebih ingin melihat factor scores yang tidak terkait (tidak berhubungan) maka kita bisa memilih “Anderson-Rubin” method.
Display Factor Score Coefficient Matrix” saya aktifkan

*di tombol menu “Options”
di Grup “Missing Values” saya memilih untuk “Exclude Cases Pairwase” yakni tidak mengikut sertakan case/respondent yang tidak ada isian jawabannya hanya untuk analisis faktor terkait. Sedangkan kalo saya memilih pilihan urutan pertama “Exclude Cases Listwise” artinya saya pengin tidak mengikut sertakan semua case/respondent yg punya jawaban kosong untuk semua analisis faktor.
di Grup “Coefficient Display Format” saya mengaktifkan
Sorted by Size” karena ini di hasil analisa item-item pertanyaan akan diurutkan sesuai nilai Factor Scores nya sehingga mengumpul dan mudah menganalisa tiap item masuk factor mana.
Suppress absolute values less than” saya isi 0.4 karena ini nilai minimal yang direkomendasikan di buku (Field, 2009 ada lagi sumber utamanya ..bisa dilihat) di sini saya pengin hanya menampilkan nilai factor loading yang hanya di atas 0.4..yang dibawah nilainya tidak perlu dimunculkan. Keuntungannya adalah tampilan tabel dan pola loading factors lebih mudah diamati.

Udah then “OK” atau kalo saya milih “Paste” kalo pengin njalanin dari Sintax SPSS

******************************************************************************

INTERPRETASI OUTPUT SPSS

dari sekian banyak tampilan output, yang paling penting saya cari dulu adalah:

Tabel “KMO and Bartlett’s Test”
saya musti pastikan nilai “Kaiser-Meyer-Olkin Measure of Sampling Adequacy” > 0.5

Tabel “Total Variance Explained”
saya lihat banyak component yang ‘Total’ Initial Eigenvalues-nya > 1 ?
dan “Cumulative %” variance yang diterangkan oleh komponen-komponen itu berapa %?

Grafik Scree Plot
Saya cari bengkokan radikal ada di titik mana, terus saya hitung berapa titik yang ada sebelum bengkokan radikal itu?
di situ mewakili perkiraan banyak factor yang berbeda
(analisis pake Scree Plot ini biasanya subjective, jadi sering saya nggak make ini)

Table “Rotated Component Matrix”
ini tabel terpenting dari semua tabel output…
akan terlihat semua items akan mengelompok pada berapa Component/Factor? dan benarkah tiap-tiap item pada kelompok factor yang dimaksudkan?

dari sinilah kita bisa menjustifikasi bahwa Item-Item Pertanyaan kita Valid secara Construct atau memenuhi “Construct Validity”!

********************

Selanjutnya item2 tersebut siap untuk di uji Reliability nya di Menu “Analyze” > “Scale” > “Reliability
item-item diuji berdasarkan nilai reliability tiap factor ya..bukan construct! (contoh: item-item pertanyaan “Normative Social Influence” bukan digabung jadi satu semua item dibawah “Social Influences”..

Dan Nilai ideal Cronbach Alpha-nya minimal 0.7
kalo diantara 0.6-0.7 masih bisa diterima (referensi di thesis saya ada :) )
kalo dibawah 0.6 dan kebetulan item pertanyaan yang dianalisis kurang dari 20 maka lihat nilai Mean Inter-Items (nilai optimal musti antara 0.2-0.4) (Briggs & Cheek 1986) dan atau nilai “Corrected Item-Total Correlation” untuk masing-masing item > 0.3 (Pallant 2005)

Done!

About these ads

Responses

  1. [...] Lalu…faktor-faktor yang saya temukan saya kelompokkan berdasarkan Faktor Utama (salient beliefs) dari model acuan saya. Naaah..justifikasi apa yang memastikan pengelompokkan variable-variable itu benar? Justifikasinya bisa mempergunakan model prominent sebelumnya + pembuktian Statistika dengan menggunakan Factor Analysis (tepatnya Principal Component Analysis atau PCA). Bagaimana menjalankannya dengan SPSS sudah saya ceritakan di SINI [...]

  2. [...] bagaimana melakukan uji Validity dan Factor Analysis serta Reliability saya posting di sini: http://tonyteaching.wordpress.com/2010/10/14/construct-validity-factor-analysis/ Possibly related posts: (automatically generated)Tahapan Survey: Sabar..Rencanakan [...]

  3. maaf pak, boleh tau sumber jurnal nya yg mengatakan cronbach alpha 0.6-0.7 masih dterima. sebab penelitian skripsi sy hasil cronbach alpha nya 0.68.
    trims sebelumnya.
    -maria

    • sorry Maria lama banget br njawab…referensinya bisa baca di Andi Field, 2009 “Discovering Statistics using SPSS” di page 675 dan di Julie Pallant, 2005 “SPSS Survival Manual” page 9…dan NUNNALLY, J., 1978, Psychometric Theory (New York: McGraw Hill)

  4. selamat malam pak tony..
    saya ingin bertanya apabila hasil pre-test saya tidak mencapai convergent validity, langkah apa yang harus saya lakukan?
    apakah saya harus mengubah indikator, atau ada langkah lainnya?
    kalau bisa dengan sumbernya pak..
    thanks sebelumnya

    • Mas Hendro..jika hasil analisis kita nggak valid..ada 2 kemungkinan: alat ukur (pertanyaan)nya yang salah atau data (jawaban respondent) kita yg mungkin banyak “jawaban nggak jujurnya”…nah biasanya kita lihat kejujuran jawaban dr ada/tidaknya outlier, kalo ada dan sangat kontras nilainya bisa data bisa aja tidak diikutkan dalam analisis…tapi jika ternyata datanya bagus (nggak ada outlier), banyaknya data juga cukup, maka kemungkinan pertanyaannya yg musti diubah dan di tes lagi

  5. dalam uji SEM di skripsi saya (tahap model measurement) semua manifest valid tapi CR dan VE less than 0.7 dan 0.5. atau tidak reliable kira2 kenapa ya … logikanya valid pasti reliable, sedangkan hasil riset saya seperti itu. asumsi saya ini mungkin karena nilai residu yang terlalu besar. ada info kenapa? thank u

  6. Selamat siang,

    Saya sedang melakukan survey atas persepsi advantages, disadvantages, dan format penyajian atas suatu teknologi informasi. atas tiap persepsi saya menggunakan beberapa pernyataan skala likert 5 level (setuju-tdk setuju & sangat penting-tdk penting). tujuan penelitian saya deskriptif explanatory.

    Dalam kuesioner saya jg ingin mencari tahu persepsi 4 kategori user mengenai seberapa penting beberapa sumber informasi keuangan. contoh:
    1. hard copy annual report (skala likert 5: sangat tdk penting s/d sangat penting)
    2. specialist advice s(kala likert 5: sangat tdk penting s/d sangat penting)

    Dan juga ingin mencari tahu persepsi mengenai kualitas informasi. contoh
    1. dapat diandalkan (skala likert 5: tidak setuju s/d sangat setuju)
    2. relevan (skala likert 5: tidak setuju s/d sangat setuju)Dalam hal ini

    perlu tidak ya untuk melakukan uji reliabilitas dan validitas? jika perlu, uji validitas apa yg harus saya gunakan?

    Terimakasih..


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

Categories

Follow

Get every new post delivered to your Inbox.

%d bloggers like this: