Di setiap bimbingan skripsi, ada satu pertanyaan yang hampir pasti muncul ketika instrumen kuesioner sudah jadi. “Bu, kenapa harus uji coba ke 30 orang dulu? Kan instrumennya sudah dipakai di jurnal internasional?” Pertanyaan ini wajar. Sebagian orang menganggap pilot test sekadar formalitas sebelum survei sungguhan, semacam tanda centang di daftar kelengkapan proposal.
Coba kita pinjam cara kerja dapur restoran. Sebelum menu baru masuk daftar, koki hampir selalu mencicipi dulu, mengatur ulang bumbu, lalu mencicipi lagi. Resep dari buku terkenal pun bisa terasa asing ketika dimasak dengan kompor, bahan, dan lidah yang berbeda. Pilot test bekerja dengan logika yang mirip. Instrumen mungkin sudah “terbukti” di tempat lain, tetapi belum tentu sudah teruji di tangan responden kita, dengan bahasa kita, dan dengan konteks organisasi kita.
Jadi, apa saja alasannya?
Dugaan awal banyak orang tertuju pada satu jawaban, yaitu karena kuesionernya berbahasa Inggris dan harus diterjemahkan. Dugaan itu benar, tetapi belum lengkap. Ada beberapa alasan yang saling bertumpuk.
Pertama, memastikan terjemahan bekerja, bukan hanya benar. Terjemahan yang akurat secara kamus belum tentu dipahami dengan makna yang sama. Istilah seperti engagement, empowerment, atau gig worker bisa kehilangan nuansanya ketika diterjemahkan langsung. Beaton dkk. (2000) menekankan bahwa adaptasi lintas budaya perlu melewati tahap penerjemahan, penerjemahan balik (back-translation), sintesis, sampai uji coba pemahaman. Brislin (1970) sudah lebih dulu mengusulkan teknik penerjemahan balik sebagai cara memeriksa kesetaraan makna. Pilot test adalah tempat terakhir untuk melihat apakah makna itu sampai ke kepala responden.
Kedua, menguji model konseptual hasil sintesis. Model yang kita susun dari berbagai penelitian terdahulu sering kali belum pernah diuji pada populasi kita. Ketika sebuah konstruk diturunkan dari beberapa sumber, indikatornya bisa saja tumpang tindih atau justru tidak menangkap dimensi yang kita maksud. Pilot test membantu melihat apakah item-item itu bergerak bersama sebagaimana dugaan teoritis. Perlu dicatat, dengan 30 responden kita belum bisa menguji model secara penuh. Kita baru bisa melihat sinyal awal, dan itu sudah sangat berguna untuk mengurangi kesalahan besar di survei utama.
Ketiga, mengukur reliabilitas awal. Nilai Cronbach’s alpha dan korelasi item total yang terkoreksi memberi gambaran awal apakah item-item dalam satu konstruk konsisten (Cronbach, 1951; Nunnally & Bernstein, 1994). Angka ini belum final, tetapi cukup untuk memberi tanda item mana yang perlu diperiksa ulang.
Keempat, menguji hal-hal teknis yang sering terlewat. Ini mencakup panjang waktu pengisian, urutan pertanyaan, skala yang membingungkan, petunjuk yang kurang jelas, atau pola jawaban yang seragam (straight-lining). Masalah seperti ini tidak selalu tampak di atas kertas, tetapi langsung terlihat ketika seorang responden berhenti di tengah dan bertanya, “Yang ini maksudnya bagaimana, Bu?”
Jadi jawabannya: ya, terjemahan adalah salah satu alasan, dan model sintesis juga alasan yang kuat. Namun pilot test lebih tepat dipahami sebagai jembatan antara desain konseptual di meja kerja dan realitas di lapangan.
Bagaimana cara ilmiahnya?
Pilot test yang baik bukan sekadar membagikan kuesioner lalu melihat hasilnya. Ada urutan yang biasanya diikuti.
Tahap 1: Validitas isi melalui panel ahli. Libatkan tiga sampai lima pakar yang memahami topiknya. Mereka menilai apakah setiap item relevan dengan konstruk dan jelas maknanya. Hasilnya bisa dihitung dengan koefisien seperti Aiken’s V (Aiken, 1985) atau content validity index (CVI). Tahap ini sering diabaikan, padahal di sinilah banyak item bermasalah pertama kali tertangkap.
Tahap 2: Penerjemahan dan penerjemahan balik. Dua penerjemah bekerja secara terpisah, lalu hasilnya dikembalikan ke bahasa asal oleh penerjemah yang berbeda. Perbedaan makna dibahas bersama dan diselesaikan dalam rapat rekonsiliasi (Beaton dkk., 2000; Sousa & Rojjanasrirat, 2011).
Tahap 3: Wawancara kognitif. Ini tahap yang paling sering memberi kejutan. Sekitar lima sampai sepuluh calon responden diminta membaca item, lalu menjelaskan dengan kata-kata sendiri apa yang mereka pahami. Teknik think-aloud dan probing yang dijelaskan Willis (2005) membantu kita melihat jarak antara makna yang kita maksud dan makna yang ditangkap responden. Masalah kosakata, ambiguitas, dan asumsi budaya biasanya muncul di sini.
Tahap 4: Uji lapangan terbatas. Sekitar 30 responden dari populasi yang mirip dengan sampel utama, tetapi sebaiknya bukan bagian dari sampel utama. Ukuran 30 bukan angka sakral. Julious (2005) menyarankan sekitar 12 responden per kelompok sebagai aturan praktis untuk pilot, sedangkan Hertzog (2008) menunjukkan bahwa ukuran pilot perlu disesuaikan dengan tujuan analisisnya. Untuk pilot yang bertujuan mengecek reliabilitas dan keterbacaan, 30 sudah masuk akal. Untuk analisis faktor yang lebih serius, angkanya perlu ditambah.
Tahap 5: Analisis data pilot. Beberapa hal yang biasanya diperiksa:
- Korelasi item total yang terkoreksi, dengan ambang umum sekitar 0,3 (Nunnally & Bernstein, 1994).
- Cronbach’s alpha, dengan ambang 0,7 sebagai patokan awal untuk penelitian eksploratif (Nunnally, 1978).
- Distribusi item, misalnya kemencengan (skewness) dan keruncingan (kurtosis), untuk melihat apakah jawaban terkonsentrasi di satu ujung skala.
- Analisis faktor eksploratori bila jumlah data memungkinkan. Dengan 30 responden hasilnya perlu dibaca sangat hati-hati, dan lebih tepat dianggap sebagai indikasi kasar.
Untuk PLS-SEM, perlu dicatat bahwa kebutuhan sampel utama tidak sama dengan pilot. Kock & Hadaya (2018) membahas pendekatan inverse square root untuk memperkirakan ukuran minimum, tetapi itu dipakai untuk studi utama, bukan untuk uji coba awal.
Tahap 6: Revisi dan dokumentasi. Setiap perubahan item sebaiknya dicatat beserta alasannya. Catatan ini penting untuk laporan penelitian dan memudahkan pembaca menilai proses pengembangan instrumen (Sousa & Rojjanasrirat, 2011).
Dalam praktiknya, pilot test yang dilewati hampir selalu meninggalkan jejak. Biasanya muncul di tahap analisis: item dengan muatan rendah, alpha yang tidak stabil, atau jawaban yang menumpuk di satu kategori. Ketika masalah itu ditemukan setelah survei utama selesai, perbaikannya jauh lebih mahal daripada perbaikan di awal. Pilot test memang tidak menjamin hasil penelitian sempurna, tetapi ia memperkecil peluang kita kehilangan data karena instrumen yang tidak dipahami.
Kembali ke pertanyaan di awal. Mengapa harus uji coba ke 30 orang? Karena instrumen yang baik lahir dari proses, bukan dari asal-usul jurnalnya saja. Terjemahan perlu diuji maknanya, model sintesis perlu diuji sinyalnya, dan proses pengisian perlu diuji kenyamanannya. Tiga puluh responden mungkin tidak cukup untuk membuktikan segalanya, tetapi cukup untuk menemukan kesalahan yang paling mahal jika baru ketahuan nanti.
Daftar Referensi
Catatan keyakinan: referensi di bawah adalah karya klasik yang saya kenal baik. Nomor halaman dan detail edisi sebaiknya dicek ulang sebelum dicantumkan di naskah final.
- Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131–142. (keyakinan tinggi)
- Beaton, D. E., Bombardier, C., Guillemin, F., & Ferraz, M. B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25(24), 3186–3191. (keyakinan tinggi)
- Brislin, R. W. (1970). Back-translation for cross-cultural research. Journal of Cross-Cultural Psychology, 1(3), 185–216. (keyakinan tinggi)
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16(3), 297–334. (keyakinan tinggi)
- Hertzog, M. A. (2008). Considerations in determining sample size for pilot studies. Research in Nursing & Health, 31(2), 180–191. (keyakinan tinggi)
- Julious, S. A. (2005). Sample size of 12 per group rule of thumb for a pilot study. Pharmaceutical Statistics, 4(4), 287–291. (keyakinan sedang, cek halaman)
- Kock, N., & Hadaya, P. (2018). Minimum sample size estimation in PLS-SEM: The inverse square root and gamma-exponential methods. Information Systems Journal, 28(1), 227–261. (keyakinan sedang, cek halaman)
- Nunnally, J. C. (1978). Psychometric Theory (2nd ed.). McGraw-Hill. (keyakinan tinggi)
- Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory (3rd ed.). McGraw-Hill. (keyakinan tinggi)
- Sousa, V. D., & Rojjanasrirat, W. (2011). Translation, adaptation and validation of instruments or scales for use in cross-cultural health care research: A clear and user-friendly guideline. Journal of Evaluation in Clinical Practice, 17(2), 268–274. (keyakinan tinggi)
- Van Teijlingen, E. R., & Hundley, V. (2001). The importance of pilot studies. Social Research Update, 35. (keyakinan tinggi)
- Willis, G. B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Sage. (keyakinan tinggi)