Örnekler ve vaka çalışmaları yoluyla geçerlilik değerlendirmesinin gösterimi

İçerik geçerliliği, daha önce tartışıldığı gibi, bir ölçekteki maddelerin ilgilenilen yapıyı gerçekten ve kapsamlı bir şekilde temsil etme derecesi ile ilgilidir. İçerik geçerliliğini göstermek için eğitimsel değerlendirme alanında bir örnek olay incelemesi yapacağız.

Örnek Olay: Lise Öğrencileri İçin Kapsamlı Bir Tarih Testi Geliştirme

Bu vaka çalışmasında eğitimciler lise öğrencilerine yönelik bir tarih testi geliştirmeyi amaçlamaktadır. Amaç, testin öğrencilerin önemli tarihsel olaylar, figürler ve kavramlar hakkındaki bilgilerini kapsamlı bir şekilde değerlendirmesini sağlamaktır.

Madde Oluşturma/Yazma: Süreç, potansiyel test maddelerinin oluşturulmasıyla başlar. Tarih öğretmenleri ve müfredat uzmanlarının da aralarında bulunduğu uzmanlar, çeşitli tarihi dönemleri, bölgeleri ve temaları kapsayan bir soru havuzu oluşturur. Buradaki anahtar, lise tarih müfredatıyla ilgili ve öğrenme hedefleriyle uyumlu öğeler geliştirmektir.

Uzman İncelemeleri: Tarih eğitimcilerinden oluşan bir uzman paneli, oluşturulan maddeleri inceler. Her bir maddenin lise tarih müfredatına uygunluğunu, açıklığını ve temsil edilebilirliğini değerlendirirler. Müfredata uymayan, net olmayan veya önemli tarihsel içeriği yansıtmayan maddeler, revizyon veya kaldırma için işaretlenir.

İçerik Geçerlilik Oranı (CVR): İçerik geçerliliğini ölçmek için uzmanlar her bir maddeyi değerlendirir ve bir CVR puanı atar. Yüksek CVR puanı alan öğeler, lise tarih bilgisini doğru bir şekilde değerlendirmek için gerekli kabul edilirken, düşük puan alan öğeler daha fazla inceleme gerektirebilir.

İçerik geçerliliği değerlendirme süreci, tarih testinin amaçlanan yapıyı, yani lise tarih bilgisini gerçekten temsil etmesini sağlar. Öğrencilerin tarihsel anlayışını etkili bir şekilde ölçen güvenilir bir testle sonuçlanır.

Kriter geçerliliği, bir ölçeğin dış bir kriterle ne kadar iyi korelasyon gösterdiğini veya onu ne kadar iyi tahmin ettiğini değerlendirir. Bu kavramı açıklamak için klinik psikoloji bağlamında bir vaka çalışmasını ele alalım.

Vaka Çalışması: Yeni Bir Depresyon Değerlendirme Ölçeğinin Doğrulanması

Bu durumda araştırmacılar, klinik popülasyonlarda depresif belirtilerin şiddetini değerlendirmek için yeni bir öz bildirim ölçeği geliştirdiler. Kriter geçerliliğini sağlamak için, yeni ölçeklerini köklü bir kriter ölçüsüyle (genellikle klinik görüşme) karşılaştırmaları gerekir.

Veri Toplama: Klinik depresyon tanısı almış bir grup birey çalışmaya dahil edildi. Hem yeni öz bildirim ölçeğini hem de eğitimli klinisyenler tarafından yürütülen bir klinik görüşmeyi doldururlar.

Eşzamanlı Doğrulama: Araştırmacılar, öz bildirim ölçeğinden elde edilen puanlar ile klinik görüşmeden elde edilen puanlar arasındaki korelasyonu hesaplar. Yüksek pozitif korelasyon, yeni ölçeğin klinik görüşmeyle eş zamanlı olduğunu gösterir ve eş zamanlı geçerliliğin kanıtını sağlar.

Tahmine Dayalı Doğrulama: Katılımcıların yeni ölçekteki puanları zaman içinde takip edilir. Araştırmacılar daha sonra ilk değerlendirmedeki puanların, terapötik müdahalelere veya ilaç tedavisindeki değişikliklere duyulan ihtiyaç gibi gelecekteki klinik sonuçları ne ölçüde tahmin ettiğini değerlendiriyor.

Eşzamanlı ve öngörücü doğrulama yöntemleri, yeni depresyon değerlendirme ölçeğinin klinik görüşme sonuçlarıyla korelasyon kurma ve bunları tahmin etme yeteneğini göstererek kriter geçerliliğinin belirlenmesine yardımcı olur.

Yapı geçerliliği, bir ölçme aracının teorik temelleriyle ilgilidir. Bunu kişilik değerlendirmesi alanında bir örnek olay çalışmasıyla açıklayacağız.

Vaka Çalışması: İstihdam Taraması için Kişilik Envanterinin Doğrulanması

Bu senaryoda, bir insan kaynakları departmanı istihdam taramasına yardımcı olacak bir kişilik envanteri geliştirmeye çalışmaktadır. Envanterin iş performansıyla ilgili belirli kişilik özelliklerini doğru bir şekilde değerlendirdiğinden emin olmak istiyorlar.

Madde Oluşturma: Psikologlar ve insan kaynakları uzmanları, iş performansı için önemli olan temel kişilik özellikleriyle teorik olarak bağlantılı bir dizi madde geliştirir. Örneğin maddeler vicdanlılık, uyumluluk ve duygusal istikrar gibi özellikleri değerlendirebilir.

Faktör Analizi: Araştırmacılar envanteri mevcut çalışanların bir örneğine uygular ve envanterin altında yatan yapıyı incelemek için faktör analizini kullanır. Analiz, hedeflenen kişilik özellikleriyle ilgili farklı faktörleri ortaya çıkarabilir ve yapısal geçerliliğin kanıtını sağlayabilir.

Yakınsak ve Iraksak (Ayırt Edici) Geçerlilik: Yapı geçerliliğini daha da artırmak için araştırmacılar, benzer ve farklı kişilik yapılarını değerlendiren köklü kişilik ölçümlerinin yanı sıra yeni envanteri de uyguluyorlar. Aynı özellikleri değerlendiren ölçümlerle yüksek korelasyonlar ve ilgisiz özellikleri değerlendiren ölçümlerle düşük korelasyonlar, yakınsak ve ıraksak geçerliliğin kanıtını sağlar.

İnsan kaynakları departmanı, bu yöntemleri kullanarak kişilik envanterinin teorik olarak temellenmesini ve istihdam taraması için istenen kişilik özelliklerini doğru bir şekilde değerlendirmesini sağlayabilir.