Değerlendirmede öznel yargının söz konusu olduğu durumlarda, değerlendiriciler arası güvenirlik değerli bir yöntemdir. Aynı içeriği veya davranışı değerlendiren iki veya daha fazla değerlendirici veya hakemin uyum derecesini değerlendirir. Yüksek değerlendiriciler arası güvenirlik, farklı değerlendiricilerin tutarlı değerlendirmeler ürettiğini ve bu yargıların farklı değerlendiriciler arasında genellenebilir olduğunu gösterir (Hallgren, 2012).
Değerlendiriciler arası güvenirlik psikoloji, tıp ve eğitim gibi çeşitli alanlarda subjektif değerlendirmelerin gerekli olduğu durumlarda yaygın olarak kullanılmaktadır. Örneğin, klinik bir ortamda, birden fazla sağlık uzmanı bir hastanın semptomlarını bağımsız olarak değerlendirebilir ve bunların değerlendirmeleri, tutarlı teşhisler ve tedavi planları sağlamak için değerlendiriciler arası yüksek güvenilirlik sergilemelidir.
Değerlendiriciler arası güvenilirliği sağlamak için farklı değerlendiriciler aynı içeriği veya davranışı değerlendirir ve daha sonra yargıları karşılaştırılır. Değerlendiriciler arasındaki anlaşma düzeyi, genellikle Cohen'in Kappa'sı veya sınıf içi korelasyon (aynı sınıfta veya kategoride) katsayıları gibi istatistiksel ölçümler kullanılarak ölçülür. Bu istatistikler araştırmacıların, değerlendiricilerin kararları arasındaki fikir birliğinin veya tutarlılığın derecesini ölçmelerine yardımcı olur.
