Илюстрация на оценката на валидността чрез примери и казуси

Валидността на съдържанието, както беше обсъдено по-рано, се отнася до степента, в която елементите в дадена скала действително и изчерпателно представят интересуващия ни конструкт. За да илюстрираме валидността на съдържанието, ще разгледаме казус от областта на оценяването в образованието.

Проучване на случай: Разработване на цялостен тест по история за ученици от гимназията

В този казус преподавателите имат за цел да разработят тест по история за ученици от гимназията. Целта е да се гарантира, че тестът оценява изчерпателно знанията на учениците за ключови исторически събития, личности и понятия.

Генериране на продукта: Процесът започва с генериране на потенциални тестови задачи. Експерти, включително учители по история и специалисти по учебни програми, създават набор от въпроси, които обхващат различни исторически епохи, региони и теми. Ключът тук е да се разработят въпроси, които са свързани с учебната програма по история в гимназията и са съобразени с целите на обучението.

Експертни оценки: Експертна група, съставена от преподаватели по история, преглежда генерираните елементи. Те оценяват уместността, яснотата и представителността на всеки елемент по отношение на учебната програма по история в средното училище. Елементите, които не съответстват на учебната програма, са неясни или не представят значително историческо съдържание, се отбелязват за преразглеждане или премахване.

Коефициент на валидност на съдържанието (CVR): За да се определи количествено валидността на съдържанието, експертите оценяват всеки елемент и му поставят оценка CVR. Елементите, които получават високи оценки по CVR, се считат за съществени за точното оценяване на знанията по история в гимназията, докато тези с ниски оценки може да изискват допълнителна проверка.

Процесът на оценяване на валидността на съдържанието гарантира, че тестът по история действително представя предвидения конструкт - знания по история в гимназията. В резултат на това се получава надежден тест, който ефективно измерва историческите познания на учениците.

Валидността на критерия оценява доколко добре скалата корелира с външен критерий или го предсказва. Нека разгледаме един казус в контекста на клиничната психология, за да илюстрираме тази концепция.

Проучване на случай: Утвърждаване на нова скала за оценка на депресията

В този случай изследователите са разработили нова самооценъчна скала за оценка на тежестта на депресивните симптоми в клинични популации. За да установят критерийната валидност, те трябва да сравнят новата си скала с утвърдена критерийна мярка - обикновено клинично интервю.

Събиране на данни: За целите на проучването се набира група от лица с диагностицирана клинична депресия. Те попълват както новата скала за самооценка, така и клинично интервю, проведено от обучени клиницисти.

Едновременно валидиране: Изследователите изчисляват корелацията между резултатите, получени от скалата за самооценка и клиничното интервю. Високата положителна корелация показва, че новата скала съвпада с клиничното интервю, което е доказателство за едновременна валидност.

Предсказващо валидиране: Резултатите на участниците по новата скала се проследяват във времето. След това изследователите оценяват степента, в която резултатите от първоначалната оценка предсказват бъдещи клинични резултати, като например необходимостта от терапевтични интервенции или промени в медикаментите.

Методите за паралелно и прогнозно валидиране помагат да се установи критерийната валидност на новата скала за оценка на депресията, като демонстрират способността ѝ да корелира с резултатите от клиничното интервю и да ги предсказва.

Валидността на конструкцията се отнася до теоретичните основи на инструмента за измерване. Ще илюстрираме това с казус от областта на оценката на личността.

Проучване на случай: Утвърждаване на личностен инвентар за скрининг при наемане на работа

В този сценарий отдел "Човешки ресурси" се стреми да разработи личностен опис, който да подпомогне проверката за наемане на работа. Те искат да гарантират, че описът точно оценява специфични личностни характеристики, които са от значение за изпълнението на работата.

Генериране на продукта: Психолози и експерти по човешки ресурси разработват набор от елементи, които са теоретично свързани с ключови личностни характеристики, важни за изпълнението на работата. Например, елементите могат да оценяват черти като добросъвестност, угодливост и емоционална стабилност.

Факторен анализ: Изследователите прилагат инвентаризацията на извадка от настоящи служители и използват факторен анализ, за да изследват основната структура на инвентаризацията. Анализът може да разкрие отделни фактори, свързани с целевите личностни черти, което предоставя доказателства за конструктивна валидност.

Конвергентна и дискриминантна валидност: За да установят допълнително валидността на конструкта, изследователите прилагат новия опис заедно с утвърдени личностни мерки, които оценяват сходни и различни личностни конструкти. Високите корелации с мерки, оценяващи едни и същи черти, и ниските корелации с мерки, оценяващи несвързани черти, са доказателство за конвергентна и дискриминантна валидност.

Чрез използването на тези методи отделът по човешки ресурси може да гарантира, че техният личностен опис е теоретично обоснован и точно оценява желаните личностни черти за проверка при наемане на работа.