Част II. Методи за провеждане на мета-анализ

В общия случай мета-анализът започва с формулиране на изследователските въпроси. Изследователските въпроси трябва да бъдат проверени въз основа на публикуваните проучвания. Публикуваните проучвания се нуждаят от достатъчно информация, за да се изчислят размерите на ефекта, което е от съществено значение за метаанализа. Създават се изчерпателни критерии за включване и изключване, за да се определи кои проучвания отговарят на изискванията за включване в метаанализа. Данните могат да се подложат на статистически анализ, след като се съберат размерите на ефекта и характеристиките на изследванията. Следващият етап включва тълкуване на резултатите и изготвяне на доклади за споделяне на констатациите (Cheung, 2015 г.).

Провеждането на метаанализ включва предварително определени критерии за допустимост, променливи на експозицията, първични и вторични резултати от интерес и план за анализ. Важни са правилните индикации и методологии, свеждането до минимум на риска от отклонения и избягването на подвеждащи заключения. Метаанализът е признат за оптимален подход за обективна оценка и проучване на доказателствата, отнасящи се до конкретен въпрос, като предоставя високо ниво на доказателства и допринася за развитието на знанието.

Sen и Yildirim (2022) организират задължителния процес на мета-анализ в следните стъпки:

• Формулиране на изследователския въпрос и екип: Процесът започва с формулиране на ясен изследователски въпрос и сформиране на изследователски екип.
• Проектиране и изпълнение на стратегия за търсене: Стратегията за систематично търсене е от решаващо значение за намирането на всички налични доказателства от публикувани и непубликувани източници.
• Проверка и извличане на данни: Трябва да се вземе решение за избор на подходящи проучвания от събраните проучвания. Извършва се скрининг на подходящите проучвания и се извличат данни от тях.
• Критична оценка и анализ: Трябва да се извърши контрол на качеството/анализи на чувствителността. Всяко проучване следва да бъде критично оценено за потенциални пристрастия, а доказателствата следва да бъдат оценени и анализирани.
• Размерът на ефекта за избраните проучвания трябва да бъде определен и изчислен поотделно за всяко проучване.
• Данните трябва да се обединят и е важно да се изчисли обобщена статистика, както и доверителен интервал.
• Трябва да се направят допълнителни анализи (хетерогенност, отклонение от публикациите).
• Трябва да се извърши анализ на модераторите за модераторните променливи.
• Интерпретиране на резултатите и правене на изводи въз основа на тях.
• Докладване и разпространение на резултатите: Стъпките, посочени по-горе, трябва да бъдат докладвани заедно с резултатите от мета-анализа.

Фигура 3 представя началната фаза на разработване на въпрос и методично търсене на подходящи проучвания в първичната литература (част I), както и фазата, в която събирате данни от публикациите, извършвате статистически анализи и представяте и обяснявате своите констатации (част II).

Методите за мета-анализ напреднаха значително през последните няколко години (Irsova et al., 2023). Извършването на мета-анализ концептуално не се различава от емпиричното изследване, защото понякога статистическите проблеми ви затрудняват. Въпреки това изследователите обикновено проектират проучването с оглед на статистическите си способности или следват установен дизайн, който им позволява да повторят стандартен аналитичен подход. Разликата между доброто и лошото емпирично изследване често се свежда до това дали се задава интересен въпрос и до качеството и количеството на данните, събрани с помощта на безпристрастна техника на извадка. Същите принципи важат и за мета-анализа, при който наскоро разработените техники позволяват да се направят солидни заключения, дори когато са изправени пред предизвикателства в основната емпирична литература (Irsova et al., 2023).

Въпреки линейния вид на очертанието на процеса (фиг. 3), често има несигурност, която води до повтаряне на някои стъпки. По време на част I изследователят може да сметне за необходимо да повтори няколко цикъла на търсене на обхват, коригиране на въпросите на проучването и промяна на протокола и критериите за търсене, докато не се увери, че цялостното търсене ще даде желаните резултати. Кратко описание на това, което включва всеки етап от всеки етап от процеса.

Когато разработвате изследователски въпрос за систематичен преглед или мета-анализ, е важно да се уверите, че той е осъществим, интересен, нов, етичен и подходящ. За да се изследва една теоретична хипотеза, трябва да има проучвания, които използват експерименти за проверка на причинно-следствената връзка (Tawfik et al., 2019). Изключително важно е да се прави разлика между изследванията, които съобщават за наблюдавана връзка, и тези, които идентифицират връзки чрез експериментална манипулация. Комбинирайте наблюдателни и експериментални данни, за да проверите последователна връзка между променливите. Обмислете обхвата на обобщението и размера на набора от данни, с който можете да работите. Съсредоточаването върху въпроси в рамките на вашата област на компетентност е полезно за по-достъпни изследвания. Основните въпроси обикновено се въртят около средния ефект, разликите от нулевото очакване и обяснението на вариациите в резултатите между различните изследвания. Груповите проучвания се основават на изследваната популация, използваната методология, начина на измерване на резултата и изходната база за сравнение. Въпреки това трябва да се избягват много модератори, тъй като това може да доведе до ниска статистическа мощ. И накрая, от решаващо значение е да сте наясно с обърканите модератори и да решите как да ги адресирате в анализите си. Това не е просто предложение, а отговорност, която е свързана с провеждането на изследвания. Усърдието в този аспект гарантира точността и валидността на резултатите от вашите изследвания. в анализите си, тъй като това гарантира точността и валидността на резултатите от вашите изследвания (Koricheva et al., 2013).

След като сте формулирали въпросите си, трябва да съставите протокол, в който (1) официално да посочите въпросите, които възнамерявате да зададете, (2) да определите обективна стратегия за търсене и (3) да установите критерии за включване в проучването. (Davis et al., 2021; Gurevitch et al., 2018; Koricheva et al., 2013).

Уточняването на въпросите, които възнамерявате да зададете, включва конкретизиране на потенциалните източници на хетерогенност в размера на ефекта. (Côté & Jennions, 2013).

Определянето на обективна стратегия за търсене предполага да не насочвате събирането на данни към съответните статии, които вече познавате; в противен случай това може да повлияе на резултата, тъй като често е по-лесно да се запомнят статиите със значими резултати. На първо място, това включва изготвяне на списък на електронните бази данни, в които ще търсите, и на термините за търсене, които ще използвате. На второ място, една обективна стратегия за търсене ще включва решение за това колко усилия да се изразходват за търсене в "сивата литература". Например, ще пишете ли на колеги с молба за непубликувани данни и ако да, на кого и защо?

След като сте извършили търсене и сте съставили списък с потенциални документи, трябва да установите критериите за включване на проучването. Тези критерии често са доста очевидни и включват следното:

1. Влиза ли проучването в обхвата на вашите въпроси?
2. Съответства ли методологията на начина, по който е дефиниран въпросът ви?
3. Ако е така, дали тя е била достатъчно голяма или продължителна?
4. Съдържа ли проучването данни, които могат да бъдат извлечени, т.е. има ли достатъчно информация, за да се извлече размерът на ефекта, неговата дисперсия и използваният размер на извадката?
5. Критериите ви за включване понякога трябва да отчитат качеството на проучването. Това е много по-трудно за оценка от критериите, които изброихме по-горе, но може да бъде също толкова важно.

Струва си обаче да се отбележи, че както и при първичните изследвания, вашият протокол за търсене в литературата и извличане на размера на ефекта почти сигурно ще бъде променен в хода на работата. Следователно в много отношения окончателният ви протокол ще описва по-скоро това, което сте направили, отколкото това, което сте искали да направите в идеалния случай. Първо, трябва да разкажете на читателя как сте събрали данните си. Така, както и при първичните изследвания, предоставяте на читателя достатъчно информация за събирането и анализа на данните, за да може прегледът ви да бъде повторен и актуализиран в бъдеще. Второ, трябва да разполагате с протокол, който да ви принуждава непрекъснато да оценявате дали извадката ви е необективна. Протоколът увеличава обективността, с която събирате данните, но той не трябва да ви заслепява за реалността, че процесът на метаанализ включва множество субективни решения; те са най-очевидни, когато се опитвате да разшифровате резултатите от даден документ и да решите дали можете да извлечете необходимите данни за вашия синтез (Côté & Jennions, 2013). Ако данните се събират от повече от едно лице, добре описаният и изпитан протокол е много важен, за да се осигури еднаквост при извличането на данни и решенията за кодиране на модераторите.

Понякога, ако сте сигурни, че повечето проучвания ще бъдат ограничени до няколко ключови източника, можете да търсите само в ограничен набор от списания. По този начин се правеха почти всички обобщения на изследвания преди онлайн базите данни. Вече никой не използва този подход поради експлозията на достъпността на данните (поне за тези, които имат достъп до научни списания). Въпреки това, въпросът дали да се задълбава в непубликувани или "сиви" източници остава важен (Gurevitch et al., 2018; Koricheva et al., 2013).

Не забравяйте, че по време на търсенето на обхват се опитвайте да намерите само някои проучвания или да получите предварителна оценка на средния ефект. Основните цели са:

1. Помислете за оценка на количеството налични данни, за да ви помогне да вземете информирано решение дали да разширите или да фокусирате въпросите на проучването си. Това наистина може да има значение за вашето изследване.
2. Разберете кои са факторите, които се различават в отделните проучвания и които могат да се определят като потенциални модератори.
3. Вземете решение по какви критерии дадено проучване се счита за несъществено (например, ако при търсенето са идентифицирани 2000 статии, които трябва да се прочетат изцяло, ще трябва да вземете някои решения за изключване въз основа на заглавието, резюмето и мястото на публикуване);
4. Разберете на какви критерии трябва да отговаря всяко потенциално подходящо проучване, преди да се опитате да извлечете размера на ефекта.
5. Определете формата на формуляра за извличане на данни/пространствения лист и
6. Вземете решение за най-подходящите мерки за резултатите (размер на ефекта).

Последното решение често зависи от това дали данните се отчитат като връзка между две непрекъснати променливи, като в този случай размерът на ефекта r е най-популярният избор в екологията и еволюцията. Алтернативно, решението може да включва сравняване на две групи, като в този случай има редица възможности в зависимост от това дали променливата на отговора е дискретна или непрекъсната. Понякога е най-просто да се проведат отделни мета-анализи, като се разделят изследванията въз основа на най-подходящия размер на ефекта.

Провеждането на първоначално търсене е важна стъпка, която потвърждава предложената концепция, предотвратява дублирането на вече обсъждани теми и потвърждава достатъчния брой статии за анализ. Този процес не е просто формалност, а значителен принос към областта (Tawfik et al., 2019).

След като сте установили протокола и обхвата, следващата стъпка е щателно пълно търсене. То ще доведе до многобройни проучвания, но много от тях ще бъдат отхвърлени като неуместни, като се използват критерии, основани на заглавието, резюмето или мястото на публикуване на проучването. Останалите "потенциално релевантни" проучвания трябва да бъдат прочетени по-внимателно и разделени на релевантни и нерелевантни. Този процес може да доведе до значително намаляване на броя на документите на всяка стъпка. Бъдете подготвени за това, че голям брой (често по-голямата част) от проучванията, които първоначално сте определили като подходящи, няма да бъдат подходящи за метаанализа. Последната стъпка е да се извлече необходимата информация (размери на ефекта и модератори) от съответните документи. От решаващо значение е финализираната таблица с данни, която гарантира, че цялата информация, която искате да извлечете, е включена.

От съществено значение е да се разбере компромисът между натрупването на купчина подходящи документи и връщането към тях за извличане на размера на ефекта, след като имате готова таблица с данни, и извличането на данни от даден документ, докато го четете. Предимството на първото е, че можете да сте по-сигурни, че електронната таблица съдържа цялата информация, която искате да извлечете. Предимството на второто е, че можете да прочетете статията в дълбочина веднъж.

Разбирането на това как точно е планирано дадено проучване и кои съответни данни са необходими за определяне на размера на ефекта може да бъде изненадващо сложно. Доброто водене на бележки е от съществено значение за този процес и често не е по-лесно при второ четене. Ако сте сигурни, че добре разбирате основните характеристики на съответните проучвания, можете да обмислите проектирането на база данни и извличането на данни веднага щом класифицирате даден документ като подходящ. Уточнението, разбира се, е, че може да се наложи да се върнете към тези документи, ако по-късно откриете, че трябва да кодирате допълнителен термин на модератора или да коригирате критериите за включване на проучването. Извличането на информация при първоначално четене е най-възможно, когато става въпрос за проучвания, които следват стриктно специфичен и общоприет експериментален дизайн.

Papakostidis и Giannoudis (2023 г.) обръщат внимание на факта, че въпреки последната тенденция за подобряване на качеството през последните години, в публикуваните понастоящем мета-анализи са открити методологични недостатъци. Системните прегледи и метаанализите трябва да отговарят на строги и прозрачни правила, като например насоките PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) (вж. фиг. 4), гарантиращи възпроизводимостта и надеждността на процеса на търсене, надеждността и валидността на техните резултати и яснотата на докладването. Тези насоки очертават основните стъпки, за да се гарантира спазването на всички горепосочени изисквания, включително прозрачното докладване на стратегията за търсене, процеса на подбор на проучвания, извличането на данни и синтеза на данни:

1. Протоколът на проспективното изследване е в основата на систематичния преглед и мета-анализа. Ролята му за намаляване на отклоненията и осигуряване на прозрачност не може да бъде надценена. Този добре структуриран и кратък документ трябва да описва адекватно всички стъпки в процеса на изследване, включително потенциалните промени в методологията на систематичния преглед. По този начин той обосновава тези промени и предотвратява внасянето на пристрастия при подбора на данните за прегледа.
2. Процесът на търсене не е просто стъпка, а гръбнакът на систематичния преглед и мета-анализа. Неговият стабилен и възпроизводим характер гарантира включването на всички релевантни данни от допустимите проучвания. Това включва търсене в множество електронни бази данни и референтни списъци, като от съществено значение са бази данни като PubMed, EMBASE или SCOPUS. Трябва да се разгледат и допълнителни бази данни като Cochrane, Web of Science и ProQuest. Струва си също така да се идентифицира потенциално значима сива литература чрез търсене на резюмета на материали от конференции. Въпреки това, неадекватните стратегии за търсене и езиковите ограничения могат да ограничат броя на допустимите проучвания, което води до значително отклонение от публикациите. Това отклонение е възможно дори при най-изчерпателната стратегия за търсене, тъй като се очаква да не бъдат публикувани цели проучвания или всички резултати от дадено проучване.
3. Вътрешна валидност на първичните проучвания: Терминът "вътрешна валидност" се отнася до способността на дадено проучване да установи надеждна причинно-следствена връзка между лечението и резултата чрез ограничаване на различни смущаващи фактори. Това е изключително важен аспект, тясно свързан с риска от отклонение и методологичното качество на включените проучвания. Разработени са няколко инструмента за оценка на риска от отклонение в първичните проучвания, както за RCT (рандомизирани контролирани проучвания), така и за наблюдателни проучвания.
4. Последното издание на инструмента за оценка на риска от пристрастие на Кохрейн колаборация (RoB-2)[1] предоставя рамка за оценка на риска от пристрастие в резултатите от РКИ. Той е структуриран в пет области на потенциално въвеждане на отклонения в резултатите от проучването: (1) процес на рандомизация; (2) отклонения на предвидените интервенции; (3) липсващи данни за резултатите; (4) измерване на резултатите; (5) подбор на докладваните резултати (Sterne et al., 2019). В рамките на всяка област на пристрастие специфични сигнални въпроси имат за цел да получат информация, свързана с оценката на риска от пристрастие[2] . Инструментът включва алгоритми, които съпоставят отговорите на тези сигнални въпроси с предложената оценка на риска от пристрастие за всяка област. Възможните оценки на риска от пристрастие са: (1) нисък риск от пристрастие, (2) известни опасения и (3) висок риск от пристрастие. Инструментът е представен като "светофарна уредба". Инструментът "Риск от пристрастия при нерандомизирани проучвания на интервенции" (ROBINS-I) очертава седем области на потенциална поява на пристрастия (вж. таблица 3): две във фазата "преди интервенцията", една във фазата "при интервенцията" и четири във фазата "след интервенцията".
5. Анализ на данните и докладване: Въпреки че комбинирането на данни от отделни проучвания увеличава размера на извадката и статистическата мощ, от решаващо значение е да се изследва наличието на статистическа хетерогенност. Това несъответствие в ефекта от лечението в рамките на включените проучвания може да бъде подвеждащо и да намали доверието в заключенията. Количественото определяне на статистическата хетерогенност обикновено се основава на специфични статистически тестове (Higgins-I, Q-тест на Кокран). Авторите на метаанализи трябва да изследват наличието на статистическа хетерогенност чрез подходящо планиране и извършване на анализи на подгрупите и чувствителността въз основа на априорни хипотези в началото на протокола на изследването. Такива хипотези включват изследване на резултатите от обобщения анализ на потенциално по-хомогенни подгрупи от данни (подгрупи) въз основа например на клиничните характеристики на извадките, методологичните въпроси, дизайна на проучването и географския произход на проучванията. За получаване на оценки на комбинираните ефекти се използват два различни статистически модела. Изборът на подходящ статистически модел за обединяване на данните зависи от наличието на хетерогенност между проучванията. Не са определени обаче ясни гранични стойности на степента на хетерогенност, които да налагат избора на един модел пред другия. От друга страна, статистическите тестове за хетерогенност често са недостатъчно ефективни за откриване на значителна хетерогенност:

• Моделът с фиксирани ефекти предполага един-единствен действителен размер на ефекта за всички проучвания, представен от сборната оценка на ефекта. Този модел обикновено се използва, когато няма хетерогенност в метаанализа и когато има много проучвания с големи размери на извадките. В такива случаи има увереност, че тестът за хетерогенност е достатъчно мощен, за да открие значителни разлики. Резултатите, получени при използването на този модел, обикновено са с по-тесни доверителни интервали. Ако има опасения за хетерогенност, моделът със случайни ефекти (DerSimonian & Kacker, 2007) се счита за по-добър избор. При него се получават по-широки доверителни интервали около точковите оценки и е по-предпазлив вариант за анализ. В областта на медицината, където се очаква истинският ефект да варира в различните популации, по-честото използване на модела на случайните ефекти е по-подходящо. Използването на модела с фиксирани ефекти е разумно при метаанализи, които включват достатъчно голям брой проучвания с подходящи размери на извадките и при които все още не е открита статистическа хетерогенност. И накрая, качеството на обобщените доказателства, получени от метаанализа, трябва да се оценява, като се използва прозрачната рамка на инструментите GRADE, AMSTAR или PRISMA (вж. фиг. 4). Те оценяват доверието в оценката на ефекта за всеки резултат от интерес. Неизползването им в метаанализите може да доведе до липса на прозрачност и потенциално да доведе до подвеждащи заключения.
• Моделът на случайните ефекти предполага, че действителната оценка на ефекта се различава между оригиналните проучвания поради различията в клиничните им характеристики. Следователно комбинираната оценка на размера на ефекта, генерирана въз основа на този модел, представлява средна оценка на оценките на всички отделни проучвания.
• Анализ на резултатите от мета-анализ. От съществено значение е да се анализират резултатите от мета-анализа, като се отчита тяхната значимост. Статистически значимото отклонение не е значимо, ако му липсва значимост. Освен това всяка разлика може да постигне статистическа значимост при достатъчно голям размер на извадката. И обратно, когато се изчислява несигнификантна обща оценка на ефекта, от съществено значение е внимателно да се прецени дали това, което се счита за значимо, попада в доверителния интервал на тази оценка.
• Важна стъпка е потвърждаването на резултатите. Центрове за доказателства, като например CEBM в Оксфордския университет, който е известна институция в тази област, разработват важни инструменти за оценка. Те са от съществено значение за установяване на надеждността, научната значимост и приложимостта на събраните доказателства от метаанализа. Със своите пет ключови въпроса CEBM е надежден метод за определяне на валидността на резултатите от проучването.

[1] https://methods.cochrane.org/bias/resources/rob-2-revised-cochrane-risk-bias-tool-randomized-trials

[2] Вж. таблица 1 в https://www.bmj.com/content/366/bmj.l4898.long.

Higgins et al. (2023) разглеждат четири ключови момента в това отношение:

1. Като автори на прегледи изследователите вероятно ще се сблъскат с различни видове данни за резултатите във вашата работа. Сред тях са дихотомни, непрекъснати, ординални, данни за брой или честота и данни за времето до събитието. Запознавайки се с тези типове, можете да подобрите разбирането си за изследователския процес и да се почувствате по-уверени.
2. Когато се сравняват данни за резултатите между две групи за интервенция ("измерване на ефекта"), има много методи за всеки тип данни. При сравняване на бинарни резултати може да се използва съотношение на риска, съотношение на шансовете, разлика в риска или брой на необходимите за лечение. Непрекъснатите резултати, от друга страна, могат да бъдат сравнявани с помощта на средна разлика или стандартизирана средна разлика. Това разнообразие от методи обогатява разбирането на изследователите за процеса на изследване.
3. Мерките за ефекта биват два вида: мерки за съотношение (съотношение на риска и съотношение на шансовете) или мерки за разлика (например средна разлика и разлика в риска). Мерките за съотношение обикновено се анализират, като се използва логаритмична скала.
4. Информацията, получена от изследователски доклади, може да изисква преобразуване в последователен или използваем формат за анализ.

Трудно е да се определи броят на проучванията, необходими за един метаанализ. Факторите, които влияят върху решението, могат да включват специфичен за дисциплината контекст, модели с фиксирани или случайни ефекти, използвани в анализа, популационни стойности на размера на ефекта и други съображения. (Cheung & Vijayakumar, 2016). Проектирането на база данни е изкуство; добре проектираната база данни може да ви вдъхне чувство на готовност и увереност.

Основните правила са същите като тези за емпиричното изследване; трябва да се уверите, че листът с данни съдържа цялата необходима информация и е подреден логично, така че да е лесен за попълване и да е трудно да се въведат данни на грешното място. Използвайте най-разширените и най-сложно изглеждащи документи, с които разполагате, за да тествате пробно своя лист с данни. Ако той може да се справи с тях, значи сте започнали добре.

Основната разлика между емпиричното изследване и мета-анализа е, че трябва да запишете от кои субекти сте събрали данни и от кои не. Накратко, поддържайте библиографска библиотека с проучвания и обяснете защо някои от тях са били изключени (напр. нерелевантни, липсва критична информация, необходима за удовлетворяване на критериите за включване, не е възможно да се извлече оценка на размера на ефекта и дисперсията).

Подходящият протокол позволява сравнително лесно да се кодира информация за модераторите на изследването. Той осигурява структуриран подход, който опростява процеса и го прави по-лесно управляем. За разлика от това, извличането на големината на ефекта е сред най-трудните части на мета-анализа. То може да доведе до съмнения в себе си, особено по време на първия ви мета-анализ. За да извлечете големината на ефекта, често трябва да вземате субективни решения. Този процес изисква внимателно обмисляне и задълбоченост, за да се гарантира точността на вашия анализ.

И накрая, имайте протокол за работа с проучвания, които отчитат множество размери на ефекта. По-конкретно, ако ефектите от лечението, които са промените в резултата от интерес, дължащи се на лечението, се измерват многократно във времето, един структуриран подход ще ви помогне да определите кои сравнения ще използвате, като ви осигури чувство за ръководство и контрол.

При провеждането на мета-анализи е наложително да имате цялостно разбиране на темата. Това може да означава участие в първични изследвания, изготвяне на изчерпателен литературен обзор или демонстриране на богат педагогически опит. Ако възникне необходимост от съавтор от подобластта, е важно да се привлече сътрудник с подобен опит. Ако има мета-анализ по темата, изследователят е длъжен да обоснове добавената стойност на своя мета-анализ. Това може да зависи от фактори, като например отсъствието на отчитане на пристрастието към публикациите или хетерогенността в първоначалния метаанализ. Самото увеличаване на броя на новите първични проучвания не е достатъчно като обосновка (Irsova et al., 2023).

Освен това е задължително да се покаже значителен методологичен напредък спрямо първоначалния мета-анализ. Повърхностните актуализации е най-добре да се оставят като педагогически упражнения или в сферата на изкуствения интелект. Независимо от това, изключенията от тези насоки могат да бъдат оправдани, когато значителен напредък в изследователските подходи и методологии поставя под съмнение надеждността на предишните метааналитични констатации. Освен това структурните промени в обществата може да са направили предишните размери на ефекта непредставителни.

Въз основа на познанията си по темата съставете списък с пет основни проучвания, които трябва да включите в метаанализа. Може да ползвате голям езиков модел, за да сте сигурни, че сте избрали петте най-важни проучвания. Но внимавайте да не разчитате прекалено много на изкуствения интелект, тъй като настоящите модели често предоставят фактически неверни резултати; винаги проверявайте два пъти и приоритизирайте експертните си познания. След това съставете основната си заявка за търсене с помощта на Google Scholar. Предпочитаме Google Scholar пред други бази данни, тъй като тя включва всички статии, които са се появили онлайн, и ви позволява да прегледате пълния текст на статиите, а не само заглавието, резюмето и ключовите думи. Тази гъвкавост при изготвянето на заявката за търсене ви дава възможност да адаптирате търсенето си към вашите специфични нужди. Използването на една-единствена основна заявка за универсална база данни улеснява други изследователи да възпроизведат вашия метаанализ. Не забравяйте, че алгоритмите на Google Scholar могат да се променят, така че в зависимост от вашата тема може да е полезно да използвате допълнителна база данни, за да подсилите подхода си. Използвайте различни комбинации от ключови думи, използвани в първичните проучвания. Ще разберете, че заявката ви е сравнително добре подготвена, ако петте най-критични първични проучвания, посочени по-горе, са сред първите попадения. Прекарайте няколко дни в прецизиране на заявката (подобряване на процента на високорелевантните първични проучвания, върнати сред първите 50 попадения) и обърнете внимание на правилния синтаксис на търсенето.

Фиг. 4 описва стандарта PRISMA, който можете да използвате, за да направлявате търсенето и подбора си, както и да докладвате резултатите си (Haddaway et al., 2022; Kaufmann & Reips, 2024).

Всички съавтори трябва сами да съберат данните за мета-анализа; това не може да се възлага на научни асистенти. В бъдеще изкуственият интелект (GPT 7?) ще може да помага при изпълнението на тази трудоемка задача. Понастоящем обаче няма алтернатива на авторите на метаанализа, които като специалисти в областта са уникално квалифицирани да преглеждат щателно всяко първично проучване и методично да изграждат набора си от данни ръчно, точка по точка (Irsova et al., 2023).

За разлика от авторите на повечето иконометрични проучвания, метааналитиците не използват съществуващи данни, а създават нови бази данни. Примери за набори от данни за мета-анализ са достъпни на адрес https://www.meta-analysis.cz/.

Най-малко двама съавтори трябва да събират данните независимо един от друг. Този стриктен процес, макар и отнемащ време, е от решаващо значение за гарантиране на надеждността на метаанализа. При ръчното кодиране на проучвания (които често се състоят от десетки страници в PDF формат) могат да се очакват грешки, а събирането на данните от двама експерти позволява лесното идентифициране и коригиране на грешките. Големините на ефектите, събрани за целите на метаанализа, трябва да бъдат съпоставими в качествено и количествено отношение. Това означава, че не само един и същ оценен знак трябва да показва ефект в една и съща посока, но и да е смислено да се сравняват действителните размери на ефектите в първичните проучвания.

Количествено сравнимите размери на ефекта включват корелационни коефициенти, странни съотношения, еластичност, стойности в долари и стандартизирани средни разлики. Регресионните коефициенти обикновено са количествено сравними само с допълнителни трансформации, тъй като различните първични проучвания могат да използват различни мерни единици или функционални форми на независимите и зависимите променливи. Изключение представляват регресиите, при които променливите и от двете страни се използват в логаритми и следователно регресията дава оценени еластичности.

Наложително е да се съберат всички оценки, докладвани в първичните проучвания. Този подход се препоръчва по пет причини (Irsova et al., 2023):

1. Той осигурява цялостен поглед, като гарантира, че нито една информация не е изхвърлена, и премахва необходимостта от субективна преценка. Този всеобхватен подход към събирането на данни дава на изследователите увереност в задълбочеността на техния анализ. Винаги можете да представите метаанализ на съответната подпроба от набора от данни, за да придадете по-голяма тежест на предпочитаните от авторите оценки.
2. Подобен ексклузивен анализ може да потвърди силата на резултатите или да определи отправна точка. Пренебрегването на други оценки обаче е неоправдано дори при втория сценарий.
3. При провеждането на оригинални изследвания обикновено се извършват допълнителни проверки, за да се гарантира точността на констатациите. Понякога самите изследователи смятат, че тези констатации са по-малко надеждни. Като се включат всички констатации, е възможно да се прецени дали "по-лошите" резултати се различават последователно от предпочитаните от авторите.
4. При провеждането на мета-анализ на най-добрите практики все пак е уместно да се даде по-голяма тежест на предпочитаните от авторите резултати. Понякога е трудно да се определи обективно кои резултати са в полза на автора. Събирането и анализирането на всички резултати обаче може да даде възможност на изследователите да вземат информирани решения без необходимост от субективни преценки.

Важно е да проучите всички отклонения и влиятелни точки в данните. Един от методите за това е създаването на диаграма на фунията - диаграма на разпръскване на размера на ефекта и неговата точност. Да предположим, че сте забелязали точки от данни, които значително се отклоняват от основната форма на фунията или пораждат опасения в DFBETA (метод за измерване на влиянието на отделни точки от данни върху регресионния анализ)[1] . В този случай е препоръчително да се направи преглед на първичните проучвания, свързани с тези точки от данни. Този преглед ще помогне да се гарантира, че няма грешки в данните или в първичните проучвания, а също така може да разкрие нюанси в начина на провеждане на проучванията, което прави резултатите им несъпоставими с останалата научна литература. Ако все още има неясноти, обръщането към авторите на първичните проучвания може да внесе яснота. Изключително важно е да се обърне внимание на всички влиятелни или лостови точки, идентифицирани от DFBETA, тъй като те могат да окажат силно влияние върху резултатите от вашия метаанализ. Това може да включва коригиране или изключване на тези точки като крайна мярка. Освен това не просто е препоръчително, а е от съществено значение да се докладват проверки за устойчивост, за да се покаже въздействието на премахването на отклоненията или прилагането на уинсоризация (заместване на наблюденията над и под определен сантил със стойността на този сантил) върху данните (Zigraiova et al., 2020). В крайна сметка вашите резултати трябва да се основават на надеждни и влиятелни резултати от изследвания и ако случаят е такъв, значимостта на тези резултати трябва да бъде подробно обоснована.

И накрая, уверете се, че освен размера на ефекта и стандартните грешки, събирате информация и за значимите разлики в контекста, в който са получени оценените размери на ефекта. В повечето метаанализи трябва да се съберат поне десет променливи (често фиктивни двоични променливи, които приемат стойност 0 или 1), отразяващи разликите в данните, методите и характеристиките на публикациите. В зависимост от размера и сложността на базата данни може да са необходими повече променливи, но за улеснение е препоръчително броят им да бъде под 30. Например вземете предвид дали експериментът на основното проучване е насочен към представителна извадка от населението или само към определена група, държавата, в която е проведено, дали на контролната група е било назначено плацебо или алтернативно лечение, датата на публикуване, импакт фактора на изданието и броя на получените годишни цитати.

Преди да започнете да събирате данни, подгответе списък с променливи, които да кодирате внимателно. Това може да бъде най-предизвикателната и творческа част от мета-анализа. Броят на потенциалните променливи е почти неограничен, така че изборът на най-важните от тях е от съществено значение въз основа на дискусиите в литературата и вашия опит. Изчерпателният езиков модел може да помогне да се идентифицират някои от измеренията, по които се различават първичните проучвания. Въпреки това е изключително важно да помните, че двойната проверка е жизненоважна, тъй като изкуственият интелект понякога може да предостави подвеждащи резултати. Тази предпазливост и внимание към детайлите ще гарантират точността на вашия метаанализ.

Обмислете включването на допълнителна информация, която допълва събраната от първичните проучвания. Този всеобхватен подход, който излиза извън рамките на първичните проучвания, може да осигури по-задълбочено разбиране на контекста на изследването. Например, ако първичните проучвания са проведени в различни държави, включването на характеристики на държавата (или региона) може да бъде ценно като допълнителни променливи. Резултатите от експериментите могат да бъдат повлияни от фактори като температура, влажност или финансово развитие на страната, които може да е невъзможно да се анализират само чрез отделни първични проучвания. Като вземете предвид и включите такава допълнителна информация, вашият метаанализ може да бъде по-изчерпателен и проницателен (Irsova et al., 2023).

[1] Вижте https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

* Examples of meta-analysis datasets are available at https://www.meta-analysis.cz/.

** See https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

Овладяването на изкуството на мета-анализа може да изглежда лесно, но постигането на високи постижения в тази област е истинско предизвикателство. Определянето на размера на ефекта е един от най-трудните аспекти на провеждането на мета-анализ.

Първата стъпка в мета-анализа включва систематичен преглед на литературата и извличане на данни. Изследователите използват търсене в бази данни, референтни списъци и консултации с експерти, за да идентифицират съответните проучвания. Прилагат се критерии за включване и изключване, за да се гарантира, че са включени само проучвания, които се отнасят до изследователския въпрос и отговарят на стандартите за качество.

Чрез комбиниране на данни от различни източници мета-анализът може да увеличи статистическата мощ, да осигури по-точни оценки на размера на ефекта и да идентифицира модели или модератори в различните проучвания. В това есе се разглеждат количествените методи, използвани в метаанализа, включително събирането на данни, оценката на размера на ефекта, избора на модел и оценката на хетерогенността. (Haddaway et al., 2022).

Фокусът на всеки мета-анализ е размерът на ефекта, който измерва силата на влиянието на една променлива или група променливи върху друга. Размерите на ефекта са от решаващо значение за разбирането на въздействието на експерименталните лечения или на връзката между променливите в неексперименталните изследвания. Изчисляването на размера на ефекта обаче може да се окаже предизвикателство поради широкия спектър от изследователски проекти и неадекватното отчитане на статистическа информация в докладите от първичните изследвания. Мерките d и r са често използвани и практични за изчисляване на големината на ефекта, като предоставят на изследователите ценни инструменти за мета-анализ.

След като бъдат идентифицирани съответните проучвания, следва извличане и стандартизиране на размера на ефекта. Размерът на ефекта е цифрова мярка, която показва силата на експерименталния резултат. Общите показатели за размера на ефекта включват:

1. Cohen's d: Измерва разликата между две средни стойности, разделена на общото стандартно отклонение.
2. Съотношение на шансовете (OR): Използва се при двоични резултати за измерване на вероятността дадено събитие да се случи в една група в сравнение с друга.
3. Коефициент на корелация (r): Анализира интензивността и ориентацията на връзката между две променливи.

Стандартизацията на размера на ефекта е от решаващо значение, тъй като тя позволява комбинирането на резултатите от проучвания, които използват различни скали или мерки за резултатите.

Не забравяйте, че има два различни модела на агрегиране: модели с фиксирани ефекти и модели със случайни ефекти. Моделът с фиксирани ефекти предполага, че всички проучвания в метаанализа са от една и съща популация и че истинският размер на ефекта остава постоянен във всички проучвания. По този начин се предполага, че вариациите в размера на ефекта произтичат от различията в рамките на всяко изследване, като например грешка на извадката. За разлика от това моделът на случайните ефекти е по-сложен, ако ефектите върху популацията варират в различните изследвания. Това допускане се основава на идеята, че наблюдаваните изследвания са подбор на извадки, взети от по-широка вселена от изследвания. Моделите на случайните ефекти обхващат два източника на вариации в даден размер на ефекта: в рамките на изследванията и между тях. (Kaufmann & Reips, 2024).

При провеждането на мета-анализи размерите на ефектите се комбинират, като се използват модели с фиксиран или случаен ефект. Изборът да се използва един от тези модели зависи от предположението за разпределението на размера на ефекта:

1. Модел с фиксиран ефект: Този модел предполага, че всички проучвания оценяват един и същ истински размер на ефекта и че наблюдаваните разлики се дължат единствено на грешка при извадката. Той дава по-голяма тежест на по-обширните проучвания и е подходящ, когато проучванията са много сходни по отношение на участниците, интервенциите и резултатите.
2. Модел със случайни ефекти: Този модел предполага, че размерите на ефекта варират в различните проучвания както поради грешка в извадката в рамките на проучването, така и поради хетерогенност между проучванията. Той включва допълнителен компонент на дисперсията, който позволява по-обобщено заключение за размера на ефекта. Моделът на случайните ефекти вероятно ще даде по-предпазлива оценка с по-широк доверителен интервал, което налага внимателен подход към резултатите. Въпреки това заключенията от двата модела обикновено съвпадат, когато няма хетерогенност. Той е по-подходящ, когато има значителна хетерогенност сред включените проучвания.