Partea a II. Metode de realizare a unei meta-analize

La nivel global, o meta-analiză începe prin formularea întrebărilor de cercetare. Întrebările de cercetare ar trebui testate pe baza studiilor publicate. Studiile publicate au nevoie de informații suficiente pentru a calcula mărimea efectului, ceea ce este esențial pentru o meta-analiză. Sunt stabilite criterii cuprinzătoare de includere și excludere pentru a determina care studii se califică pentru includerea în meta-analiză. Datele pot fi supuse analizei statistice odată ce dimensiunile efectului și caracteristicile studiului sunt adunate. Pasul următor implică interpretarea rezultatelor și pregătirea rapoartelor pentru a împărtăși constatările (Cheung, 2015).

Efectuarea unei meta-analize implică criterii de eligibilitate predefinite, variabile de expunere, rezultate primare și secundare de interes și un plan de analiză. Indicațiile și metodologiile adecvate, minimizarea riscului de părtinire și evitarea concluziilor înșelătoare sunt importante. Meta-analiza este recunoscută ca abordarea optimă pentru evaluarea și studierea obiectivă a dovezilor referitoare la o problemă specifică, oferind un nivel ridicat de dovezi și contribuind la progresul cunoștințelor.

Sen și Yildirim (2022) organizează procesul obligatoriu al unei meta-analize în următorii pași:

• Formularea întrebării de cercetare și a echipei: Procesul începe cu formularea unei întrebări de cercetare simplă și formarea unei echipe de cercetare.
• Proiectarea și executarea unei strategii de căutare: O strategie de căutare sistematică este crucială pentru a găsi toate dovezile disponibile din surse publicate și nepublicate.
• Selectarea și extragerea datelor: Ar trebui luată o decizie privind selectarea studiilor adecvate din studiile colectate. Studiile relevante sunt analizate și datele sunt extrase din aceste studii.
• Evaluare și analiză critică: Ar trebui efectuate analize de control al calității/sensibilitate. Fiecare studiu ar trebui să fie evaluat critic pentru posibilele părtiniri, iar dovezile ar trebui evaluate și analizate.
• Mărimea efectului pentru studiile alese trebuie determinată și calculată separat pentru fiecare studiu.
• Datele trebuie reunite și este important să se calculeze o statistică rezumată, precum și un interval de încredere.
• Ar trebui făcute analize suplimentare (eterogenitate, părtinire de publicare).
• Ar trebui efectuate analize de moderator pentru variabilele moderator.
• Interpretați rezultatele și trageți concluzii (inferențe) pe baza acestora.
• Raportarea și diseminarea constatărilor: Pașii menționați mai sus ar trebui raportați împreună cu constatările meta-analizei.

Figura 3 ilustrează faza de început a dezvoltării unei întrebări și a căutării metodice a unor studii relevante în literatura primară (Partea I), precum și faza în care culegeți date din publicații, efectuați analize statistice și prezentați și explicați constatările dvs. (Partea a II-a). ).

Metodele de meta-analiză au avansat considerabil în ultimii ani (Irsova et al., 2023). Efectuarea unei meta-analize nu diferă din punct de vedere conceptual de un studiu empiric, deoarece uneori problemele statistice te împotesc. Cu toate acestea, cercetătorii proiectează de obicei un studiu având în vedere abilitățile lor statistice sau urmează un design stabilit care le permite să reproducă o abordare analitică standard. Diferența dintre un studiu empiric bun și unul rău se rezumă adesea la dacă se pune o întrebare interesantă și la calitatea și cantitatea datelor colectate folosind o tehnică de eșantionare imparțială. Aceleași principii se aplică meta-analizei, unde tehnicile dezvoltate recent permit concluzii solide chiar și atunci când se confruntă cu provocări din literatura empirică de bază (Irsova și colab., 2023).

În ciuda aspectului liniar al schiței procesului (Fig. 3), există adesea incertitudine care duce la repetarea anumitor pași. În timpul părții I, cercetătorul poate considera necesar să parcurgă mai multe cicluri de căutări de definire a domeniului, ajustând întrebările de studiu și modificând protocolul și criteriile de căutare până când este sigur că o căutare cuprinzătoare va produce rezultatele dorite. O scurtă descriere a ceea ce implică fiecare pas fiecare pas al procesului.

Atunci când dezvoltați o întrebare de cercetare pentru o recenzie sistematică sau meta-analiză, este important să vă asigurați că este fezabilă, interesantă, nouă, etică și relevantă. Pentru a examina o ipoteză teoretică, trebuie să aveți studii care să utilizeze experimente pentru a testa cauzalitatea (Tawfik et al., 2019). Este crucial să se facă distincția între studiile care raportează o relație observată și cele care identifică relații prin manipulare experimentală. Combinați datele observaționale și experimentale pentru a testa o relație consistentă între variabile. Luați în considerare sfera generalizării și dimensiunea setului de date pe care îl puteți gestiona. Concentrarea pe întrebări din domeniul dvs. de expertiză este utilă pentru o cercetare mai accesibilă. Principalele întrebări se învârt de obicei în jurul efectului mediu, diferențelor față de așteptarea nulă și explicarea variației rezultatelor între diferite studii. Studiile de grup se bazează pe populația studiată, pe metodologia utilizată, pe modul în care este măsurat rezultatul și pe baza comparației. Cu toate acestea, mulți moderatori ar trebui evitați, deoarece pot duce la o putere statistică scăzută. În cele din urmă, este esențial să fii conștient de moderatorii confuzi și să decideți cum să le abordați în analizele dvs. Aceasta nu este doar o sugestie, ci o responsabilitate care vine cu efectuarea cercetării. A fi sârguincios în acest aspect asigură acuratețea și validitatea rezultatelor cercetării dvs. în analizele dvs., deoarece aceasta asigură acuratețea și validitatea rezultatelor cercetării dvs. (Koricheva et al., 2013).

Odată ce v-ați formulat întrebările, trebuie să redactați un protocol care (1) va specifica în mod oficial întrebările pe care intenționați să le adresați, (2) să specifice o strategie de căutare obiectivă și (3) să stabilească criteriile de includere în studiu (Davis et al. , 2021; Gurevitch et al., 2018; Koricheva et al., 2013) .

Specificarea întrebărilor pe care intenționați să le adresați va include a fi specific cu privire la sursele potențiale de eterogenitate în mărimea efectului (Côté & Jennions, 2013).

Specificarea unei strategii de căutare obiectivă presupune să nu influențeze colectarea datelor către lucrări relevante cu care sunteți deja familiarizat; în caz contrar, acest lucru ar putea afecta rezultatul, deoarece este adesea mai ușor să vă amintiți lucrările cu rezultate semnificative. În primul rând, aceasta implică realizarea unei liste cu bazele de date electronice pe care le veți căuta și ce termeni de căutare veți folosi. În al doilea rând, o strategie de căutare obiectivă va implica o decizie cu privire la cât de mult efort să depuneți căutării în „literatura gri”. De exemplu, le veți scrie colegilor pentru a le cere date nepublicate și, dacă da, cui și de ce?

Odată ce ați efectuat o căutare și ați compilat o listă de lucrări potențiale, trebuie să stabiliți criteriile de includere a studiilor. Aceste criterii sunt adesea destul de evidente și includ următoarele:

1. Studiul se potrivește cu scopul întrebărilor dvs.?
2. Metodologia se potrivește cu modul în care este definită întrebarea dvs.?
3. Dacă da, a fost de amploare sau durată suficientă?
4. Conține studiul date care pot fi extrase, adică există suficiente informații pentru a extrage dimensiunea efectului, varianța acesteia și dimensiunea eșantionului utilizat?
5. Criteriile dvs. de includere vor trebui uneori să ia în considerare calitatea studiului. Acest lucru este mult mai dificil de evaluat decât criteriile pe care le-am enumerat mai sus, dar poate fi la fel de important.

Cu toate acestea, este de remarcat faptul că, ca și în cercetarea primară, protocolul dumneavoastră pentru căutarea literaturii și extragerea dimensiunilor efectului va fi aproape sigur modificat pe măsură ce continuați. Prin urmare, realitatea este că, în multe privințe, protocolul tău final va sfârși prin a descrie mai degrabă ceea ce ai făcut decât ceea ce ai vrut în mod ideal să faci. În primul rând, trebuie să spuneți cititorului cum v-ați colectat datele. Deci, la fel ca în cercetarea primară, oferiți cititorului suficiente informații despre colectarea și analiza datelor pentru a permite recenziea dvs. să fie repetată și actualizată în viitor. În al doilea rând, trebuie să aveți un protocol care vă obligă să evaluați continuu dacă eșantionarea dvs. este părtinitoare. Un protocol mărește obiectivitatea cu care compilați datele, dar nu ar trebui să vă orbească de realitatea că procesul de metaanaliza implică numeroase decizii subiective; acestea sunt cele mai evidente atunci când încercați să descifrați rezultatele unei lucrări date și atunci când decideți dacă puteți extrage datele necesare pentru sinteza dvs. (Côté & Jennions, 2013). Dacă mai multe persoane colectează datele, un protocol bine descris și testat este foarte important pentru a asigura uniformitatea în extragerea datelor și a deciziilor de codificare cu privire la moderatori.

Uneori, dacă sunteți încrezător că majoritatea studiilor se vor limita la câteva surse cheie, este posibil să căutați doar un set limitat de reviste. Așa s-au făcut aproape toate sintezele cercetării înaintea bazelor de date online. Nimeni nu mai folosește această abordare din cauza exploziei accesibilității datelor (cel puțin pentru cei cu acces la reviste științifice). Cu toate acestea, dacă să se aprofundeze în surse nepublicate sau „gri” rămâne important (Gurevitch și colab., 2018; Koricheva și colab., 2013).

Amintiți-vă că în timpul unei căutări de scoping, încercați să găsiți doar câteva studii sau să obțineți o estimare preliminară a efectului mediu. Principalele obiective sunt:

1. Luați în considerare estimarea cantității de date disponibile pentru a vă ajuta să luați decizii informate cu privire la extinderea sau concentrarea întrebărilor de studiu. Acest lucru poate face cu adevărat o diferență în cercetarea dvs.
2. Descoperiți ce factori variază între studiile pe care le puteți codifica ca potențiali moderatori.
3. Decideți ce criterii marchează un studiu ca fiind irelevant (de exemplu, dacă căutarea dvs. identifică 2000 de lucrări de citit în întregime, va trebui să luați unele decizii de excludere în funcție de titlu, rezumat și locul publicării);
4. Descoperiți ce criterii trebuie să îndeplinească fiecare studiu potențial relevant înainte de a încerca să extrageți o dimensiune a efectului.
5. Stabiliți formatul formularului/foii de calcul de extragere a datelor și
6. Decideți cele mai potrivite măsuri de rezultat (dimensiunile efectului).

Această ultimă decizie va depinde adesea de dacă datele sunt raportate ca o relație între două variabile continue, caz în care mărimea efectului r este cea mai populară alegere în ecologie și evoluție. Alternativ, decizia poate implica compararea a două grupuri, caz în care există o gamă de opțiuni în funcție de dacă variabila de răspuns este discretă sau continuă. Uneori, este cel mai simplu să se efectueze meta-analize separate, împărțind studiile în funcție de dimensiunea cea mai adecvată a efectului.

Efectuarea unei căutări inițiale este un pas crucial care validează conceptul propus, previne duplicarea subiectelor discutate anterior și confirmă un număr adecvat de articole pentru analiză. Acest proces nu este doar o formalitate, ci o contribuție semnificativă la domeniu (Tawfik et al., 2019).

După ce au stabilit protocolul și domeniul de aplicare, următorul pas este o căutare completă meticuloasă. Va genera numeroase studii, dar multe vor fi eliminate ca irelevante folosind criterii bazate pe titlul studiului, rezumatul sau locul publicării. Studiile rămase „potențial relevante” trebuie citite mai îndeaproape și împărțite în relevante și irelevante. Acest proces poate duce la o reducere semnificativă a numărului de lucrări la fiecare pas. Fiți pregătiți pentru un număr mare (de multe ori majoritatea) de studii pe care le identificați inițial ca fiind relevante ca fiind nepotrivite pentru meta-analiză. Pasul final este extragerea informațiilor necesare (dimensiunile efectelor și moderatorii) din lucrările relevante. O foaie de calcul cu date finalizată este crucială, asigurându-vă că toate informațiile pe care doriți să le extrageți sunt incluse.

Este esențială înțelegerea compromisului dintre construirea unui teanc de lucrări relevante și revenirea la acestea pentru a extrage dimensiunea efectului odată ce aveți o foaie de calcul cu date finalizată și extragerea datelor dintr-o hârtie în timp ce o citiți. Avantajul primei este că poți fi mai sigur că foaia ta de calcul conține toate informațiile pe care vrei să le extragi. Avantajul celui din urmă este că poți citi o lucrare în profunzime o singură dată.

Înțelegerea exactă a modului în care a fost conceput un studiu și a ce date relevante sunt necesare pentru a extrage o dimensiune a efectului poate fi surprinzător de complexă. O bună luare de note este esențială în acest proces și adesea nu este mai ușoară la o a doua lectură. Dacă sunteți sigur că aveți o bună înțelegere a principalelor caracteristici ale studiilor relevante, ați putea lua în considerare proiectarea unei baze de date și extragerea datelor de îndată ce clasificați o lucrare ca fiind relevantă. Avertisment, desigur, este că s-ar putea să mai trebuiască să vă întoarceți la aceste lucrări dacă descoperiți ulterior că trebuie să codificați un termen suplimentar de moderator sau să vă ajustați criteriile de includere în studiu. Extragerea informațiilor despre citirea inițială este cea mai fezabilă atunci când aveți de-a face cu studii care urmează îndeaproape un design experimental specific și banal.

Papakostidis și Giannoudis (2023) atrag atenția asupra faptului că, în ciuda ultimei tendințe de îmbunătățire a calității din ultimii ani, au fost găsite deficiențe metodologice în meta-analizele publicate în prezent. Evaluările sistematice și meta-analizele ar trebui să respecte reguli stricte și transparente, cum ar fi liniile directoare PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) (vezi Fig. 4), asigurând reproductibilitatea și robustețea procesului de căutare, fiabilitatea și validitatea constatărilor lor și claritatea raportării. Aceste linii directoare subliniază pașii de bază pentru a asigura îndeplinirea tuturor cerințelor menționate mai sus, inclusiv raportarea transparentă a strategiei de căutare, procesul de selecție a studiilor, extragerea datelor și sinteza datelor:

1. Un protocol de studiu prospectiv este piatra de temelie a unei revizuiri sistematice și a meta-analizei. Rolul său în reducerea părtinirii și asigurarea transparenței nu poate fi exagerat. Acest document bine structurat și succint ar trebui să descrie în mod adecvat toți pașii din procesul de cercetare, inclusiv potențialele modificări ale metodologiei de recenzie sistematică. Procedând astfel, justifică aceste modificări și previne introducerea părtinirii în selecția datelor pentru recenzie.
2. Procesul de căutare nu este doar un pas, ci coloana vertebrală a unei revizuiri sistematice și a unei meta-analize. Natura sa robustă și reproductibilă asigură includerea tuturor datelor relevante din studiile eligibile. Aceasta implică căutarea în mai multe baze de date electronice și liste de referințe, bazele de date precum PubMed, EMBASE sau SCOPUS fiind esențiale. Ar trebui luate în considerare și baze de date suplimentare, cum ar fi Cochrane, Web of Science și ProQuest. De asemenea, merită să identificăm literatura gri potențial relevantă prin căutarea rezumatelor lucrărilor conferinței. Cu toate acestea, strategiile de căutare inadecvate și restricțiile lingvistice pot limita numărul de studii eligibile, introducând o cantitate semnificativă de părtinire a publicării. Această părtinire este posibilă chiar și cu cea mai cuprinzătoare strategie de căutare, deoarece este de așteptat eșecul publicării întregii studii sau a tuturor rezultatelor unui studiu.
3. Valabilitatea internă a studiilor primare: Termenul „validitate internă” se referă la capacitatea unui studiu de a stabili o relație de încredere cauză-efect între un tratament și un rezultat prin limitarea diferitelor factori de confuzie. Este un aspect crucial strâns legat de riscul de părtinire și de calitatea metodologică a studiilor incluse. Au fost dezvoltate mai multe instrumente pentru a evalua riscul de părtinire în studiile primare, atât pentru studii randomizate controlate, cât și pentru studiile observaționale.
4. Cea mai recentă ediție a instrumentului Cochrane Collaboration Risk-of-Bias (RoB-2)^[1] oferă un cadru pentru evaluarea riscului de părtinire în rezultatele RCT. Este structurat în cinci domenii de posibilă introducere a părtinirii în rezultatele studiului: (1) proces de randomizare; (2) abateri ale intervențiilor preconizate; (3) lipsă date privind rezultatele; (4) măsurarea rezultatului; (5) selecția rezultatelor raportate (Sterne et al., 2019). În cadrul fiecărui domeniu de părtinire, întrebările specifice de semnalizare urmăresc să obțină informații relevante pentru evaluarea riscului de părtinire ^[2]. Instrumentul include algoritmi care mapează răspunsurile la aceste întrebări de semnalizare pe o judecată de risc de părtinire propusă pentru fiecare domeniu. Posibilele judecăți privind riscul de părtinire sunt (1) Risc scăzut de părtinire, (2) Unele preocupări și (3) Risc ridicat de părtinire. Instrumentul este reprezentat ca un afișaj de „semafoare”. Instrumentul Risc de părtinire în studiile non-randomizate ale intervențiilor (ROBINS-I) subliniază șapte domenii de apariție potențială a părtinirii (vezi Tabelul 3): două în faza de „pre-intervenție”, unul în faza de „la intervenție” și patru în faza „post-intervenţie”.
5. Analiza și raportarea datelor: În timp ce combinarea datelor din studii individuale crește dimensiunea eșantionului și puterea statistică, este crucial să se exploreze prezența eterogenității statistice. Această inconsecvență în efectul tratamentului în cadrul studiilor incluse poate induce în eroare și poate reduce încrederea în concluzii. Cuantificarea eterogenității statistice se bazează de obicei pe teste statistice specifice (Higgins-I, Cochran Q-test). Autorii meta-analizelor trebuie să exploreze prezența eterogenității statistice prin proiectarea și efectuarea adecvată a analizelor de subgrup și de sensibilitate bazate pe ipoteze a priori la începutul protocolului de studiu. Astfel de ipoteze implică explorarea rezultatelor analizei grupate în subseturi de date (subgrupuri) potențial mai omogene, bazate, de exemplu, pe caracteristicile clinice ale probelor, aspecte metodologice, designul studiului și originea geografică a studiilor. Două modele statistice diferite sunt utilizate pentru a produce estimări ale efectelor combinate. Selecția modelului statistic adecvat pentru punerea în comun a datelor depinde de prezența eterogenității între studii. Cu toate acestea, nu au fost definite valori limită clare ale gradului de eterogenitate care ar dicta alegerea unui model în detrimentul celuilalt. Pe de altă parte, testele statistice pentru eterogenitate sunt adesea insuficiente pentru detectarea eterogenității semnificative:

1. Modelul cu efecte fixe presupune o singură dimensiune reală a efectului pentru toate studiile, reprezentată de estimarea efectului cumulat. Acest model este utilizat în mod obișnuit atunci când nu există eterogenitate într-o meta-analiză și când există multe studii cu dimensiuni mari ale eșantionului. În astfel de cazuri, există încredere că testul de eterogenitate este suficient de puternic pentru a detecta diferențe semnificative. Rezultatele obținute folosind acest model tind să aibă intervale de încredere mai înguste. Dacă există îngrijorări cu privire la eterogenitate, modelul cu efecte aleatoare (DerSimonian & Kacker, 2007) este considerat o alegere mai bună. Produce intervale de încredere mai largi în jurul estimărilor punctuale și este o opțiune mai precaută pentru analiză. În domeniul medical, unde se așteaptă ca efectul real să varieze între diferitele populații, este mai adecvată utilizarea mai frecventă a modelului cu efecte aleatorii. Utilizarea modelului cu efecte fixe este rezonabilă în meta-analizele care includ un număr suficient de mare de studii cu dimensiuni adecvate ale eșantionului și în care eterogenitatea statistică nu a fost încă detectată. În cele din urmă, calitatea dovezilor rezumate obținute dintr-o meta-analiză ar trebui evaluată folosind cadrul transparent al instrumentului GRADE, AMSTAR sau PRISMA (vezi Fig. 4). Ei evaluează încrederea în estimarea efectului pentru fiecare rezultat de interes. Neutilizarea acestora în meta-analize ar putea duce la o lipsă de transparență și poate duce la concluzii înșelătoare.
2. Modelul cu efecte aleatoare presupune că estimarea efectului real diferă între studiile originale din cauza diferențelor dintre caracteristicile lor clinice. Prin urmare, estimarea combinată a mărimii efectului generată pe baza acestui model reprezintă o estimare medie a estimărilor tuturor studiilor individuale.
3. Analizarea rezultatelor unei meta-analize. Este esențial să se analizeze rezultatele unei meta-analize, având în vedere semnificația acestora. O variație semnificativă statistic nu este semnificativă dacă nu are relevanță. În plus, orice diferență poate atinge semnificație statistică cu o dimensiune a eșantionului suficient de mare. În schimb, atunci când se calculează o estimare a efectului global nesemnificativ, este esențial să se evalueze cu atenție dacă ceea ce este considerat relevant se încadrează în intervalul de încredere al acestei estimări.
4. Validarea rezultatelor este un pas important. Centrele de evidență precum CEBM de la Universitatea Oxford, o instituție renumită în domeniu, dezvoltă instrumente importante de evaluare. Ele sunt esențiale în stabilirea credibilității, a semnificației științifice și a aplicabilității dovezilor colectate dintr-o meta- analiză. Cu cinci întrebări cheie, CEBM este o metodă de încredere pentru a determina validitatea constatărilor studiului.

^[1] https://methods.cochrane.org/bias/resources/rob-2-revised-cochrane-risk-bias-tool-randomized-trials

^[2]Consultați Tabelul 1, în https://www.bmj.com/content/366/bmj.l4898.long

Higgins şi colab. (2023) iau în considerare patru puncte cheie în acest sens:

1. În calitate de autori de recenzie, cercetătorii vor întâlni probabil diferite tipuri de date privind rezultatele în munca dvs. Acestea includ date dihotomice, continue, ordinale, de numărare sau de rată și de timp până la eveniment. Familiarizând aceste tipuri, vă puteți îmbunătăți înțelegerea procesului de cercetare și vă puteți simți mai împuternicit.
2. Când se compară datele privind rezultatele între două grupuri de intervenție („măsuri de efect”), există multe metode pentru fiecare tip de date. Comparațiile rezultatelor binare pot utiliza un raport de risc, un raport de șanse, o diferență de risc sau un număr necesar pentru a trata. Rezultatele continue, pe de altă parte, pot fi comparate folosind o diferență de medie sau o diferență de medie standardizată. Această diversitate de metode îmbogățește înțelegerea de către cercetători a procesului de cercetare.
3. Măsurile de efect sunt de două tipuri: măsuri de raport (raportul de risc și raportul de șanse) sau măsurile de diferență (cum ar fi diferența de medie și diferența de risc). Măsurile raportului sunt de obicei analizate folosind o scară logaritmică.
4. Informațiile obținute din rapoartele de cercetare ar putea necesita convertirea într-un format consistent sau utilizabil pentru analiză.

Este o provocare să precizăm numărul de studii necesare pentru o meta-analiză. Factorii care afectează decizia pot implica contextul specific disciplinei, modelele cu efecte fixe sau aleatorii utilizate în analiză, valorile populației ale mărimii efectului și alte considerații (Cheung & Vijayakumar, 2016). Proiectarea unei baze de date este o artă; unul bine conceput vă poate insufla un sentiment de pregătire și încredere.

Regulile de bază sunt aceleași cu cele pentru un studiu empiric; trebuie să vă asigurați că fișa de date conține toate informațiile de care aveți nevoie și este stabilită logic, astfel încât să fie ușor de completat și dificil să introduceți datele în locul greșit. Utilizați cele mai extinse și cele mai complicate documente pe care le aveți pentru a testa fișa de date. Dacă le poate face față, ai început bine.

Principala diferență dintre un studiu empiric și o meta-analiză este că trebuie să înregistrați la ce subiecți ați făcut și de la care nu ați colectat date. Pe scurt, păstrați o bibliotecă bibliografică de studii și explicați de ce unele au fost excluse (de exemplu, irelevante, lipsesc informații critice necesare pentru a satisface criteriile de includere, nu este posibil să extrageți o estimare a mărimii efectului și a varianței).

Un protocol adecvat facilitează codificarea informațiilor pentru moderatorii studiului. Oferă o abordare structurată care simplifică procesul, făcându-l mai ușor de gestionat. În schimb, extragerea dimensiunilor efectului este printre cele mai dificile părți ale meta-analizei. Poate duce la îndoiala de sine, mai ales în timpul primei meta-analize. Pentru a extrage dimensiunile efectului, de multe ori trebuie să iei decizii subiective. Acest proces necesită o analiză atentă și minuțiozitate pentru a asigura acuratețea analizei dvs.

În cele din urmă, aveți un protocol în vigoare pentru a trata studiile care raportează dimensiuni multiple ale efectului. Mai exact, dacă efectele tratamentului, care sunt modificările rezultatului de interes datorate tratamentului, sunt măsurate în mod repetat în timp, o abordare structurată vă va ajuta să determinați ce comparații veți folosi, oferind un sentiment de îndrumare și control.

În efectuarea meta-analizelor, este imperativ să aveți o înțelegere cuprinzătoare a subiectului. Acest lucru poate presupune implicarea în cercetare primară, autorul unei revizuiri exhaustive a literaturii narative sau demonstrarea unei experiențe pedagogice extinse. În cazul în care apare nevoia unui coautor din subdomeniu, este esențial să angajați un colaborator cu expertiză similară. Dacă există o meta-analiză pe această temă, este de sarcina cercetătorului să susțină valoarea adăugată a meta-analizei lor. Acest lucru poate depinde de factori precum absența unei acomodații pentru părtinirea publicării sau eterogenitatea în meta-analiză originală. Simpla proliferare de noi studii primare nu este suficientă ca justificare (Irsova et al., 2023).

În plus, este imperativ să se arate un progres metodologic substanțial față de meta-analiză originală. Actualizările superficiale sunt cel mai bine lăsate ca exerciții pedagogice sau în domeniul inteligenței artificiale. Cu toate acestea, excepții de la aceste linii directoare pot fi justificate atunci când progresele semnificative în abordările și metodologiile de cercetare au pus la îndoială robustețea constatărilor meta-analitice anterioare. În plus, schimbările structurale din cadrul societăților ar fi putut face ca mărimile efectelor anterioare să fie nereprezentative.

Pe baza cunoștințelor dvs. despre subiect, adunați o listă cu cinci studii primare pe care trebuie să le includeți în meta-analiză. Puteți înrola un model lingvistic mare pentru a vă asigura că ați selectat cele mai importante cinci studii. Dar aveți grijă să vă bazați prea mult pe inteligența artificială, deoarece modelele actuale oferă adesea rezultate incorecte; verificați întotdeauna și prioritizați expertiza dvs. Apoi, proiectați-vă interogarea principală de căutare folosind Google Academic. Preferăm Google Scholar altor baze de date, deoarece include toate lucrările care au apărut online și vă permite să parcurgeți textul integral al lucrărilor, nu doar titlul, rezumatul și cuvintele cheie. Această flexibilitate în proiectarea interogărilor de căutare vă permite să vă adaptați căutarea la nevoile dvs. specifice. Utilizarea unei singure interogări principale pentru o bază de date universală face mai ușor pentru alți cercetători să reproducă meta-analiză. Amintiți-vă că algoritmii Google Scholar pot fi modificați, așa că, în funcție de subiectul dvs., ar putea fi benefic să utilizați o bază de date suplimentară pentru a vă consolida abordarea. Utilizați diferite combinații ale cuvintelor cheie utilizate în studiile primare. Veți ști că interogarea dvs. este suficient de bine pregătită dacă cele mai importante cinci studii primare identificate mai sus sunt printre primele rezultate. Petreceți câteva zile pentru reglarea fină a interogării (îmbunătățirea procentului de studii primare extrem de relevante returnate printre primele 50 de accesări) și acordați atenție sintaxei de căutare corecte.

Fig. 4 descrie standardul PRISMA pe care îl puteți folosi pentru a vă ghida căutarea și selecția, precum și pentru a vă raporta rezultatele (Haddaway et al., 2022; Kaufmann & Reips, 2024) .

Toți coautorii trebuie să adune singuri date pentru meta-analiză; procesul nu poate fi externalizat către asistenți de cercetare. În viitor, inteligența artificială (GPT 7?) va fi capabilă să asiste în această sarcină consumatoare de timp. Cu toate acestea, în prezent, nu există nicio alternativă la autorii meta-analizei, care, în calitate de specialiști în domeniu, sunt calificați în mod unic să revizuiască meticulos fiecare studiu primar și să-și construiască metodic setul de date manual, un punct de date la un moment dat (Irsova et al., 2023).

Spre deosebire de autorii majorității studiilor econometrice, meta-analiștii nu preiau datele existente, ci creează baze de date noi. Exemple de seturi de date de meta-analiză sunt disponibile la https://www.meta-analysis.cz/ .

Cel puțin doi co-autori trebuie să adune datele în mod independent. Acest proces riguros, deși necesită timp, este crucial pentru asigurarea fiabilității meta-analizei. Se pot aștepta greșeli atunci când se codifică manual studiile (care constau adesea în zeci de pagini în format PDF) și când doi experți colectează datele permite identificarea și corectarea ușoară a erorilor. Dimensiunile efectului colectate pentru meta-analiză ar trebui să fie comparabile calitativ și cantitativ. Aceasta înseamnă că nu numai că același semn estimat ar trebui să indice un efect în aceeași direcție, dar ar trebui să fie și semnificativ să se compare dimensiunile reale ale efectelor din studiile primare.

Dimensiunile efectului comparabile cantitativ includ coeficienți de corelație, rapoarte impare, elasticități, valori în dolari și diferențe medii standardizate. Coeficienții de regresie sunt, în general, comparabili doar cantitativ cu transformări ulterioare, deoarece diferite studii primare pot folosi diferite unități de măsură sau forme funcționale ale variabilelor independente și dependente. O excepție o reprezintă regresiile în care variabilele de ambele părți sunt utilizate în logaritmi și, prin urmare, regresia dă elasticități estimate.

Colectarea tuturor estimărilor raportate în studiile primare este imperativă. Această abordare este recomandată din cinci motive (Irsova et al., 2023):

1. Oferă o viziune cuprinzătoare, asigurând că nicio informație nu este aruncată și eliminând nevoia de judecată subiectivă. Această abordare cuprinzătoare a colectării datelor oferă cercetătorilor încredere în minuțiozitatea analizei lor. Puteți prezenta oricând o meta-analiză a subeșantionului corespunzător al setului de date pentru a acorda o pondere mai mare estimărilor preferate de autori.
2. O analiză exclusivă ca aceasta poate confirma puterea rezultatelor sau poate stabili un punct de plecare. Cu toate acestea, ignorarea altor estimări este nejustificată chiar și în ultimul scenariu.
3. Când se efectuează cercetări originale, este obișnuit să se efectueze verificări suplimentare pentru a garanta acuratețea constatărilor. Ocazional, cercetătorii înșiși consideră că aceste constatări sunt mai puțin fiabile. Prin încorporarea tuturor constatărilor, este posibil să se evalueze dacă rezultatele „inferioare” diferă în mod constant de cele favorizate de autori.
4. Atunci când se efectuează o meta-analiză a celor mai bune practici, este totuși adecvat să se acorde o mai mare importanță rezultatelor preferate de autori. Uneori, este dificil să se determine în mod obiectiv care rezultate favorizează autorul. Cu toate acestea, colectarea și analizarea tuturor constatărilor poate împuternici cercetătorii să ia decizii informate fără a fi nevoie de judecăți subiective.

Este importantă examinarea oricăror valori aberante și puncte influente din datele dvs. O metodă de a face acest lucru este crearea unui diagramă pâlnie, un diagramă de dispersie a dimensiunilor efectului și precizia acestora. Să presupunem că observați puncte de date care se abat semnificativ de la forma pâlniei principale sau care ridică îngrijorări în DFBETA (o metodă de măsurare a influenței punctelor de date individuale asupra analizei de regresie) ^[1]. În acest caz, se recomandă recenziea studiilor primare asociate cu acele puncte de date. Această recenzie va ajuta la asigurarea faptului că nu există erori în datele sau studiile primare și poate, de asemenea, să dezvăluie nuanțe în modul în care au fost efectuate studiile, făcând rezultatele lor incomparabile cu restul literaturii de cercetare. Dacă există încă incertitudini, contactul cu autorii studiilor primare poate oferi claritate. Este esențial să abordați orice puncte influente sau de pârghie identificate de DFBETA, deoarece acestea pot avea un impact puternic asupra rezultatelor meta-analizei dvs. Aceasta poate implica corectarea sau excluderea acestor puncte ca ultimă soluție. În plus, nu este doar recomandat, este esențial ca verificările de robustețe să fie raportate pentru a arăta impactul eliminării valorii aberante sau al utilizării winsorizării (înlocuiți observațiile de deasupra și de sub un anumit centil cu valoarea acelui centil) asupra datelor (Zigraiova și colab., 2020). În cele din urmă, rezultatele dvs. ar trebui să fie conduse de rezultate de cercetare de încredere și influente și, dacă acesta este cazul, proeminența acestor constatări ar trebui justificată în detaliu.

În cele din urmă, asigurați-vă că, pe lângă dimensiunile efectului și erorile standard, adunați și informații despre diferențele semnificative în contextul în care au fost obținute mărimile estimate ale efectului. Majoritatea meta-analizelor ar trebui să adune cel puțin zece variabile (adesea variabile binare fictive care iau valoarea 0 sau 1) care reflectă diferențele de date, metode și caracteristici de publicare. În funcție de dimensiunea și complexitatea bazei de date, pot fi necesare mai multe variabile, dar este recomandabil să păstrați numărul sub 30 pentru simplitate. De exemplu, luați în considerare dacă experimentul studiului primar se concentrează pe un eșantion reprezentativ al populației sau numai pe un anumit grup, țara în care a fost efectuat, dacă un placebo sau un tratament alternativ a fost atribuit grupului de control, data publicării, factorul de impact al punctului de vânzare și numărul de citări anuale primite.

Înainte de a colecta date, pregătiți o listă de variabile pentru a codifica cu atenție. Aceasta poate fi partea cea mai provocatoare și creativă a unei meta-analize. Numărul de variabile potențiale este aproape nelimitat, așa că selectarea celor mai importante este esențială pe baza discuțiilor din literatură și a expertizei dumneavoastră. Un model lingvistic cuprinzător poate ajuta la identificarea unora dintre dimensiunile în care variază studiile primare. Cu toate acestea, este esențial să ne amintim că dubla verificare este vitală, deoarece inteligența artificială poate oferi uneori rezultate înșelătoare. Această atenție și atenție la detalii vor asigura acuratețea meta-analizei dvs.

Luați în considerare includerea de informații suplimentare care completează ceea ce colectați din studiile primare. Această abordare cuprinzătoare, care depășește studiile primare, poate oferi o înțelegere mai aprofundată a contextului cercetării. De exemplu, dacă studiile primare au fost efectuate în diferite țări, inclusiv caracteristicile țării (sau regiunii) ar putea fi valoroase ca variabile suplimentare. Rezultatele experimentelor pot fi influențate de factori precum temperatura, umiditatea sau dezvoltarea financiară a țării, care ar putea fi imposibil de analizat doar prin studii primare individuale. Luând în considerare și incluzând astfel de informații suplimentare, meta-analiză poate fi mai cuprinzătoare și mai perspicace (Irsova și colab., 2023).

^[1]Vezi https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

* Exemple de seturi de date de meta-analiză sunt disponibile la adresa https://www.meta-analysis.cz/.

Stăpânirea artei meta-analizei poate părea simplă, dar atingerea excelenței în acest domeniu este cu adevărat o provocare. Determinarea dimensiunilor efectului este unul dintre cele mai descurajante aspecte ale efectuării unei meta-analize.

Primul pas într-o meta-analiză implică recenziea sistematică a literaturii și extragerea datelor. Cercetătorii folosesc căutări în baze de date, liste de referințe și consultări cu experți pentru a identifica studiile relevante. Criteriile de includere și excludere sunt aplicate pentru a se asigura că sunt incluse doar studiile care abordează problema de cercetare și care îndeplinesc standardele de calitate.

Prin combinarea datelor din diverse surse, meta-analiza poate crește puterea statistică, poate oferi estimări mai precise ale mărimii efectului și poate identifica modele sau moderatori în cadrul studiilor. Acest eseu explorează metodele cantitative utilizate în meta-analiză, inclusiv colectarea datelor, estimarea mărimii efectului, selecția modelului și evaluarea eterogenității (Haddaway și colab., 2022).

Accentul oricărei meta-analize este mărimea efectului, care măsoară puterea modului în care o variabilă sau un grup de variabile influențează alta. Dimensiunile efectului sunt cruciale pentru înțelegerea impactului tratamentelor experimentale sau a relației dintre variabile în studiile neexperimentale. Cu toate acestea, calcularea mărimii efectului poate fi o provocare din cauza gamei largi de proiecte de cercetare și a raportării inadecvate a informațiilor statistice în rapoartele de cercetare primară. Măsurile d și r sunt utilizate în mod obișnuit și practice pentru calcularea mărimii efectului, oferind cercetătorilor instrumente valoroase pentru meta-analiză.

Odată ce studiile relevante sunt identificate, urmează extragerea și standardizarea dimensiunilor efectului. Mărimea efectului este o măsură numerică care indică puterea rezultatului experimental. Valorile comune privind dimensiunea efectului includ:

1. d-ul lui Cohen: Măsoară diferența dintre două medii împărțită la abaterea standard cumulata.
2. Odds Ratio (OR): Folosit în rezultatele binare pentru a măsura șansele ca un eveniment să apară într-un grup în comparație cu altul.
3. Coeficientul de corelație (r): Analizați intensitatea și orientarea conexiunii dintre două variabile.

Standardizarea dimensiunilor efectului este crucială, deoarece permite combinarea rezultatelor din studii care utilizează diferite scale sau măsuri de rezultat.

Vă rugăm să rețineți că există două modele de agregare distincte: modele cu efecte fixe și modele cu efecte aleatoare. Modelul cu efecte fixe presupune că toate studiile din meta-analiză provin din aceeași populație și că dimensiunea reală a efectului rămâne consecventă în toate studiile. Astfel, se presupune că variația mărimii efectului provine din diferențele din cadrul fiecărui studiu, cum ar fi eroarea de eșantionare. În schimb, modelul cu efecte aleatoare este mai complicat, dacă efectele asupra populației variază de la studiu la studiu. Această ipoteză se bazează pe ideea că studiile observate sunt o selecție de eșantioane extrase dintr-un univers mai larg de studii. Modelele cu efecte aleatorii cuprind două surse de variație a unei mărimi a efectului dat: în cadrul și între studii. (Kaufmann & Reips, 2024).

Când se efectuează meta-analize, mărimile efectului sunt combinate folosind fie modele cu efecte fixe, fie cu efecte aleatorii. Alegerea de a utiliza unul dintre aceste modele se bazează pe ipoteza privind distribuția dimensiunilor efectului:

1. Model cu efect fix: Acest model presupune că toate studiile estimează aceeași dimensiune reală a efectului și că variațiile observate se datorează numai erorii de eșantionare. Ea acordă mai multă greutate studiilor mai extinse și este adecvată atunci când studiile sunt foarte asemănătoare în ceea ce privește participanții, intervențiile și rezultatele.
2. Model cu efecte aleatoare: Acest model presupune că mărimea efectului variază între studii, atât din cauza erorii de eșantionare în cadrul studiului, cât și din cauza eterogenității între studii. Încorporează o componentă suplimentară de variație, permițând o inferență mai generalizată despre mărimea efectului. Modelul cu efecte aleatoare va produce probabil o estimare mai prudentă, cu un interval de încredere mai larg, determinând o abordare atentă a rezultatelor. Cu toate acestea, concluziile celor două modele se aliniază de obicei atunci când nu există eterogenitate. Este mai adecvată atunci când există o eterogenitate semnificativă între studiile incluse.