Colectarea datelor

Toți coautorii trebuie să adune singuri date pentru meta-analiză; procesul nu poate fi externalizat către asistenți de cercetare. În viitor, inteligența artificială (GPT 7?) va fi capabilă să asiste în această sarcină consumatoare de timp. Cu toate acestea, în prezent, nu există nicio alternativă la autorii meta-analizei, care, în calitate de specialiști în domeniu, sunt calificați în mod unic să revizuiască meticulos fiecare studiu primar și să-și construiască metodic setul de date manual, un punct de date la un moment dat (Irsova et al., 2023).

Spre deosebire de autorii majorității studiilor econometrice, meta-analiștii nu preiau datele existente, ci creează baze de date noi. Exemple de seturi de date de meta-analiză sunt disponibile la https://www.meta-analysis.cz/ .

Cel puțin doi co-autori trebuie să adune datele în mod independent. Acest proces riguros, deși necesită timp, este crucial pentru asigurarea fiabilității meta-analizei. Se pot aștepta greșeli atunci când se codifică manual studiile (care constau adesea în zeci de pagini în format PDF) și când doi experți colectează datele permite identificarea și corectarea ușoară a erorilor. Dimensiunile efectului colectate pentru meta-analiză ar trebui să fie comparabile calitativ și cantitativ. Aceasta înseamnă că nu numai că același semn estimat ar trebui să indice un efect în aceeași direcție, dar ar trebui să fie și semnificativ să se compare dimensiunile reale ale efectelor din studiile primare.

Dimensiunile efectului comparabile cantitativ includ coeficienți de corelație, rapoarte impare, elasticități, valori în dolari și diferențe medii standardizate. Coeficienții de regresie sunt, în general, comparabili doar cantitativ cu transformări ulterioare, deoarece diferite studii primare pot folosi diferite unități de măsură sau forme funcționale ale variabilelor independente și dependente. O excepție o reprezintă regresiile în care variabilele de ambele părți sunt utilizate în logaritmi și, prin urmare, regresia dă elasticități estimate.

Colectarea tuturor estimărilor raportate în studiile primare este imperativă. Această abordare este recomandată din cinci motive (Irsova et al., 2023):

1. Oferă o viziune cuprinzătoare, asigurând că nicio informație nu este aruncată și eliminând nevoia de judecată subiectivă. Această abordare cuprinzătoare a colectării datelor oferă cercetătorilor încredere în minuțiozitatea analizei lor. Puteți prezenta oricând o meta-analiză a subeșantionului corespunzător al setului de date pentru a acorda o pondere mai mare estimărilor preferate de autori.
2. O analiză exclusivă ca aceasta poate confirma puterea rezultatelor sau poate stabili un punct de plecare. Cu toate acestea, ignorarea altor estimări este nejustificată chiar și în ultimul scenariu.
3. Când se efectuează cercetări originale, este obișnuit să se efectueze verificări suplimentare pentru a garanta acuratețea constatărilor. Ocazional, cercetătorii înșiși consideră că aceste constatări sunt mai puțin fiabile. Prin încorporarea tuturor constatărilor, este posibil să se evalueze dacă rezultatele „inferioare” diferă în mod constant de cele favorizate de autori.
4. Atunci când se efectuează o meta-analiză a celor mai bune practici, este totuși adecvat să se acorde o mai mare importanță rezultatelor preferate de autori. Uneori, este dificil să se determine în mod obiectiv care rezultate favorizează autorul. Cu toate acestea, colectarea și analizarea tuturor constatărilor poate împuternici cercetătorii să ia decizii informate fără a fi nevoie de judecăți subiective.

Este importantă examinarea oricăror valori aberante și puncte influente din datele dvs. O metodă de a face acest lucru este crearea unui diagramă pâlnie, un diagramă de dispersie a dimensiunilor efectului și precizia acestora. Să presupunem că observați puncte de date care se abat semnificativ de la forma pâlniei principale sau care ridică îngrijorări în DFBETA (o metodă de măsurare a influenței punctelor de date individuale asupra analizei de regresie) ^[1]. În acest caz, se recomandă recenziea studiilor primare asociate cu acele puncte de date. Această recenzie va ajuta la asigurarea faptului că nu există erori în datele sau studiile primare și poate, de asemenea, să dezvăluie nuanțe în modul în care au fost efectuate studiile, făcând rezultatele lor incomparabile cu restul literaturii de cercetare. Dacă există încă incertitudini, contactul cu autorii studiilor primare poate oferi claritate. Este esențial să abordați orice puncte influente sau de pârghie identificate de DFBETA, deoarece acestea pot avea un impact puternic asupra rezultatelor meta-analizei dvs. Aceasta poate implica corectarea sau excluderea acestor puncte ca ultimă soluție. În plus, nu este doar recomandat, este esențial ca verificările de robustețe să fie raportate pentru a arăta impactul eliminării valorii aberante sau al utilizării winsorizării (înlocuiți observațiile de deasupra și de sub un anumit centil cu valoarea acelui centil) asupra datelor (Zigraiova și colab., 2020). În cele din urmă, rezultatele dvs. ar trebui să fie conduse de rezultate de cercetare de încredere și influente și, dacă acesta este cazul, proeminența acestor constatări ar trebui justificată în detaliu.

În cele din urmă, asigurați-vă că, pe lângă dimensiunile efectului și erorile standard, adunați și informații despre diferențele semnificative în contextul în care au fost obținute mărimile estimate ale efectului. Majoritatea meta-analizelor ar trebui să adune cel puțin zece variabile (adesea variabile binare fictive care iau valoarea 0 sau 1) care reflectă diferențele de date, metode și caracteristici de publicare. În funcție de dimensiunea și complexitatea bazei de date, pot fi necesare mai multe variabile, dar este recomandabil să păstrați numărul sub 30 pentru simplitate. De exemplu, luați în considerare dacă experimentul studiului primar se concentrează pe un eșantion reprezentativ al populației sau numai pe un anumit grup, țara în care a fost efectuat, dacă un placebo sau un tratament alternativ a fost atribuit grupului de control, data publicării, factorul de impact al punctului de vânzare și numărul de citări anuale primite.

Înainte de a colecta date, pregătiți o listă de variabile pentru a codifica cu atenție. Aceasta poate fi partea cea mai provocatoare și creativă a unei meta-analize. Numărul de variabile potențiale este aproape nelimitat, așa că selectarea celor mai importante este esențială pe baza discuțiilor din literatură și a expertizei dumneavoastră. Un model lingvistic cuprinzător poate ajuta la identificarea unora dintre dimensiunile în care variază studiile primare. Cu toate acestea, este esențial să ne amintim că dubla verificare este vitală, deoarece inteligența artificială poate oferi uneori rezultate înșelătoare. Această atenție și atenție la detalii vor asigura acuratețea meta-analizei dvs.

Luați în considerare includerea de informații suplimentare care completează ceea ce colectați din studiile primare. Această abordare cuprinzătoare, care depășește studiile primare, poate oferi o înțelegere mai aprofundată a contextului cercetării. De exemplu, dacă studiile primare au fost efectuate în diferite țări, inclusiv caracteristicile țării (sau regiunii) ar putea fi valoroase ca variabile suplimentare. Rezultatele experimentelor pot fi influențate de factori precum temperatura, umiditatea sau dezvoltarea financiară a țării, care ar putea fi imposibil de analizat doar prin studii primare individuale. Luând în considerare și incluzând astfel de informații suplimentare, meta-analiză poate fi mai cuprinzătoare și mai perspicace (Irsova și colab., 2023).

^[1]Vezi https://blogs.sas.com/content/iml/2019/06/17/influence-regression-dfbeta.html

* Exemple de seturi de date de meta-analiză sunt disponibile la adresa https://www.meta-analysis.cz/.