Partea III. Prejudiciul de publicare și evaluarea calității

Care sunt potențialele părtiniri asociate cu prejudecățile de publicare în meta-analize?

Prejudecățile de publicare apare atunci când studiile cu rezultate semnificative sau pozitive sunt mai probabil să fie publicate decât cele cu rezultate neconcludente sau negative, potențial distorsionând constatările meta-analitice.

Dacă o meta-analiză nu reușește să folosească metode actualizate, poate fi la fel de înșelătoare pe cât o bună meta-analiză luminează factorii de decizie și cercetătorii. O problemă fundamentală este biasul de selecție a publicațiilor și „p-hacking”, care se referă la manipularea analizei datelor până când produce rezultate semnificative statistic, compromițând veridicitatea constatărilor. Din cele 107.000 de meta-analize publicate în 2022, mai mult de jumătate nu discută deloc prejudecățile de publicare. Deoarece distorsiunea de publicare sau p-hacking-ul poate exagera cu ușurință mărimea efectului raportată tipic cu două sau mai multe, meta-analizele care ignoră părtinirea publicării pot provoca mai mult rău decât bine (Irsova și colab., 2023).

Excluderea studiilor nepublicate din revizuirile sistematice poate duce la excluderea dovezilor critice și poate duce la rezultate părtinitoare, prea pozitive. Aceasta este o preocupare semnificativă, deoarece studiile anterioare au sugerat că metaanalizele care nu iau în considerare literatura gri ar putea supraestima eficacitatea intervențiilor, ceea ce poate duce la politici greșite și intervenții ineficiente.

Numeroase metode sofisticate cu baze teoretice solide au fost dezvoltate recent pentru a aborda prejudecățile de selecție a publicațiilor. Aceste abordări au fost validate prin simulări Monte Carlo extinse și sunt aplicabile în numeroase studii. Printre aceste metode se numără tehnica Trim and Fill, testul de regresie al lui Egger și modelul de selecție Copas. Progresele recente includ, de asemenea, gestionarea eterogenității sistematice observate și neobservate în cadrul incertitudinii modelului și al anumitor tipuri de p-hacking ^[1]. Împreună, aceste progrese ale metodei constituie pași esențiali înainte în înțelegerea și interpretarea cercetării contemporane.

Atunci când se efectuează o meta-analiză, este esențial să se ia în considerare diverse surse de părtinire care pot afecta concluziile studiului. Această abordare amănunțită este esențială pentru a asigura validitatea și fiabilitatea constatărilor. Sursele comune de prejudecată de care trebuie să fii atent includ:

• Prejudecăți de selecție: Acest lucru poate apărea atunci când studiile sau participanții nu sunt selectați aleatoriu, ceea ce duce la o reprezentare anormală a populației.
• Prejudecățile de raportare, cunoscută și sub denumirea de părtinire de publicare, apare atunci când rezultatele disponibile diferă sistematic de rezultatele lipsă, favorizând adesea rezultate semnificative și pozitive.
• Prejudecăți de performanță și părtinire de detectare: Aceste părtiniri pot afecta implementarea și rezultatele intervențiilor în studii, influențând rezultatele.
• Prejudecată de uzură: această părtinire apare atunci când există o pierdere diferențială a participanților din grupurile de studiu, care poate afecta validitatea constatărilor.
• Prejudecata variabilă omisă: Această prejudecată poate duce la estimări medii distorsionate într-o meta-analiză, în special atunci când se corectează o prejudecată greșită.
• Prejudecățile de publicare în meta-analize pot introduce o serie de părtiniri potențiale, așa cum demonstrează următoarele perspective din rezumatele academice. Aceste prejudecăți, care pot avea un impact semnificativ asupra validității și generalizării concluziilor în domeniu, reprezintă un punct cheie al cercetării.
• Influența părtinirii publicării: influența părtinirii publicării asupra rezultatelor meta-analitice este o problemă critică care nu poate fi supraevaluată. Poate suprima studiile nefavorabile, influențând astfel rezultatele către rezultate favorabile artificial, o preocupare pe care cercetarea trebuie să o abordeze.
• Metode de detectare: Au fost propuse diverse teste statistice pentru a detecta prejudecățile de publicare, dar eficacitatea lor depinde de ipotezele lor cu privire la cauză, ceea ce duce la o putere diferită în diferite scenarii. Deși părtinirea publicării este recunoscută în meta-analize, există o nevoie presantă de evaluare formală și corectare a efectelor acesteia. În prezent, doar un mic procent din meta-analize încearcă să abordeze părtinirea publicării, evidențiind urgența acestei probleme.
• Impactul asupra validității: Prevalența potențialelor părtiniri de publicare în meta-analize, în special în discipline specifice, ridică îngrijorări cu privire la validitatea și generalizarea concluziilor.
• Provocări metodologice: Metodele standard de meta-analiză sunt vulnerabile la părtinire din raportarea incompletă a rezultatelor și calitatea slabă a studiului și nu există linii directoare clare pentru evaluarea acestei părtiniri.
• Limitări ale testului: Unele teste pentru distorsiunea publicării, cum ar fi testul Egger și testele de regresie ponderată, pot avea rate de eroare de tip I umflate sau putere statistică scăzută, în special în prezența heteroscedasticității. Fenomenul are loc atunci când studiile de cercetare cu rezultate semnificative statistic sunt publicate mai frecvent decât cele cu rezultate nesemnificative. Este esențial să rețineți că acest lucru ar putea cauza o supraestimare a mărimii efectului real.

În urma lui Harrer et al. (2021 și Page et al. (2021), este important să înțelegem că există câțiva alți factori care pot distorsiona dovezile din meta-analiza noastră. Acești factori pot avea un impact semnificativ și includ:

• Prejudecățile de citare apare atunci când studiile cu rezultate negative sau neconcludente, chiar dacă sunt publicate, sunt mai puțin probabil să fie menționate de altă literatură conexe. Acest lucru poate face mai dificilă identificarea acestor studii prin căutări de referințe.
• Decalaj: studiile cu rezultate pozitive sunt adesea publicate mai devreme decât cele cu constatări nefavorabile. Aceasta înseamnă că rezultatele studiilor efectuate recent cu constatări pozitive sunt adesea deja disponibile, în timp ce cele cu rezultate nesemnificative nu sunt.
• Prejudecăți de publicare multiple: rezultatele studiilor „de succes” sunt mai probabil să fie raportate în mai multe articole de jurnal, ceea ce face mai ușor să găsiți cel puțin unul dintre ele. Practica raportării rezultatelor studiului în mai multe articole este cunoscută și sub denumirea de „feliere de salam”.
• Prejudecăți lingvistice: în majoritatea disciplinelor, limba principală în care sunt publicate dovezile este engleza. Publicațiile în alte limbi sunt mai puțin probabil să fie detectate, mai ales atunci când cercetătorii au nevoie de traducere pentru a înțelege conținutul. Posibilitatea de părtinire există atunci când studiile în limba engleză diferă sistematic de cele publicate în alte limbi.
• Prejudecăți de raportare a rezultatelor: multe studii și modele experimentale, în special, măsoară mai mult de un rezultat de interes. Unii oameni de știință profită de acest lucru doar dezvăluind rezultatele care susțin ipoteza lor și ignorând-o pe cei care nu o confirmă. Acest lucru poate duce și la părtinire: din punct de vedere tehnic, studiul a fost publicat, dar rezultatul său (nefavorabil) va lipsi în continuare din meta-analiză, deoarece nu este raportat.

^[1]Manipularea analizei datelor până când aceasta produce rezultate semnificative statistic, compromițând veridicitatea constatărilor

Este important de remarcat faptul că, deși un anumit grad de părtinire este aproape inevitabil în studii, înțelegerea acestor părtiniri și a manifestărilor lor în modelele de studiu este crucială pentru a atenua impactul lor asupra concluziilor unei meta-analize. Prejudecățile de publicare pot distorsiona meta-analizele prin amplificarea efectelor care necesită identificare și corectare. Pentru a atenua influența părtinirii publicării și raportării, precum și a practicilor de cercetare îndoielnice (QRP), diferite tehnici pot fi folosite în meta-analize. Aceste abordări cuprind metode de căutare a studiilor, precum și metode statistice.

1. Căutarea studiului: Dacă există părtinire de publicare, acest pas este important deoarece înseamnă că o căutare a literaturii publicate poate produce date care sunt doar parțial reprezentative pentru toate dovezile. Putem contracara acest lucru căutând literatură gri, inclusiv disertații, preprinturi, rapoarte guvernamentale sau lucrări ale conferințelor. Din fericire, preînregistrarea devine tot mai comună în multe discipline. Acest lucru face posibilă căutarea în registrele de studii pentru studii cu date nepublicate și să întrebați autorii dacă pot furniza date care nu au fost făcute publice (încă). Căutarea literaturii gri poate fi plictisitoare și frustrantă, dar merită. Un studiu amplu a constatat că includerea literaturii gri și nepublicate poate ajuta la evitarea supraestimării efectelor adevărate.
2. Metode statistice: Procedurile statistice pot examina și prezența publicării. Este important de reținut că niciuna dintre aceste metode nu poate identifica în mod direct prejudecățile de publicare. Cu toate acestea, ei pot examina anumite proprietăți ale datelor care ar putea servi ca potențiali indicatori ai prezenței acestora. Unele metode pot, de asemenea, cuantifica efectul general real atunci când se corectează distorsiunea de publicare.

Forest plots, deși nu sunt concepute în mod explicit pentru a identifica prejudecățile de publicare, sunt utilizate în mod obișnuit în meta-analize pentru a prezenta vizual mărimea efectului studiului individual și intervalele de încredere (Echipa AJE, 2023; Harrer și colab., 2021) ^[1]. Rolul forest plots în promovarea transparenței și reproductibilității este semnificativ, deoarece le permit cercetătorilor să utilizeze răspândirea și distribuția dimensiunilor efectului pentru a evalua dacă există o lipsă de studii mai mici cu rezultate nule sau negative, ceea ce ar putea indica o potențială părtinire de publicare. Această funcție cheie a forest plots subliniază importanța lor în cercetare. Forest plots sunt metoda tipică de afișare a meta-analizelor. Ele prezintă vizual efectul observat, intervalul de încredere și, de obicei, ponderea fiecărui studiu. În plus, ele arată efectul combinat pe care l-am calculat într-o meta-analiză. Acest lucru le permite altora să evalueze prompt acuratețea și gama studiilor incluse și relația dintre efectul combinat și mărimea efectului observat.

Figura 6 oferă o reprezentare vizuală a elementelor primare ale forest plots. În partea stângă, testele de studiu individuale, precum și eterogenitatea generală și valorile mărimii efectului sunt prezentate într-un format vizual ușor de utilizat.

O reprezentare vizuală în partea dreaptă ilustrează dimensiunea efectului fiecărui studiu, poziționată de obicei în centrul parcelei. Această reprezentare grafică ilustrează estimarea punctuală a studiului a mărimii efectului pe axa x, servind ca un indicator crucial al mărimii efectului. Estimarea punctuală este însoțită de o linie care ilustrează intervalul intervalului de încredere calculat pentru mărimea efectului observat. Această linie reprezintă vizual incertitudinea asociată cu estimarea punctuală. Rețineți că estimarea punctuală este de obicei reprezentată de un pătrat, dimensiunea pătratului fiind determinată de ponderea mărimii efectului; studiile cu o greutate mai mare (a 7-a, a 8-a și a 9-a) sunt descrise printr-un pătrat mai mare, în timp ce studiile cu o greutate mai mică au un pătrat mai mic. Un forest plot convențional ar trebui să includă, de asemenea, datele privind dimensiunea efectului utilizate în meta-analiză pentru a permite altora să reproducă rezultatele noastre.

Forest plots sunt utilizate în mod obișnuit în meta-analize pentru a reprezenta vizual mărimea efectului studiului individual și intervalele de încredere. Cercetătorii pot identifica potențialele părtiniri de publicare examinând răspândirea și distribuția dimensiunilor efectului. Aceste diagrame oferă o afișare grafică a efectelor observate, a intervalelor de încredere și a ponderii fiecărui studiu, oferind o modalitate rapidă de a evalua precizia și răspândirea studiilor incluse și modul în care efectul cumulat se leagă de mărimea efectului observat (Harrer et al., 2021). În plus, sunt ilustrate principalele componente ale unei forest plots, oferind o imagine de ansamblu asupra testelor de studiu individuale și a valorilor mărimii efectului. În plus, estimarea punctuală a unui studiu este vizualizată împreună cu o linie care reprezintă intervalul de încredere. Dimensiunea pătratului din jurul estimării punctuale reflectă ponderea mărimii efectului. De asemenea, este convențional ca un forest plot să conțină datele privind dimensiunea efectului utilizate în meta-analiză, permițând altora să reproducă rezultatele.

^[1]Puteți vizualiza rezultatele meta-analizei în SPSS în Anexa 1.

Graficele tip pâlnie servesc ca instrument vizual pentru evaluarea părtinirii publicării, orice asimetrie din diagramă indicând potențial părtinire. În plus, teste statistice, cum ar fi testul de regresie al lui Egger sau testul lui Begg, pot fi folosite pentru a identifica părtinirea publicării.

Analiza de sensibilitate implică efectuarea meta-analizei în baza diferitelor ipoteze sau excluderea unor studii specifice pentru a stabili robustețea rezultatelor. De exemplu, cercetătorii pot alege să excludă studiile de calitate inferioară sau cele cu dimensiuni extreme ale efectului pentru a evalua coerența concluziilor generale (Blackhall & Ker, 2007).

Funnel plots și testul Egger sunt instrumente puternice în evaluarea și abordarea distorsiunilor în estimările meta-analitice. Cu toate acestea, este important să rețineți că metoda de tăiere și umplere, deși este utilă, are limitări. Analizele de sensibilitate sunt cruciale în înțelegerea și atenuarea părtinirilor, iar cercetătorii ar trebui să abordeze aceste metode cu prudență și conștientizarea provocărilor potențiale (Echipa AJE, 2023).

Funnel plot, o tehnică folosită pentru a evalua posibilitatea de bias de publicare (Harbord et al., 2006), se bazează pe premisa că studiile mai mici, în ciuda dimensiunii lor, joacă un rol semnificativ în detectarea distorsiunii de publicare. Probabilitatea ca părtinirea publicării să afecteze studiile mai mici este mai mare decât cea a unor studii mai extinse. Această diferență detectabilă este atribuită diferenței de susceptibilitate la părtinire de publicare. Dacă un cercetător finalizează un studiu mare, randomizat, probabil că va dori să îl vadă publicat chiar dacă rezultatul este negativ din cauza efortului implicat. Cu toate acestea, pentru experimente minore, scenariul poate varia. Dacă există părtinire de publicare, cel mai probabil se datorează faptului că studiile negative mici nu au fost publicate. Acest lucru subliniază importanța unor studii mai mici în detectarea părtinirii publicării, făcând procesul mai captivant și mai interesant pentru cercetători.

Graficul pâlnie, o reprezentare vizuală a dimensiunilor procesului trasat în funcție de dimensiunea efectului pe care îl prezintă, servește ca instrument de evaluare a părtinirii publicării. Pe măsură ce dimensiunea procesului crește, este posibil ca testele să convergă în jurul mărimii adevărate a efectului de bază. Ne-am aștepta la o împrăștiere uniformă a încercărilor de ambele părți ale acestui adevărat efect de bază (Fig. 6 - Graficul A). Când a apărut o eroare de publicare, se așteaptă o asimetrie în dispersarea studiilor mici, cu mai multe studii care arată un rezultat pozitiv decât cele care arată un rezultat negativ (Fig. 6 - Graficul B).

Asimetria graficului pâlnie poate fi evaluată vizual folosind diagrama pâlnie, dar pentru a o cuantifica sunt utilizate următoarele metode:

• Testul lui Egger (Egger et al., 1997): Acest test implică o analiză de regresie ponderată a estimărilor mărimii efectului asupra măsurilor lor de precizie (adică, erori standard). Accentul se pune pe linia de interceptare, indexată de b. O interceptare semnificativă statistic (cu p < 0,05) sugerează o eroare de publicare.
• Corelația de rang Testul Begg: Stabilește dacă există o relație notabilă între clasamentele mărimii efectului standardizate și clasamentele varianțelor acestora.

În concluzie, meta-analiza reprezintă o metodă cantitativă puternică care combină constatările din mai multe studii pentru a obține concluzii mai rezistente. Cercetătorii pot obține perspective mai precise și generalizabile prin colectarea sistematică a datelor, estimarea mărimii efectului, selecția modelului, evaluarea eterogenității și controlul părtinirii publicării. În ciuda punctelor sale forte, planificarea și execuția meticuloasă sunt imperative în meta-analiză pentru a evita părtinirile și interpretările greșite. Când este condus cu rigurozitate, oferă contribuții neprețuite la practica bazată pe dovezi și la elaborarea politicilor în diverse domenii științifice.

Familiarizarea cu cadrul metodologic al meta-analizei este esențială pentru a evalua validitatea acestuia în atingerea obiectivelor cercetării.

Care sunt consecințele potențiale ale părtinirii publicării asupra validității meta-analizelor? Prejudecățile de publicare pot avea un impact semnificativ asupra validității meta-analizelor în mai multe moduri:

• Influența asupra rezultatelor meta-analitice: părtinirea publicării poate suprima studiile nefavorabile, influențând rezultatele meta-analitice către o direcție favorabilă artificial.
• Provocări de detectare: Au fost propuse diverse teste statistice pentru a detecta părtinirea publicării. Cu toate acestea, adesea fac ipoteze diferite și pot avea o putere scăzută în multe cazuri, ceea ce face dificilă selectarea testului optim pentru meta-analizele din lumea reală.
• Rate scăzute de evaluare: O recenzie a meta-analizelor din reviste de chirurgie plastică și psihologie a evidențiat rate scăzute de evaluare a prejudecăților de publicare adecvate, doar un mic procent încercând să-și corecteze efectul.
• Impactul asupra concluziilor: Studiile au arătat că părtinirea publicării poate duce la efecte supraestimate și la rezultate fals pozitive, afectând validitatea concluziilor meta-analitice.
• Limitări ale metodei de detectare: testele bazate pe valoarea P pentru părtinirea publicării pot subestima prezența acesteia, în principal atunci când numărul de studii din meta-analiză este mic.
• În concluzie, părtinirea publicării poate avea consecințe semnificative asupra validității meta-analizelor, inclusiv a părtinirii rezultatelor, a concluziilor cu impact și a pune provocări pentru detectare. Ratele scăzute de evaluare adecvată și limitările metodelor de detectare subliniază și mai mult necesitatea unei analize atente a părtinirii de publicare în cercetarea meta-analitică.

Strategii de atenuare a impactului

Pentru a spori validitatea meta-analizelor, Mathur (2024) propune utilizarea anumitor strategii pentru a contracara prejudecățile de publicare.

În primul rând, Testul hibrid pentru prejudecățile de publicare a fost sugerat pentru a detecta prejudecățile de publicare prin combinarea diferitelor metode și valorificând punctele lor forte pentru a obține o sensibilitate ridicată constantă în diferite tipuri de părtinire a publicării.

În al doilea rând, analizele de sensibilitate pot determina efectul distorsiunilor interne și de publicare asupra constatărilor meta-analitice, evaluând părtinirea internă tipică între studii și nivelul de părtinire de publicare.

În al treilea rând, testele statistice obiective sunt cruciale pentru evaluarea părtinirii publicării și pentru asigurarea unei literaturi de înaltă calitate în diverse domenii, inclusiv psihologie și chirurgie.

În al patrulea rând, metode de ajustare de ultimă generație: metaanalizele în educație ar trebui să utilizeze metode avansate de ajustare, cum ar fi modelele de selecție, pentru a aborda prejudecățile de publicare.

Aceste strategii sunt susținute de dovezi din rezumate academice, care arată relevanța și eficacitatea lor în reducerea impactului părtinirii publicării asupra validității meta-analizelor. Cu toate acestea, este important să rețineți că nicio metodă nu este în mod constant superioară. Aplicarea acestor strategii ar trebui adaptată la caracteristicile specifice ale datelor meta-analitice și la natura părtinirii publicării.

Prin urmare, o combinație a acestor strategii, personalizată în contextul meta-analizei, poate ajuta la atenuarea efectelor distorsiunii de publicare și la îmbunătățirea validității rezultatelor meta-analitice.