Bölüm III. Yayın Önyargısı ve Kalite Değerlendirmesi

Meta-analizlerde yayın yanlılığıyla ilişkili potansiyel yanlılıklar nelerdir?

Yayın yanlılığı, önemli veya olumlu sonuçları olan çalışmaların yayınlanma olasılığının, sonuçsuz veya olumsuz sonuçları olanlara göre daha yüksek olması durumunda ortaya çıkar ve potansiyel olarak meta-analitik bulguları çarpıtabilir.

Eğer bir meta-analiz güncel yöntemleri kullanmazsa, iyi bir meta-analiz politika yapıcıları ve araştırmacıları aydınlattığı kadar yanıltıcı olabilir. Temel bir sorun, yayın seçimi yanlılığı ve 'p-hacking'dir; bu, istatistiksel olarak anlamlı sonuçlar üretinceye kadar veri analizini manipüle ederek bulguların doğruluğunu tehlikeye atmayı ifade eder. 2022'de yayınlanan 107.000 meta-analizin yarısından fazlası yayın yanlılığını hiç tartışmıyor. Yayın yanlılığı veya p-hackleme, bildirilen tipik etki büyüklüğünü kolayca iki veya daha fazla abartabildiğinden, yayın yanlılığını göz ardı eden meta-analizler yarardan çok zarara neden olabilir ( Irsova ve diğerleri, 2023).

Yayımlanmamış çalışmaların sistematik derlemelere dahil edilmemesi, kritik kanıtların hariç tutulmasına yol açabilir ve taraflı, aşırı olumlu sonuçlara yol açabilir. Önceki çalışmalar gri literatürü dikkate almayan meta-analizlerin müdahalelerin etkinliğini abartabileceğini ve potansiyel olarak yanlış yönlendirilmiş politikalara ve etkisiz müdahalelere yol açabileceğini öne sürdüğü için bu önemli bir endişe kaynağıdır.

Yayın seçimi yanlılığını gidermek için son zamanlarda sağlam teorik temellere sahip çok sayıda karmaşık yöntem geliştirilmiştir. Bu yaklaşımlar kapsamlı Monte Carlo simülasyonları yoluyla doğrulanmıştır ve çok sayıda çalışmaya uygulanabilir. Trim and Fill tekniği, Egger regresyon testi ve Copas seçim modeli bu yöntemler arasındadır. Son gelişmeler aynı zamanda model belirsizliği ve belirli p-hack türleri çerçevesinde gözlemlenen ve gözlemlenmeyen sistematik heterojenliğin yönetimini de kapsamaktadır [1]. Yöntemdeki bu ilerlemeler bir arada, çağdaş araştırmaların anlaşılması ve yorumlanmasında ileriye yönelik önemli adımları oluşturmaktadır.

Bir meta-analiz yürütürken, çalışmanın sonuçlarını etkileyebilecek çeşitli Önyargı kaynaklarını dikkate almak çok önemlidir. Bu kapsamlı yaklaşım, bulguların geçerliliğini ve güvenilirliğini sağlamak için gereklidir. Dikkat edilmesi gereken yaygın Önyargı kaynakları şunlardır:

• Seçim Önyargısı: Bu, çalışmalar veya katılımcılar rastgele seçilmediğinde ortaya çıkabilir ve bu da çarpık bir popülasyon temsiline yol açar.
• Raporlama Önyargısı , mevcut sonuçların sistematik olarak eksik sonuçlardan farklı olması ve çoğunlukla önemli, olumlu sonuçların lehine olması durumunda ortaya çıkar.
• Performans Önyargısı ve Tespit Önyargısı: Bu önyargılar, çalışmalardaki müdahalelerin uygulanmasını ve sonuçlarını etkileyerek sonuçları etkileyebilir.
• Yıpranma Önyargısı: Bu Önyargı, çalışma gruplarından farklı katılımcı kaybı olduğunda ortaya çıkar ve potansiyel olarak bulguların geçerliliğini etkiler.
• İhmal Edilen Değişken Önyargısı: Bu Önyargı, bir meta-analizde, özellikle yanlış Önyargıyı düzeltirken ortalama tahminlerin bozulmasına yol açabilir.
• Meta-analizlerdeki yayın yanlılığı, akademik özetlerden elde edilen aşağıdaki görüşlerin de gösterdiği gibi, bir dizi potansiyel yanlılığı ortaya çıkarabilir. Alandaki sonuçların geçerliliğini ve genellenmesini önemli ölçüde etkileyebilecek bu önyargılar, araştırmanın temel odak noktalarından biridir.
• Yayın Önyargısının Etkisi: Yayın yanlılığının meta-analitik sonuçlar üzerindeki etkisi, abartılamayacak kadar kritik bir konudur. Potansiyel olarak olumsuz çalışmaları bastırabilir, böylece sonuçları yapay olarak olumlu sonuçlara yönlendirebilir; bu, araştırmanın ele alması gereken bir endişedir.
• Tespit Yöntemleri: Yayın yanlılığını tespit etmek için çeşitli istatistiksel testler önerilmiştir, ancak bunların etkinliği nedene ilişkin varsayımlara bağlıdır ve bu da farklı senaryolar arasında değişen güçlere yol açar. Her ne kadar meta-analizlerde yayın yanlılığı kabul edilse de, bunun etkilerinin resmi olarak değerlendirilmesi ve düzeltilmesine acil bir ihtiyaç vardır. Şu anda meta-analizlerin yalnızca küçük bir yüzdesi yayın yanlılığını gidermeye çalışıyor ve bu da bu konunun aciliyetini vurguluyor.
  • Geçerlilik Üzerindeki Etki: Meta-analizlerde, özellikle belirli disiplinlerde, potansiyel yayın yanlılığının yaygınlığı, sonuçların geçerliliği ve genelleştirilmesi konusunda endişelere yol açmaktadır.
  • Metodolojik Zorluklar: Standart meta-analiz yöntemleri, sonuçların eksik raporlanması ve düşük çalışma kalitesi nedeniyle yanlılığa karşı hassastır ve bu yanlılığın değerlendirilmesine yönelik açık bir kılavuz yoktur.
  • Test Sınırlamaları: Egger testi ve ağırlıklı regresyon testleri gibi bazı yayın yanlılığı testleri, özellikle değişen varyans varlığında yüksek Tip I hata oranlarına veya düşük istatistiksel güce sahip olabilir. Bu fenomen, istatistiksel olarak anlamlı bulgulara sahip araştırma çalışmalarının, anlamlı olmayan sonuçlara sahip araştırmalardan daha sık yayınlanmasıyla ortaya çıkar. Bunun gerçek etki boyutunun olduğundan fazla tahmin edilmesine yol açabileceğini akılda tutmak çok önemlidir.

Harrer ve ark. (2021 ve Page ve diğerleri. (2021) ) , meta-analizimizde kanıtları çarpıtabilecek başka faktörlerin de olduğunu anlamak önemlidir. Bu faktörler önemli bir etkiye sahip olabilir ve şunları içerebilir:

• Alıntı yanlılığı, olumsuz veya sonuçsuz bulgulara sahip çalışmaların, yayınlanmış olsa bile, diğer ilgili literatür tarafından referans alınma ihtimalinin düşük olması durumunda ortaya çıkar. Bu, bu çalışmaları referans aramaları yoluyla tanımlamayı daha zor hale getirebilir.
• Zaman gecikmesi yanlılığı: Olumlu sonuçlara sahip çalışmalar genellikle olumsuz bulgulara sahip olanlardan daha önce yayınlanır. Bu, yakın zamanda yürütülen olumlu bulgulara sahip çalışmaların bulgularının çoğunlukla zaten mevcut olduğu, ancak anlamlı olmayan sonuçlara sahip olanların mevcut olmadığı anlamına gelir.
• Çoklu yayın yanlılığı: "Başarılı" çalışmaların sonuçlarının çeşitli dergi makalelerinde rapor edilme olasılığı daha yüksektir, bu da bunlardan en az birini bulmayı kolaylaştırır. Çalışma bulgularının çeşitli makalelerde raporlanması uygulamasına "salam dilimleme" de denir.
• Dil yanlılığı: Çoğu disiplinde kanıtların yayınlandığı birincil dil İngilizcedir. Özellikle araştırmacıların içeriği anlamak için çeviriye ihtiyaç duyduğu durumlarda, diğer dillerdeki yayınların tespit edilme olasılığı daha düşüktür. İngilizce çalışmalar diğer dillerde yayınlananlardan sistematik olarak farklı olduğunda yanlılık olasılığı mevcuttur.
• Sonuç raporlama yanlılığı: Özellikle birçok çalışma ve deneysel tasarım, birden fazla ilgilenilen sonucu ölçer. Bazı bilim adamları, yalnızca hipotezlerini destekleyen sonuçları açıklayarak ve onu doğrulamayanları göz ardı ederek bundan yararlanırlar. Bu aynı zamanda önyargıya da yol açabilir: Teknik açıdan konuşursak, çalışma yayınlandı, ancak (olumsuz) sonucu rapor edilmediği için meta-analizimizde hala eksik olacak.

[1]Bulguların doğruluğundan ödün verecek şekilde istatistiksel olarak anlamlı sonuçlar üretinceye kadar veri analizinin manipülasyonu

Çalışmalarda bir dereceye kadar önyargı neredeyse kaçınılmaz olsa da, bu önyargıları ve bunların çalışma tasarımlarındaki tezahürlerini anlamanın, bunların bir meta-analizin sonuçları üzerindeki etkilerini azaltmak için çok önemli olduğunu belirtmek önemlidir. Yayın yanlılığı, tanımlama ve düzeltme gerektiren etkileri artırarak meta-analizleri bozabilir. Yayın ve raporlama yanlılığının yanı sıra şüpheli araştırma uygulamalarının (QRP'ler) etkisini azaltmak için meta-analizlerde çeşitli teknikler kullanılabilir. Bu yaklaşımlar istatistiksel yöntemlerin yanı sıra çalışma arama yöntemlerini de kapsar.

1. Çalışma araştırması: Yayın yanlılığı mevcutsa bu adım önemlidir çünkü bu, yayınlanmış literatür araştırmasının tüm kanıtları yalnızca kısmen temsil eden veriler sağlayabileceği anlamına gelir. Tezleri, ön baskıları, hükümet raporlarını veya konferans tutanaklarını içeren gri literatürü arayarak bu durumu ortadan kaldırabiliriz. Neyse ki ön kayıt birçok disiplinde de yaygınlaşıyor. Bu, yayınlanmamış verilere sahip çalışmalar için çalışma kayıtlarını aramayı ve yazarlara (henüz kamuya açıklanmamış verileri sağlayıp sağlayamayacaklarını sormayı) mümkün kılar. Gri literatür araştırması sıkıcı ve sinir bozucu olabilir, ancak buna değer. Büyük bir çalışma, gri ve yayınlanmamış literatürün dahil edilmesinin, gerçek etkilerin olduğundan fazla tahmin edilmesini önlemeye yardımcı olabileceğini buldu.
2. İstatistiksel yöntemler: İstatistiksel prosedürler aynı zamanda yayının varlığını da inceleyebilir. Bu yöntemlerin hiçbirinin yayın yanlılığını doğrudan tespit edemeyeceğini belirtmek önemlidir. Ancak verinin varlığının potansiyel göstergesi olarak hizmet edebilecek belirli özelliklerini inceleyebilirler . Bazı yöntemler, yayın yanlılığını düzeltirken gerçek genel etkiyi de ölçebilir.

Orman grafikleri, açıkça yayın yanlılığını belirlemek için tasarlanmasa da, meta-analizlerde bireysel çalışma etki büyüklüklerini ve güven aralıklarını görsel olarak sunmak için yaygın olarak kullanılır (AJE Team , 2023; Harrer ve diğerleri, 2021) [1]. Orman arazilerinin şeffaflığı ve tekrarlanabilirliği teşvik etmedeki rolü önemlidir, çünkü araştırmacıların, potansiyel yayın yanlılığını gösterebilecek boş veya olumsuz sonuçlara sahip daha küçük çalışmaların eksikliğinin olup olmadığını değerlendirmek için etki büyüklüklerinin yayılımını ve dağılımını kullanmalarına olanak tanır. Orman arazilerinin bu temel işlevi, araştırmadaki öneminin altını çizmektedir. Orman grafikleri meta-analizleri görüntülemek için tipik yöntemdir. Gözlemlenen etkiyi, güven aralığını ve tipik olarak her çalışmanın ağırlığını görsel olarak sunarlar. Ayrıca meta-analizde hesapladığımız birleşik etkiyi de gösteriyorlar. Bu, başkalarının dahil edilen çalışmaların doğruluğunu ve kapsamını ve birleşik etki ile gözlemlenen etki büyüklükleri arasındaki ilişkiyi hızlı bir şekilde değerlendirmesine olanak tanır.

Şekil 4, bir orman arazisinin ana unsurlarının görsel bir temsilini sağlar. Orman grafiğinin sol tarafında bireysel çalışma testleri ile genel heterojenlik ve etki büyüklüğü değerleri kullanıcı dostu, görsel bir formatta sunulmaktadır.

Sağ taraftaki görsel bir tasvir, her bir çalışmanın etki büyüklüğünü göstermektedir ve genellikle olay örgüsünün merkezine konumlandırılmıştır. Bu grafiksel gösterim, etki büyüklüğünün önemli bir göstergesi olarak hizmet veren, x ekseni üzerindeki etki büyüklüğüne ilişkin çalışmanın nokta tahminini göstermektedir. Nokta tahminine, gözlemlenen etki büyüklüğü için hesaplanan güven aralığı aralığını gösteren bir çizgi eşlik eder. Bu çizgi, nokta tahminiyle ilişkili belirsizliği görsel olarak temsil eder. Nokta tahmininin tipik olarak bir kareyle temsil edildiğini ve karenin boyutunun etki boyutunun ağırlığına göre belirlendiğini unutmayın; daha büyük ağırlığa sahip çalışmalar (7., 8. ve 9.) daha büyük bir kareyle gösterilirken, daha düşük ağırlığa sahip çalışmalar daha küçük bir kareye sahiptir. Geleneksel bir orman grafiği, başkalarının bizim sonuçlarımızı tekrarlamasına olanak sağlamak için meta-analizde kullanılan etki büyüklüğü verilerini de içermelidir.

Orman grafikleri, bireysel çalışma etki büyüklüklerini ve güven aralıklarını görsel olarak temsil etmek için meta-analizlerde yaygın olarak kullanılır. Araştırmacılar etki büyüklüklerinin yayılımını ve dağılımını inceleyerek potansiyel yayın yanlılığını tespit edebilirler. Bu grafikler, gözlemlenen etkilerin, güven aralıklarının ve her çalışmanın ağırlığının grafiksel bir görüntüsünü sağlayarak, dahil edilen çalışmaların kesinliğini ve yayılmasını ve birleştirilmiş etkinin gözlemlenen etki büyüklükleriyle nasıl ilişkili olduğunu değerlendirmenin hızlı bir yolunu sunar (Harrer ve ark., 2021) . Ek olarak, bir orman grafiğinin ana bileşenleri gösterilerek bireysel çalışma testlerine ve etki büyüklüğü değerlerine genel bir bakış sağlanmaktadır. Ayrıca bir çalışmanın nokta tahmini, güven aralığını temsil eden bir çizgiyle birlikte görselleştirilir. Nokta tahmininin etrafındaki karenin boyutu, etki büyüklüğünün ağırlığını yansıtır. Ayrıca bir orman grafiğinin , meta-analizde kullanılan etki büyüklüğü verilerini içermesi ve diğerlerinin sonuçları tekrarlamasına olanak sağlaması da gelenekseldir .

[1]SPSS'deki meta-analizin sonuçlarını Ek 1'de görebilirsiniz.

Huni grafikleri, yayın önyargısını değerlendirmek için görsel bir araç görevi görür; grafikteki herhangi bir asimetri potansiyel olarak önyargıyı gösterir. Ek olarak, yayın yanlılığını belirlemek için Egger'in regresyon testi veya Begg'in testi gibi istatistiksel testler de kullanılabilir.

Duyarlılık analizi, meta-analizin farklı varsayımlar altında yürütülmesini veya sonuçların sağlamlığını belirlemek için belirli çalışmaları hariç tutmayı içerir. Örneğin, araştırmacılar genel sonuçların tutarlılığını değerlendirmek için düşük kaliteli çalışmaları veya aşırı etki büyüklüğüne sahip olanları hariç tutmayı tercih edebilir (Blackhall ve Ker, 2007) .

Huni grafikleri ve Egger Testi, meta-analitik tahminlerdeki önyargıları değerlendirmede ve ele almada güçlü araçlardır. Bununla birlikte, kırp ve doldur yönteminin faydalı olmasına rağmen sınırlamaları olduğunu unutmamak önemlidir. Duyarlılık analizleri önyargıların anlaşılması ve azaltılması açısından çok önemlidir ve araştırmacılar bu yöntemlere dikkatli ve olası zorluklara karşı farkındalıkla yaklaşmalıdır (AJE Ekibi, 2023).

Yayın yanlılığı olasılığını değerlendirmek için kullanılan bir teknik olan huni grafiği (Harbord ve diğerleri, 2006), boyutlarına rağmen daha küçük çalışmaların yayın yanlılığını tespit etmede önemli bir rol oynadığı önermesine dayanmaktadır. Daha küçük çalışmaları etkileyen yayın yanlılığı olasılığı, daha kapsamlı çalışmalara göre daha yüksektir. Bu tespit edilebilir fark, yayın yanlılığına duyarlılıktaki eşitsizliğe atfedilebilir. Bir araştırmacı büyük, randomize bir deneyi tamamlarsa, gösterilen çabadan dolayı sonuç olumsuz olsa bile muhtemelen bunun yayınlanmasını isteyecektir. Ancak küçük deneyler için senaryo değişebilir. Yayın yanlılığı mevcutsa, bunun nedeni büyük olasılıkla küçük olumsuz denemelerin yayınlanmamasıdır. Bu, yayın yanlılığının tespitinde daha küçük çalışmaların öneminin altını çiziyor ve süreci araştırmacılar için daha ilgi çekici ve ilgi çekici hale getiriyor.

Deneme boyutlarının, sundukları etki büyüklüğüne göre çizilen görsel bir tasviri olan huni grafiği, yayın yanlılığını değerlendirmek için bir araç görevi görür. Deneme boyutu arttıkça, denemelerin gerçek temel etki büyüklüğü etrafında birleşmesi muhtemeldir. Bu gerçek temel etkinin her iki tarafına da denemelerin eşit şekilde dağılması beklenebilir (Şekil 6 - Grafik A). Yayın yanlılığı oluştuğunda, küçük çalışmaların dağılımında bir asimetri beklenebilir; pozitif sonuç gösteren çalışmaların sayısı, negatif sonuç verenlere göre daha fazladır (Şekil 6 - Grafik B).

Huni grafiği asimetrisi, huni grafiği kullanılarak görsel olarak değerlendirilebilir ancak bunu ölçmek için aşağıdaki yöntemler kullanılır:

• Egger Testi (Egger ve diğerleri, 1997): Bu test, etki büyüklüğü tahminlerinin kesinlik ölçümleri (yani standart hatalar) üzerindeki ağırlıklı regresyon analizini içerir. Odak noktası b ile indekslenen kesişme çizgisidir. İstatistiksel olarak anlamlı bir müdahale (p < 0,05 ile) yayın yanlılığını gösterir.
• Sıra korelasyonu Begg testi: Standartlaştırılmış etki büyüklüklerinin sıralaması ile varyanslarının sıralaması arasında dikkate değer bir ilişkinin olup olmadığını belirler.

Sonuç olarak meta-analiz, birden fazla çalışmadan elde edilen bulguları birleştirerek daha dayanıklı sonuçlara varan güçlü bir niceliksel yöntemi temsil etmektedir. Araştırmacılar sistematik veri toplama, etki büyüklüğü tahmini, model seçimi, heterojenlik değerlendirmesi ve yayın yanlılığı incelemesi yoluyla daha kesin ve genelleştirilebilir bilgiler elde edebilirler. Güçlü yönlerine rağmen, meta-analizde önyargıları ve yanlış yorumlamaları önlemek için titiz planlama ve uygulama zorunludur. Titizlikle yürütüldüğünde, çeşitli bilimsel alanlarda kanıta dayalı uygulamalara ve politika oluşturmaya paha biçilmez katkılar sağlar.

Meta-analizin metodolojik çerçevesine aşina olmak, araştırma hedeflerine ulaşmada geçerliliğini değerlendirmek için esastır.

Yayın yanlılığının meta-analizlerin geçerliliği üzerindeki potansiyel sonuçları nelerdir? Yayın yanlılığı meta-analizlerin geçerliliğini çeşitli şekillerde önemli ölçüde etkileyebilir:

• Meta-Analitik Sonuçlar Üzerindeki Etki: Yayın yanlılığı, olumsuz çalışmaları bastırabilir ve meta-analitik sonuçları yapay olarak olumlu bir yöne saptırabilir.
• Tespit Zorlukları: Yayın yanlılığını tespit etmek için çeşitli istatistiksel testler önerilmiştir. Ancak çoğu zaman farklı varsayımlarda bulunurlar ve birçok durumda düşük güce sahip olabilirler, bu da gerçek dünya meta-analizleri için en uygun testi seçmeyi zorlaştırır.
• Düşük Değerlendirme Oranları: Plastik cerrahi ve psikoloji dergilerindeki meta-analizlerin incelenmesi, uygun yayın yanlılığı değerlendirmesinin düşük oranlarda olduğunu ortaya çıkardı; yalnızca küçük bir yüzde bunun etkisini düzeltmeye çalışıyor.
• Sonuçlar Üzerindeki Etki: Çalışmalar, yayın yanlılığının etkilerin olduğundan fazla tahmin edilmesine ve yanlış pozitif sonuçlara yol açarak meta-analitik sonuçların geçerliliğini etkileyebileceğini göstermiştir.
• Tespit Yöntemi Sınırlamaları: Yayın yanlılığı için P değeri odaklı testler, özellikle meta-analizdeki çalışma sayısı az olduğunda, bunun varlığını hafife alabilir.

Sonuç olarak, yayın yanlılığının meta-analizlerin geçerliliği üzerinde sonuçları yanıltıcı hale getirme, sonuçları etkileme ve tespit için zorluklar oluşturma dahil olmak üzere önemli sonuçları olabilir. Uygun değerlendirme oranlarının düşük olması ve tespit yöntemlerinin sınırlamaları, meta-analitik araştırmalarda yayın yanlılığının dikkatle değerlendirilmesi ihtiyacını daha da vurgulamaktadır.

Etkiyi Azaltmaya Yönelik Stratejiler

Meta-analizlerin geçerliliğini arttırmak için Mathur (2024), yayın yanlılığını ortadan kaldırmak için belirli stratejilerin kullanılmasını önermektedir.

İlk olarak, Hibrit Yayın Önyargısı Testi'nin, farklı yöntemleri birleştirerek ve farklı yayın yanlılığı türlerinde tutarlı yüksek hassasiyet elde etmek için bunların güçlü yönlerinden yararlanarak yayın yanlılığını tespit etmesi önerilmiştir.

İkinci olarak, Duyarlılık analizleri, çalışmalar arasındaki tipik iç yanlılığı ve yayın yanlılığı düzeyini değerlendirerek iç yanlılığın ve yayın yanlılığının meta-analitik bulgular üzerindeki etkisini belirleyebilir.

Üçüncüsü, Objektif istatistiksel testler, yayın yanlılığını değerlendirmek ve psikoloji ve cerrahi de dahil olmak üzere çeşitli alanlarda yüksek kaliteli literatür sağlamak için çok önemlidir.

Dördüncüsü, En Gelişmiş Ayarlama Yöntemleri: Eğitimdeki meta-analizler, yayın yanlılığını gidermek için seçim modelleri gibi gelişmiş ayarlama yöntemlerini kullanmalıdır.

Bu stratejiler, akademik özetlerden elde edilen kanıtlarla desteklenmekte olup, bunların meta-analizlerin geçerliliği üzerindeki yayın yanlılığının etkisini azaltmadaki alaka ve etkililiğini ortaya koymaktadır. Ancak hiçbir yöntemin sürekli olarak üstün olmadığını unutmamak önemlidir. Bu stratejilerin uygulanması, meta-analitik verilerin belirli özelliklerine ve yayın yanlılığının doğasına göre uyarlanmalıdır.

Bu nedenle, meta-analiz bağlamına göre özelleştirilmiş bu stratejilerin bir kombinasyonu, yayın yanlılığının etkilerini azaltmaya ve meta-analitik sonuçların geçerliliğini artırmaya yardımcı olabilir.