タグ: funnel plot

How to check publication bias with funnel plot?

In systematic review or meta-analyses, multiple cohort studies and randomized controlled studies are integrated and conducted more precise analysis. However, it’s impossible to avoid publication bias because non-significant studies are less likely to be posted and published. If systematic reviews or meta-analyses with publication bias were conducted, incorrect treatment would be accepted. Funnel plot is one of methods to assess whether there is publication bias or not.

Scatter plot inverse of standard error on vertical axis against odds ratio or hazard ratio on horizontal axis. If there was no publication bias, funnel plot would be symmetrical. However, if there was publication bias, funnel plot would be asymmetrical.

It is required to calculate standard error in order to draw funnel plot, if point estimated of the effect size and its 95 % confidence interval are known, they are described in most of systematic reviews and meta-analysis, you can find standard error as following;

\displaystyle \mathrm{95\%CI} = Exp(LN(\mathrm{ES})\pm1.96\times\mathrm{SE})\\ \mathrm{SE}=\frac{LN(\mathrm{ES}/\mathrm{95\%LL})}{1.96}=\frac{LN(\mathrm{95\%UL}/\mathrm{ES})}{1.96}

ES: effect size, SE: standard error, 95%CI: 95 % confidence interval, 95%LL: 95 % Lower Limit, 95%UL: 95 % Upper Limit

References:
Bias in meta-analysis detected by a simple, graphical test (pdf)
A note on graphical presentation of estimated odds ratios from several clinical trials
Funnel plot (Wikipedia)

Bias in meta-analysis detected by a simple, graphical test

Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder

Abstract

Objective

Funnel plots (plots of effect estimates against sample size) may be useful to detect bias in meta-analyses that were later contradicted by large trials. We examined whether a simple test of asymmetry of funnel plots predicts discordance of results when meta-analyses are compared to large trials, and we assessed the prevalence of bias in published meta-analyses.

Design

Medline search to identify pairs consisting of a meta-analysis and a single large trial (concordance of results was assumed if effects were in the same direction and the meta-analytic estimate was within 30% of the trial); analysis of funnel plots from 37 meta-analyses identified from a hand search of four leading general medicine journals 1993-6 and 38 meta-analyses from the second 1996 issue of the Cochrane Database of Systematic Reviews.

Main outcome measure

Degree of funnel plot asymmetry as measured by the intercept from regression of standard normal deviates against precision.

Results

In the eight pairs of meta-analysis and large trial that were identified (five from cardiovascular medicine, one from diabetic medicine, one from geriatric medicine, one from perinatal medicine) there were four concordant and four discordant pairs. In all cases discordance was due to meta-analyses showing larger effects. Funnel plot asymmetry was present in three out of four discordant pairs but in none of concordant pairs. In 14 (38%) journal meta-analyses and 5 (13%) Cochrane reviews, funnel plot asymmetry indicated that there was bias.

Conclusions

A simple analysis of funnel plots provides a useful test for the likely presence of bias in meta-analyses, but as the capacity to detect bias will be limited when meta-analyses are based on a limited number of small trials the results from such analyses should be treated with considerable caution.

Key messages

  • Systematic reviews of randomised trials are the best strategy for appraising evidences; however, the findings of some meta-analyses were later contradicted by large trials
  • Funnel plots, plots of the trials’ effect estimates against sample size, are skewed and asymmetrical in the presence of publication bias and other biases
  • Funnel plot asymmetry, measured by regression analyses, predicts discordance of results when meta-analyses are compared with single large trials
  • Funnel plot asymmetry was found in 38% of meta-analyses published in leading general medicine journals and in 13% of reviews from Cochrane Database of Systematic Reviews
  • Critical examination of systematic reviews for publication and related biases should be considered a routine procedure

出版バイアスの有無をfunnel plotにより確認する

　システマティックレビューやメタアナリシスにおいて，複数のコホート試験や無作為化比較試験のデータを統合したり累積メタアナリシスを行うなどしてより精度の高い解析を行います．しかしながらそこには出版バイアスという偏りを避ける事はできません．陰性の結果の出た試験，無効の結果の出た試験などは投稿されにくく，採用されにくい傾向があるためです．仮に出版バイアスのかかった論文ばかりでシステマティックレビューやメタアナリシスが行われた場合，誤った治療法が選択される危険性が高まります．funnel plot はそのような出版バイアスを確認するための方法です．

　横軸にオッズ比や相対危険度，ハザード比などを取り，縦軸には標準誤差の逆数を取ってプロットします．標準誤差はサンプルサイズに依存するため，サンプルサイズが大きいほど標準誤差は小さくなり，従ってその逆数は大きくなります．複数の試験を funnel plot にプロットすると，理想的な状態では漏斗をひっくり返したような左右対称の形になります．しかし出版バイアスが存在する場合はいずれか片方がすっぽり抜け落ちた形になります．

　ファンネルプロットを描くには標準誤差を求める必要がありますが，効果量の点推定値およびその 95 % 信頼区間が分かっている場合，大抵のシステマティックレビューやメタアナリシスには掲載されているものですが，下記の計算で標準誤差を求めることができます．

\displaystyle \mathrm{95\%CI} = Exp(LN(\mathrm{ES})\pm1.96\times\mathrm{SE})\\ \mathrm{SE}=\frac{LN(\mathrm{ES}/\mathrm{95\%LL})}{1.96}=\frac{LN(\mathrm{95\%UL}/\mathrm{ES})}{1.96}

ES: effect size, SE: standard error, 95%CI: 95 % confidence interval, 95%LL: 95 % Lower Limit, 95%UL: 95 % Upper Limit

References:
Bias in meta-analysis detected by a simple, graphical test (pdf)
A note on graphical presentation of estimated odds ratios from several clinical trials
Funnel plot (Wikipedia)

Bias in meta-analysis detected by a simple, graphical test

Matthias Egger, George Davey Smith, Martin Schneider, Christoph Minder

要約

対象

　ファンネルプロットはサンプルサイズに対する効果の推定値をプロットしたものであり，大規模試験により後ほど矛盾を示すメタアナリシスにおけるバイアスを検出するのに有用かもしれない．我々はメタアナリシスを大規模試験と比較した際に結果の不一致をファンネルプロットの非対称性が予測するか否か試験し，出版されたメタアナリシスのバイアスの有病率を評価した．

デザイン

　メタアナリシスと単施設大規模試験のペアを同定するため Medline 検索（結果の一致は効果が同じ方向を向いており，メタアナリシスの推定値が試験の 30 % 未満であると仮定している）． 1993 年から 1996 年までの 4 つの主要な一般的な医学雑誌から手動で検索した中から抽出した 37 のメタアナリシスと，1996 年二回目に発行された Cochrane Database of Systematic Reviews から抽出した 38 のメタアナリシス．

主要転帰計測

　精度に対する標準正規偏差の回帰から切片により測定されたファンネルプロット非対称性の程度．

結果

　同定された 8 対のメタアナリシスと大規模試験において（5 対は心血管医療から抽出され 1 対は糖尿病医療から，1 対は老人医療から，1 対は周産期医療から）4 対は一致し，4 対は一致しなかった．不一致のケースは皆，より大規模な試験で証明されたメタアナリシスだった．ファンネルプロットの非対称性は不一致の 4 対のうちの 3 対に出現していたが，一致していた対には全く出現しなかった．14 雑誌 (38 %) のメタアナリシスと 5 雑誌 (13 %) のコクランレビューにおいてファンネルプロットの非対称性はバイアスが存在することを示唆していた．

考察

　ファンネルプロットという簡便な解析により，メタアナリシスにおけるバイアスが存在するらしいことの有用なテストをもたらす．しかし検出許容はメタアナリシスが小規模試験の限定された数に基づく時に限られ，その結果は注意深く取り扱うべきである．

導入

　システマティックレビューは医療介入のリスクとベネフィットにおける最も有用なエビデンスであり，臨床研究と公衆衛生における意思決定を通知するものである．そのようなレビューは可能ならいつでもメタアナリシスに基づくべきである．『解析者によって考慮されたいくつかの独立した臨床試験を結合するか統合した統計解析は，結合可能であるべきだ』と．しかしながら，いくつかのメタアナリシスの所見は後により大規模な無作為化比較試験によって矛盾が明らかになるものである．そのような不一致は技術を広く傷つけて，最初から論争の的になってきた．メタアナリシスがミスリーディングしているように見えるのは出版バイアスや多くの他のバイアスの存在を考えれば驚くことではなく，ロケーションや選択，研究の結合により導入されるのかも知れない．

　ファンネルプロットはサンプルサイズに対する試験の効果推定値をプロットしたものであり，メタアナリシスの検証を評価するのに有用かもしれない．そのファンネルプロットというのは以下の事実に基づいている．基礎治療効果の推定における精度は，要素となる研究のサンプルサイズが増えるに従い増加する．小規模試験の結果はグラフの底辺に広く分布し，試験がより大規模になるほど狭くなる．バイアスの存在しない状態では分布は左右対称の逆さまの漏斗に似た形をする筈である．逆に，もしバイアスが存在するならファンネルプロットは歪み，非対称になる筈である．

　ファンネルプロットの価値はこれまで系統的に検証されたことがなく，対称性（または非対称性）は通常，主に視覚的な検査によって非公式に定義されただけであった．当然ながら，ファンネルプロットは観察者によって異なって解釈されてきた．我々はファンネルプロットの非対称性を数値的に計測し，同じテーマを扱ったメタアナリシスと大規模試験を比較した時，その非対称性が結果の不一致を予測するかどうかを試験した．我々はファンネルプロットの非対称性の有病率，つまりバイアスの存在を評価するために同じ方法を用いた．主要な一般医学雑誌で出版されたメタアナリシスと，Cochrane 共同計画で電子的に普及しているメタアナリシスを用いた．

方法

ファンネルプロットの非対称性の計測

　我々は線形回帰法を用いてファンネルプロットの非対称を計測し，オッズ比の自然対数スケールを用いた．現在の状況では回帰直線が原点を通るという制約を課されないにも関わらず，これは Galbraith の放射状プロットの回帰分析に対応している．標準正規偏差はオッズ比をそれ自身の標準誤差で除したと定義されるが，推定精度に対して回帰し，後者は標準誤差の逆数として定義される（回帰式は次のように定義される：SND = a + b x precision）．精度が主にサンプルサイズに依存するように，小規模試験は x 軸上では 0 に近づく．小規模試験はオッズ比の統一値からの差異を提供するが，標準誤差が大きくなるために結果として標準正規偏差は 0 点に近くなる．小規模試験は両軸共に 0 点，つまり原点に近づく筈である．逆に大規模試験は正確な推定値をもたらし，もし治療が有効なら大きな標準正規偏差をもたらす．試験の集合が同質ならその点は選択バイアスによって歪まず，標準正規偏差がゼロとなる (a = 0) 原点を通る直線上に分布するはずであり，傾き b は効果のサイズと方向を示している．この状況は左右対称のファンネルプロットに対応する．

　仮に非対称が存在する場合，系統的大規模試験の結果とは異なる結果が小規模試験で出るように，回帰直線は原点を通らない筈である．切片 a は非対称性の計測を提供する．ゼロからの偏差が大きいほど非対称がより顕著となる．小規模試験がより大きく強固な効果を有するなら，対数軸の原点より下に回帰直線が来るようになるはずである．それ故，陰性の結果は小規模試験においては大規模試験よりもより顕著な利益を示唆するはずである．ある状況では（例えばいくつかの小規模試験と1つの大規模試験が存在するような場合），推定効果の分散の逆数により解析に加重することによって検出力が上昇する．我々は加重した場合としない場合の両者について検討し，解析の結果を用いてより 0 からの偏差が大きな切片を求めた．

　異質性のすべての検査とは対照的に，ファンネルプロットの非対称性テストは異質性を特異的に評価し，この状況ではより強力なテストを提供する．しかしながら，どんな異質性の解析もメタアナリシスに含まれる試験の数に依存しており，それらは一般に小規模で，試験の統計学的検出力に限界がある．それ故我々は非対称性の根拠を P < 0.1 に設定した．そして切片を 90 % 信頼区間で表現した．同じ有意水準をメタアナリシスにおける異質性の以前の解析にも用いた．

メタアナリシスとマッチングする大規模無作為試験の同定

（中略）

結果の一致・不一致

（中略）

ファンネルプロットにおける非対称性の頻度

（中略）

結果

　メタアナリシスと大規模試験を含んでいる 8 対が同定された (Table 1)．5 対は心血管医学，1 対は糖尿病医学，1 対は老人医学，1 対は周産期医学からだった．大規模試験の精度が 14.4 であるのと比較してメタアナリシスからの効果推定値は平均精度 7.9 を有していた．4 対の一致と 4 対の不一致とがあった (Fig 1)．全例において不一致はメタアナリシスの結果であり，それらは大規模試験よりも有益な効果を証明したものであった．メタアナリシスの 4 分の 3 の不一致はメタアナリシスが統計的有意 (P < 0.1) にファンネルプロットの非対称性を示していた．一致した対のファンネルプロットは全く有意な非対称を示さなかった (Fig 2, Table 2)．

Fig.1

Fig.2

　大規模試験よりも数年早く出版された 3 つのメタアナリシスのための付加的な試験が同定された．これらは更に最近のメタアナリシスから抽出された．心筋梗塞におけるマグネシウム静注試験のメタアナリシスが 5 つの付加的な試験とともに更新された時，その切片はより大きな非対称性を示した (- 1.36 (90%CI – 2.06 to – 0.66), P = 0.05)．13 の付加的試験が心不全に対する ACE 阻害薬の試験の解析に加えられた時，散布図はまだ対称性を保っていた (切片 0.07 (- 0.53 to 0.67), P = 0.85)．氏子癇前症予防のためのアスピリンの解析が更新された時には 9 つの付加的試験が追加され，ファンネルプロットは非対称性となった (切片 – 1.49 (- 2.20 to – 0.79), P = 0.003) (Fig 3)．

Fig.3

　Figure 4 に 38 の Cochrane レビューおよび 37 の雑誌のメタアナリシスの回帰切片の分布を示した．バイアスが存在しない状態ではランダムな変動により切片はゼロ点を中心に対称性に集まる筈であり，陽性値と陰性値が同数となる筈である．しかし観察された結果はそうではなかった．分布は陰性値に偏位しており，Cochrane レビューにおいては平均で – 0.24 (- 0.65 to 0.17), 雑誌のメタアナリシスにおいては – 1.00 (- 1.50 to – 0.49) であった．Cochrane レビューでは切片には 24 の陰性値と 14 の陽性値が存在し (sign test, P = 0.10)，雑誌のメタアナリシスにおいては 26 の陰性値と 11 の陽性値が存在した (sign test, P = 0.007)．Cochrane レビューの 5 編 (13%) と雑誌メタアナリシスの 14 編 (38%) に統計的に有意な非対称性の根拠を認めた．

Fig.4

考察

　無作為化比較試験から陽性の所見だけを選択して出版することは参考文献のメタアナリシスレビューにおいて考慮すべき懸念である．仮に参考文献が治療効果の利益を証明する試験が懸念される場合，そして治療効果が無いことを証明した等しく有効な試験が出版されないままであった場合，果たしてこれらの参考文献のシステマティックレビューは臨床診療や保健政策の意思決定においてどれだけ客観的な指標として役立つであろうか．このような出版バイアスのこの潜在的に深刻な結果は暫くの間認識されており，世界規模の登録の開始時には繰り返し呼ばれてきた．試験の登録と，出版された試験とされなかった試験との結果を保持するデータベースを構築すれば問題は解決するにもかかわらず，当面それが広く提起される様子はなさそうだ．

　出版バイアスとそれに関連するバイアスを持った臨床試験はそれ故メタアナリシスとシステマティックレビューの根幹となる．ここで示した所見は次のことを示唆している．簡素な図形と統計手法がこの目的には有用であると．同じ介入に対するメタアナリシスと大規模単一試験との両者一対のこの方法を試験する時には，我々はファンネルプロットにより4分の3以上の不一致の結果に非対称性を見出した．4番目はたった6つの試験に基づいているのみで，さらなる試験により更新された時には非対称性が現れてきた．

ファンネルプロット非対称性のソース

　出版バイアスはファンネルプロットの非対称性と関連してきた．にも関わらず出版された試験においては，メタアナリシスに関連した試験を同定する確率もまたそれらの結果に影響される．英語の言語バイアス，英語以外の言語で出版された雑誌に『陰性』所見が優遇して出版されるということだが，地域と包含を作り出し，そのような研究を含める可能性が低くなる．引用バイアスの結果として『陰性』となった試験は引用される頻度がより低くなり，関連する試験を検索する際により見逃されやすくなる．『陽性』試験の結果はしばしば一度ならず報告され，メタアナリシス（複数の出版バイアス）のために配置される確率を高くする．これらのバイアスは大規模試験よりも小規模試験の方に影響を与えているようである．

Selection bias

  • Publication bias
  • Location biases

True heterogeneity

  • Size of effect differs according to study size

Data iregularities

  • Poor methodological design of small studies
  • Inadequate analysis
  • Fraud

Artefactual

  • Choice of effect measure

Chance

　非対称性の他の源は手法の品質の差から生じる．より小規模な試験は一般的に大規模試験よりも方法論的に厳しさに欠けて実施され，解析される．低質の研究はまたより大きな効果を証明しがちである．ファンネルプロットに見られる対称性の程度は，効果を測定するために実施される統計量に依存するのかもしれない．イベント発生率の高いリスクにおいて，オッズ比はリスク減少や上昇を過大評価する．このことから，小規模試験が一貫して高リスク患者において実施されるとファンネルプロットの非対称性を導く結果となる．同様に，もしイベントが一定の率で発生するなら，観察期間が延長するにともなって相対危険度は単一の値に向かって移動する筈である．大規模試験においては観察期間は小規模試験のそれよりもしばしば長くなる．最終的に非対称のファンネルプロットは偶然にしか発生しなくなる．

　ファンネルプロットに示された試験は介入における内在する同じ効果を推定しないかもしれず，それぞれの結果の間のそのような異質性はファンネルプロットの非対称性に至るかもしれない．例えば，結合された転帰が次とみなされたら，介入によって影響を受ける結合された転帰の要素のため，高リスクの患者においてのみ，かなりの利益が見られるかもしれない．コレステロール低下薬は冠動脈疾患による死亡率を低下させ，高リスク患者における全死亡率に大きな効果をもたらした．その患者とは高脂血症と同定された無症候性の患者よりも冠動脈疾患と診断の確定した患者である．これが冠動脈疾患による一貫した死亡リスク低下から，高リスク患者における患者の全死因を減少させることへと敷衍されることの根拠であり，全死亡のより大きな割合が冠動脈疾患になる筈だった患者である．仮に小規模試験が高リスク患者に実施されればファンネルプロットに非対称性を生じる結果となるはずである．

　より大規模な試験が確立する前には一般に小規模試験が実施される．現在に至るまで，対照群の治療法は実験的治療の効能を低下させる方法で改善し，変化してきた．心筋梗塞に対するマグネシウム静注の効果を調べた試験で観察された結果との乖離の説明として，そのような機序が提案されてきた．この解釈は臨床試験のデータからは支持されていないのだが．結局のところ，ある介入は大規模試験においてはより徹底されずに実施されるのかもしれず，故により小規模な試験ほど最も陽性の結果が出ることを説明しているのかもしれない．我々のメタアナリシスと大規模試験との比較を考慮すると，介入の 1 つで起こりうる，つまり入院高齢者紹介のことだが．

　それゆえ全く異なる機序が箱形に要約されたファンネルプロットにおいて導かれる可能性がある．しかしこのことは重要な記録である，研究がメタアナリシスとして結合される時には，つまりこれはいつも偏った全ての推定値と関連していると．非対称性がもっと顕著になると，バイアスの量が相当なものとなる筈である．この法則の例外は非対称性が偶然だけによって起きた場合にのみ発生する．

メタアナリシスにどの程度の頻度でバイアスが存在するか

（中略）

結論

　多くの医療介入にとって大規模で決定的な試験を欠いた状態では，無作為化比較試験に基づくシステマティックレビューはエビデンスを鑑定するための最も明らかな方法である．選択バイアスと他のバイアスはこのアプローチに極めて深刻な脅威をもたらすものの，しかしながら，信用出来なくなるメタアナリシスを避けるために注意を払うべきである．ここで議論した手法はこの目的に寄与するはずであり，恐らく存在するか又は見かけ上存在しない筈のそのようなバイアスを再現可能な計測を提供する筈である．これは簡単に計算でき，要約統計量を提供する．空間上の制限からファンネルプロットの図示が許可されない時に報告可能な要約統計量である．更に方法論的調査が求められるにもかかわらず，出版物の存在と関連するバイアスのため医療研究はルーチン作業として考慮されるべきである．しかしながらメタアナリシスがもっぱら小規模試験に基づく時には，そのようなバイアスを発掘する余地は限られている．このような状況では統計的解決法はなく，そのような解析結果はそれゆえ注意深く扱うべきである．

Key messages

  • Systematic reviews of randomised trials are the best strategy for appraising evidences; however, the findings of some meta-analyses were later contradicted by large trials
  • Funnel plots, plots of the trials’ effect estimates against sample size, are skewed and asymmetrical in the presence of publication bias and other biases
  • Funnel plot asymmetry, measured by regression analyses, predicts discordance of results when meta-analyses are compared with single large trials
  • Funnel plot asymmetry was found in 38% of meta-analyses published in leading general medicine journals and in 13% of reviews from Cochrane Database of Systematic Reviews
  • Critical examination of systematic reviews for publication and related biases should be considered a routine procedure