Epic 敗血症予測モデルの外部検証 ── 数百の病院で動いていた予測の実力

Epic Sepsis Model（ESM） は、米国の電子カルテ大手 Epic Systems が自社の電子カルテに組み込んだ、入院患者の敗血症を早く見つけるための予測モデルである。2021年6月21日、ミシガン大学の Andrew Wong、Karandeep Singh らが JAMA Internal Medicine にこのモデルの独立した外部検証を発表し、入院単位の識別力（AUC）が0.63にとどまること、Epic が推奨する範囲の設定では敗血症患者の67%に警告が出なかったことを報告した。数百の病院で既に動いていた予測モデルが、開発元の示す数字を大きく下回ったこの研究は、医療 AI を検証より先に導入することの危うさを示す例として繰り返し引かれている。

医療 AI の失敗例として語られることが多いが、ESM は深層学習ではない。論文によれば、罰則付きロジスティック回帰という比較的単純な統計モデルである。問題になったのは手法の新しさではなく、検証されないまま広く使われたことだった。

どんなモデルだったか

論文の説明では、ESM は Epic が2013〜2015年に3つの医療機関の約40万5000件の診療データから開発・検証したモデルで、Epic の電子カルテの一部として数百の米国の病院で使われていた。独占的な製品であるため、性能について公開されている情報は限られ、著者らの知る限り独立した検証は発表されていなかった。

MedCity News によれば、ESM はバイタルサインや検査値など電子カルテのデータから15分ごとにリスクスコアを計算する。どのスコアで警告を出すかは病院が決め、しきい値を下げれば警告が増え、上げれば見逃しが増える。

論文は冒頭で、入院患者の敗血症は早期の発見と適切な治療が大きな死亡率の低下と関連づけられてきたと書く。早期警告システムへの期待はそこから生まれた。論文は、電子カルテの提供企業が警告システムを製品に組み込むことで、研究段階のモデルが現場に届かない「実装のギャップ」を埋めてきたと書いている。

検証の中身と結果

研究はミシガン大学の医療機関 Michigan Medicine で、2018年12月6日から2019年10月20日までに入院した18歳以上の患者を後ろ向きに調べた。ESM のスコアはすべての入院で計算されていたが、実際に警告が出るよう設定されていた病棟の入院は、評価の偏りを避けるため除外している。

スコア6は Epic が推奨する範囲内の値である。著者らの言葉では、ESM は敗血症患者の67%を捉えられなかった一方で、全入院の18%に警告を出しており、大きな「警告疲れ」を生む。敗血症患者2552人のうち、ESM が捉え、かつ臨床医がまだ抗菌薬を投与していなかった（臨床医が見逃していた）のは183人（7%）だけで、著者らはこれを、現在の臨床の実践と比べて感度が低いことを示すものだとした。

Epic 側の数字との差について、著者らは敗血症が「いつ」起きたかの扱いの違いが大きいと考えた。敗血症が起きた後の予測まで含めて評価すると成績は良く見え、発症後3時間までの予測を含める感度分析では AUC が0.80まで上がった。別の先行研究でも、ESM の警告は最初の乳酸値測定から中央値で7時間後に出ており、臨床医がすでに気づいている敗血症をなぞっている可能性が指摘されていた。

著者らが認めた限界と、Epic の反論

著者らは限界として、検証が単一の大学病院で行われたこと（ただし対象は大規模で比較的多様だとしている）、敗血症の定義に複合的な定義を使ったこと、そして敗血症の定義自体にいまも議論があることを挙げている。

Epic は MedCity News に送った声明で、この研究は実運用の前に必要な分析と微調整を考慮していないと反論した。同社はまた、モデルは臨床医の早期介入に役立っており、計算式と入力項目の全体は医療機関の管理者が見られると主張し、コロラド大学の医療機関の研究者による予稿で、ESM が既存の早期警告スコアより正確だったという結果を挙げた。一方 Wong は同じ記事で、Epic のモデルは病院の請求コードを使って敗血症の結果を学習しており、実際に敗血症の基準を満たす患者ではなく、敗血症として請求される患者を見分けるよう学習していることになると述べている。

誰に何が問われたか

論文の結論は、個々の病院の問題にとどまらなかった。著者らは、独占的なモデルの普及によって、機密扱いで査読を経ない性能文書が実世界の性能を正確に反映していない可能性があると書いた。原文では "an underbelly of confidential, non–peer-reviewed model performance documents" と表現している。さらに、電子カルテへの組み込みやすさと緩い連邦規制のために数百の病院がこうしたアルゴリズムを使い始めたとして、医療の専門団体に正式な推奨を出すよう求めた。

現場への影響は二重である。見逃しが多ければ早期警告の意味は薄れ、警告が多すぎれば著者らの言う「警告疲れ」を招く。今回のしきい値での陽性的中率は12%で、警告を受けた入院の大半は敗血症ではなかった。MedCity News によれば、Wong は各病院が自院のデータで内部検証を行うよう勧め、独占的な予測モデルは手軽さから採用する前に外部検証すべきだと述べている。

規制にも跡が残った。米保健福祉省が2024年1月9日に官報で公表した HTI-1 規則は、認証を受けた医療 IT について、予測型の意思決定支援（Predictive DSI）の技術的な性能や品質に関する情報（「ソース属性」）を、限られた利用者が確認・記録できるようにする要件を定めた。規則の費用便益分析は、性能に重大な不足を抱えながら何千万、何億という人に適用されている予測モデルがあると述べ、その例の一つとしてこの論文を挙げている。ただし規則自身も、透明性が実際により良いモデルの採用につながるかには大きな不確実性があると認めている。

続報 ── 医師の疑いをなぞる予測

ミシガン大学の別のチーム（Jenna Wiens ら）は2024年、NEJM AI に続報を発表した。大学の発表によると、約7万7000人の入院成人を調べ、入院中のすべての予測を含めると AUC 0.87と良く見えたが、患者が敗血症の基準を満たす前のデータに限ると0.62、血液培養が指示される前のデータに限ると0.53に下がった。研究者らは、モデルが頼るデータの一部に、臨床医が敗血症を疑っているという情報が意図せず含まれている可能性を指摘した。検査や治療が始まる頃には医師はすでに疑っているので、その時点の予測は臨床の助けになりにくい。

医療機器として規制当局の審査を経て販売された AI の例は、米国の IDx-DR や日本の EndoBRAIN にある。ランダム化比較試験で AI の効果を確かめた例は MASAI 試験 を、医療 AI の期待と現実の別の例は IBM Watson Health の売却 を参照のこと。全体の流れは AI と社会の年表 にある。