Saha助教は、人工知能システムの知識構造を理解するために、Layer-wise Relevance Propagation (LRP)という従来の手法にSemiring annotation（セミリング注釈)という数学的なアプローチを導入する研究を進めている。これにより、ニューラルネットワーク内で知識の関連性がどのように伝播するのか、また複数の説明手法を１つの枠組みにどのように統合できるのか、明らかにしつつある。 

AIの「ブラックボックス」問題 

近年、人工知能技術は飛躍的に進歩し、現在では画像生成や言語翻訳、さらには人間のような文章や音声の生成まで可能になっています。しかし、これらのシステムがどのようにしてその能力を向上させているのかは、未だに十分には解明されていません。ニューラルネットワークはあたかも「ブラックボックス」のように機能しているのです。高度な予測を出力する一方で、その結果がどのような過程で、なぜ導かれたのかは不明瞭であり、その推論過程はネットワーク内の数百万、あるいは数十億にも及ぶネットワーク間の微細な調整の中に隠されています。このような透明性の欠如は、とりわけ医療や自動運転車両などの自律システム分野において、信頼性や安全性に関する懸念を生じさせています。 

この問題に対処するため、XAI（説明可能なAI）の研究者たちは、ニューラルネットワークがどのように意思決定に至るのかを明らかにする手法を開発してきました。Layer-wise Relevance Propagation（LRP）はその代表例であり、出力に対してどの入力特徴が重要であったかを明らかにする手法として広く知られています。しかし、LRPはニューラルネットワークをグラフ構造として扱うグラフ理論の手法として明確に位置づけられているわけではありません。それでも、この手法はニューラルネットワークの出力を各層へと遡って追跡し、それぞれのニューロンに関連性スコアを割り当てることで機能を果たしています。例えば画像分類では、LRPを用いることで予測に最も寄与したピクセルを強調して可視化することができます。ある画像が「猫」と分類された場合、猫の耳、目、ひげの周辺のピクセルが分類結果に強く関連していることが示されます。これによって研究者はネットワークの推論過程についてより理解しやすくなります。 

このようにLRPは有用であることが示されていますが、いくつかの限界もあります。一般的に、関連性は単純な数値によって表現されます。各ニューロンや入力特徴には、最終出力への寄与度を示す単一のスコアが割り当てられます。この方法は有用ではありますが、ノードと特徴がどのように相互作用しているのか、あるいは意思決定がどのように形成されるのかといった、より複雑で構造的な情報を提供することはできません。 

このような限界を踏まえ、私たちはLRPの能力を拡張し、より詳しく理解できる情報を提供できるようにすることを目指しています。 

ニューラルネットワークの挙動をより柔軟に解釈する新しいアプローチ

本研究では、従来の単一の数値スコアではなく、Semiring annotationを使ってネットワーク内の情報の流れをわかりやすく可視化します。Semiringとは、情報をどう組み合わせて伝えるかを決める数学的なルールで、各ニューロンはこのルールに従ったannotationを持ちます。これにより、寄与する特徴量のまとまりや階層的なグループなど、さまざまな情報を表現できます。 

順伝播では入力から予測が作られ、逆伝播ではSemiringに従った関連性が出力から入力へ伝わります。Annotation関数を使って活性化値や重みをSemiringの要素に変換し、各層の関連性の合計が上の層と一致するよう設計することで、ネットワーク全体で説明の一貫性を保てます。また、Semiringの種類を変えることで、数値的な関連性から構造化された帰属情報まで、さまざまなタイプの説明を作ることができます。 

実験およびデモンストレーション

画像分類タスクで複数のSemiringを試したところ、ネットワークが注目する領域や特徴のまとまりがSemiringによって変わることがわかりました。あるSemiringは細かい寄与を強調し、別のSemiringは大きな構造や特徴のまとまりを際立たせます。具体例として「城」の画像分類タスクを取り上げ、図1に入力画像を示します。各Semiringによる関連性マップを比較することで、どのSemiringがどの視点で重要な特徴をとらえているかを直感的に確認できます。 

図2は、Semiring手法の一例であるCounting Semiringの結果と、従来のLRPの結果を比較したものです。Semiringを用いた関連性マップは従来のLRPと似ていますが、関連性の伝わり方を調整できるため、よりピンポイントに重要な部分を示すことができます。左の図はCounting Semiringによる結果で、ネットワークが注目する重要な領域だけを明確に示しています。たとえば、「城」の画像では、上部にある街灯のような関係の薄い部分を抑え、重要な構造や特徴のまとまりが際立つようになっています。一方、右の図は従来のLRPによる結果で、正と負の寄与を含めた詳細な関連性を示しています。情報量は豊富ですが、直感的にどこが重要かを把握するにはやや複雑です。
このように、直感的に重要な部分を理解したい場合には、左図のCounting Semiringによる可視化が特に有効です。 

図1.「城」に対する入力画像　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
Groudiev, A. et al. 2025. Extending Layer-wise Relevance Propagation in Neural Networks using Semiring Annotations.
In Proceedings of the ProvenanceWeek 2025 (PW’ 25). Association for Computing Machinery, New York, NY, USA, 37–45. https://doi.org/10.1145/3736229.3736266. 

図2.Semiringを用いた「城」の関連性マップ
Groudiev, A. et al. 2025. Extending Layer-wise Relevance Propagation in Neural Networks using Semiring Annotations.
In Proceedings of the ProvenanceWeek 2025 (PW’ 25). Association for Computing Machinery, New York, NY, USA, 37–45. https://doi.org/10.1145/3736229.3736266. 

実験では、実用的な応用でも有効であることが示されました。ある事例では、関連性の情報を利用してニューラルネットワークのプルーニング（不要な要素の削減）を行い、精度をほとんど落とさずに、重要度の低い構成要素を削除することができました。 

より信頼できるAIに向けて 

この新しいアプローチにより、ニューラルネットワークの内部で情報がどのように処理されているかを全体的に把握しやすくなります。説明を単一の数値的なプロセスとして扱うのではなく、Semiring annotationを用いた枠組みはさまざまな説明手法を統合する統一的な数学的枠組みとして活用できます。また、特定の課題や目的に応じてSemiringを設計することも可能です。例えば、あるSemiringは因果関係を強調し、別のSemiringは特徴に基づくグループを強調するように設計できます。 

この柔軟性は、特に安全性が求められる分野で有用だと考えられます。というのも、利用者によって求める説明の形が異なるからです。エンジニアは、モデルの予測に対してどの入力がどの程度影響したかといった詳細な情報を必要とすることがありますが、一般の利用者はより直感的に理解できる説明を好む場合があります。Semiring annotationを用いた枠組みは、こうしたさまざまなニーズに一つの手法で対応できる点で特に有効です。 

人工知能システムが社会にますます組み込まれるにつれて、信頼できるモデルへの需要はさらに高まるでしょう。Semiring annotationを活用して関連性の伝播を拡張することは、その目標に向けた重要な一歩となります。 

（取材日：2026年2月2日）