誤差逆伝播 — 途中の層にも、学ぶ手がかりを

答えの間違いを、ネットワークの途中の重みへどう伝えるのか。対称な模様や家系図を扱う1986年の論文から、内部表現を学ぶ仕組みを読みます。

正解が出力にしかなくても、途中の計算を改善できる？

1986年10月9日はRumelhart・Hinton・WilliamsのNature論文の掲載日。逆向きの微分計算や学習法の歴史全体を、この一件から始まったとは扱いません。

展示記事更新 2026-10-29

途中の層には、直接の正解がない

入力に対して正しい答えが与えられていても、ネットワークの途中にあるユニットが何を表すべきかは、最初から指定されていません。論文は、そうした隠れた層の重みを調整し、課題に役立つ表現を作る方法を説明します。

特徴を人がすべて設計するだけでなく、正解とのずれから内部の特徴も学ぶ。この点が、論文の題名にある「representations」、つまり表現を学ぶという意味につながります。

Fig.1では、入力の並びが左右対称かどうかを見分けるネットワークが示されます。対称の位置にある入力へ、符号が逆の重みが付く構成を読み取れます。出力の答えだけでなく、学習後の内部の仕組みを観察する例です。

Fig.2〜4では、同じ形を持つ二つの家系図を使い、「人物」と「関係」から別の人物を答える課題を扱います。人名を並べて覚えるだけではなく、世代や関係に対応する内部表現がどのように現れるかが研究の対象になっています。

まず入力から出力へ計算を進め、望ましい出力との差を誤差として数値化します。次に、出力から逆向きに、各重みを少し変えたら誤差がどれだけ変わるかを求めます。この変化の割合が勾配です。

逆向きの計算には微分の連鎖律を使います。小さな計算ごとの変化をつなぎ合わせ、大きなネットワーク全体の勾配を効率よく得ます。勾配を求める誤差逆伝播と、それを使って重みを更新する最適化は、役割を分けて理解できます。

学習は、与えた課題や例と、設定した誤差の測り方に従います。訓練中の誤差を小さくできることは、未経験の問題にも正しく答えられる保証ではありません。論文の最後でも、当時の形式をそのまま脳の学習のもっともらしいモデルと見なしてはいません。

この論文の例は、方法を調べるための限られた課題です。後の画像認識や生成AIには、ネットワーク構造、計算機、データ、学習の工夫がさらに重なります。1986年だけを唯一の出発点にせず、論文自身の先行研究への参照も読みます。

本文は資料をもとにした日本語の解説です。引用画像は個別に出典を表示しています。研究の結果と現在の製品の提供条件は区別して読んでください。

研究論文Learning representations by back-propagating errors David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams / Nature · 1986-10-09 · Nature掲載日。微分や学習の考え方全体がこの日に初めて生まれたという意味ではありません。
読む場所：Abstract、References、About this article
隠れた層での表現学習、論文の著者と発表日、先行研究への参照。出版社ページでは抄録と書誌を確認。
資料確認 2026-10-29
原論文の再録Learning representations by back-propagating errors（著者公開PDF） Rumelhart, Hinton, Williams / Hintonの大学ページ · 1986-10-09 · 上記Nature論文と同じ論文の全文。別の研究成果ではありません。
読む場所：pp.533–536、式(1)–(9)、Fig.1–4とそのキャプション、最終段落
順方向と逆方向の計算、鏡映対称性の分類、二つの家系図を用いた内部表現の事例。スキャン画像を目視確認。
資料確認 2026-10-29
教育資料Multi-Layered Perceptron — AI for Beginners Microsoft / AI for Beginners contributors · 資料自体の発行年は記載せず · 資料は現代の教育用解説。
読む場所：Multi-Layered Perceptrons and Backpropagation
非線形変換、多層化、連鎖律による勾配の計算。発明者や優先権の根拠には使用しない。
資料確認 2026-10-29