その時代、何を目指した？
新しい課題ごとに別のモデルを訓練する以外に、文章として課題の説明や例を与える方法があります。GPT-3の研究は、この使い方をさまざまな課題で評価しました。
課題ごとに大量の正解例を集め、モデルを追加学習させる方法には準備の負担がありました。少数の例や説明をその場で渡すだけで、新しい課題に対応できるかが研究の問いでした。
実際には、何をした？
論文では、例を与えない場合、一つ与える場合、少数の例を与える場合を区別して評価しています。入力の形式と課題ごとの結果を合わせて読むと、単に「大きくすると何でもできる」という見方を避けられます。
評価時の少数例は入力文脈に置かれ、モデルの重みをその課題用に更新する追加学習とは区別されます。履歴を増やす操作と、学習済みモデルそのものを作り替える操作は同じではありません。
資料を見て読む
画像を原寸で開く 自己回帰生成を単純化した模式図。A〜Fは説明用の記号で、実際の単語分割や確率ではありません。Transformerはモデルの設計、自己回帰は出力を順に作る方法で、別の観点です。
AI ATLAS · 本サイト制作の解説図 · 原図を掲載。研究の実測値・実出力ではありません。
実現を支えたしくみ
GPT-3の研究では大規模な自己回帰型の言語モデルに、指示と少数の例を文章として与えました。評価時にはモデルの重みを更新せずに、翻訳・質問応答など複数の課題を試しています。これが文脈内学習を考える具体例になります。
文章をトークンの列として扱い、続く候補の分布から次を選び、文脈へ加えて繰り返します。下の解説図はこの流れを示すもので、論文から引用した実際の確率やトークン分割ではありません。
何が変わり、何が残った？
論文では苦手な課題や、学習用のWebデータに評価問題が混ざる問題も論じています。少数例での成功は、未知の問題すべてに対応できる保証ではありません。例の形式だけでなく、答えの内容を別に点検しましょう。
編集の視点：「件名→短い要約」の例を2つ見せてから3件目を頼むと、求める形式を共有できます。例を見せるのは、その会話の入力を整える操作です。サービス全体がその場で再学習された、と考える必要はありません。
出典をたどる
本文は資料をもとにした日本語の解説です。引用画像は個別に出典を表示しています。研究の結果と現在の製品の提供条件は区別して読んでください。
- 研究論文Language Models are Few-Shot Learners Brown et al. / arXiv · 2020-05-28 · arXiv初公開
読む場所：Abstract; Approach; Measuring and Preventing Memorization Of Benchmarks; Limitations
評価時に重みを更新しない少数例の文脈内学習と、課題依存の成績・評価汚染の限界。
資料確認 2026-10-22