その時代、何を目指した？
エディターで書きかけたコードの続きを提案する。会話画面とは違う場所へ、生成モデルが入ってきました。開発者が文脈を与え、提案を選び、実行して確かめる使い方です。
自然言語の説明からプログラムを作るときは、文法らしさだけでなく、指定した入力で正しい値が出る必要があります。2021年のCodex論文は、コード生成を実行テストで評価する課題も用意しました。
出典：Introducing GitHub Copilot: your AI pair programmer ／ Evaluating Large Language Models Trained on Code
実際には、何をした？
GitHubの2021年の技術プレビュー発表は、コードの文脈を使って行や関数を提案するCopilotを紹介しています。当時の発表を、後年の自律的な開発機能の説明へそのまま広げないことが大切です。
Codexの研究ではHumanEvalを用い、生成されたプログラムがテストを通るかという機能的な正しさを評価します。出力の文字列が模範解答と似ているかだけを見る評価とは、確認している性質が違います。
出典：Introducing GitHub Copilot: your AI pair programmer ／ Evaluating Large Language Models Trained on Code
実現を支えたしくみ
当時のGitHub Copilotは、書いているコードの文脈から、行や関数全体の候補をエディターに出す技術プレビューでした。基盤となったCodexは、公開コードで追加学習した言語モデルです。文字列の提案を、開発中の場所へ届ける変化でした。
コードも記号の列として生成できますが、実行環境や入力条件を満たす必要があります。テストに通った範囲を確認し、試していない入力や外部サービスまで正しいと広げない読み方が、研究結果にも実際の開発にもつながります。
出典：Introducing GitHub Copilot: your AI pair programmer ／ Evaluating Large Language Models Trained on Code
何が変わり、何が残った？
Codexの原論文も、長い操作の連鎖などに難しさが残ると述べています。短い関数の評価結果は、大規模なアプリの正しさや安全性の保証ではありません。見た目が自然なコードでも、実行・確認・修正を省く理由にはなりません。
編集の視点：候補を受け入れる前に、空の入力・1件だけ・想定外の文字などを試します。「コードを書けた」より、「決めた条件で動くことを示せた」を完成の基準にすると、補完型でもエージェント型でも同じ軸で評価できます。
出典：Introducing GitHub Copilot: your AI pair programmer ／ Evaluating Large Language Models Trained on Code
出典をたどる
本文は資料をもとにした日本語の解説です。引用画像は個別に出典を表示しています。研究の結果と現在の製品の提供条件は区別して読んでください。
- 公式発表・研究資料Introducing GitHub Copilot: your AI pair programmer GitHub · 2021-06-29 · 技術プレビュー発表
読む場所：Introducing GitHub Copilot; powered by OpenAI Codex
コードの文脈を使い、エディターで行や関数を提案する当時の機能。
資料確認 2026-10-22 - 研究論文Evaluating Large Language Models Trained on Code Chen et al. / arXiv · 2021-07-07 · arXiv初公開
読む場所：Abstract; HumanEval; Limitations
Codexと実行テストによる機能的正しさの評価、長い操作連鎖などの限界。
資料確認 2026-10-22