← 年表のこの時代へ2024

GPT-4o — 文章・画像・音声をまたぐ

2024年の公式発表を、能力の紹介と提供範囲に分けて読む。音声を文字へ変えてから返答する流れとの違いをたどります。

言葉の内容だけでなく、声や画像の情報も使える?

2024年5月13日は発表日。音声などの機能は段階展開とされ、すべてが同日に一般提供されたわけではありません。

展示記事更新 2026-10-29

その時代、何を目指した?

声を文字にすると、言葉は残っても、声色や話し方にある情報の一部は落ちます。複数の形式をどうつなぐかは、利用画面だけでなくモデルの構成にも関わります。

2024年の発表では、以前の音声会話が「音声を文字へ→文章で応答→音声へ」という複数モデルの流れだったと説明されています。この途中で、声の調子や背景音など、文字にしにくい情報が失われる問題がありました。

出典:Hello GPT-4o

実際には、何をした?

公式発表は、文章・音声・画像などをまたぐ能力を紹介しています。一方で、利用者へ開放される機能は段階的でした。発表動画で見える機能と、その日に使える機能を同じものとして記録しません。

発表では従来の音声体験を、音声認識・言語モデル・音声合成などの流れとして説明しています。その中間で何が失われるかを、複数形式を扱う方向へ進む背景として読めます。

出典:Hello GPT-4o

実現を支えたしくみ

GPT-4oの発表は、文字・画像・音声をひとつのモデルで扱う学習を説明しました。単に入力欄が増えるのではなく、情報を別の形式に変換する途中の制約を減らす方向です。ここで扱うのは当時の研究・製品発表です。

マルチモーダルは、入力や出力の形式をまたぐ性質を指します。画像の内容を説明すること、音声で会話すること、画像を生成することは異なる能力なので、具体的な入出力を見て判断します。

出典:Hello GPT-4o

何が変わり、何が残った?

発表されたモデルの能力と、アプリやAPIで使えた機能は分ける必要があります。公開時は文字・画像の機能から段階的に提供されました。複数の形式を扱えることだけで、見間違いや聞き違いがなくなるわけでもありません。

編集の視点:図の説明を頼むなら図そのもの、発音の違いを確かめるなら音声を使うなど、問いに必要な情報を保って渡す発想につながります。写真だけでは読めない文字や聞き取れない音は、別途書き添えると比較しやすくなります。

出典:Hello GPT-4o

出典をたどる

本文は資料をもとにした日本語の解説です。引用画像は個別に出典を表示しています。研究の結果と現在の製品の提供条件は区別して読んでください。

  1. 公式発表・研究資料Hello GPT-4o OpenAI · 2024-05-13 · モデルと段階展開の発表

    読む場所:Model capabilities; previous voice pipeline; Model availability

    従来の複数モデル音声パイプラインの情報損失と、複数形式を一つのモデルで扱う方向。

    資料確認 2026-10-22
分野・レッスン・ツール・用語を横断して探せます
ESC で閉じるAI ATLAS / SEARCH