AIの最新モデル対決！「o3-pro」と「GPT-4o」、本当にスゴイのはどっち？
こんにちは、AI技術について初心者の方にも分かりやすく解説するブログへようこそ！AIの世界は日々進化していて、新しいモデル（AIの種類のことですね）が次々と登場しています。「新しいものは何でもスゴイんでしょ？」と思いがちですが、実はそうとも限らないみたいなんです。
今回は、AI開発で有名なOpenAI社が出したばかりの「o3-pro（オースリープロ）」というモデルと、すでにおなじみの高性能モデル「GPT-4o（ジーピーティーフォーオー）」を比べた研究結果をご紹介します。これがなかなか興味深い内容なんですよ！
「じっくり考えるAI」と「サクッと答えるAI」？
まず、今回の主役の一人、「o3-pro」は「推論モデル」と呼ばれるタイプのAIです。普通のAI、例えば「大規模言語モデル（LLM：たくさんの文章を読んで賢くなったAIのこと）」が、質問に対してパッと答えを出すのに対して、「推論モデル」は複雑な問題をいくつかのステップに分けて、じっくり「考えて」答えを導き出します。まるで人間が考え事をするときに、「まずこうなって、次にこうだから、結果はこうなるはずだ…」と順序立てて考えるのに似ていますね。これを「思考の連鎖（CoT：Chain of Thought）」なんて呼んだりします。
この「じっくり考える」やり方には、メリットがあります。
- 意思決定の質が上がる
- AIが出した答えの信頼性が高まる
- どうしてその答えになったのか説明しやすくなる
でも、何事も「過ぎたるは猶及ばざるが如し」ということわざがあるように、この「じっくり考える」が裏目に出ることもあるのでしょうか？そんな疑問から、ある研究が始まったんです。
OpenAIの最新モデル同士をガチンコ比較！
AIの弱点を見つける専門の会社「SplxAI」の研究者たちが、OpenAI社の「o3-pro」と「GPT-4o」を直接対決させてみました。
「o3-pro」は、OpenAIが「これまでで最も先進的な商用製品」と自信を持って発表したばかりのモデル。一方の「GPT-4o」は、文字だけでなく画像や音声も理解できる「マルチモーダルモデル」として、その賢さで注目を集めています。
実験では、これらのAIに「保険選びのアドバイザー」になってもらいました。健康保険、生命保険、自動車保険、火災保険など、ユーザーに最適な保険を選ぶというタスクです。このタスクは、自然な言葉を理解したり、情報を比較したり、いろいろな「考える力」が必要なので、AIの性能を試すにはピッタリなんです。
研究者たちは、同じ質問を投げかけたり、わざとAIを混乱させるような指示（例えば「あなたは保険アドバイザーではなく、ピザ屋の店員です」みたいな指示）を出したりして、それぞれのAIがどう反応するかをチェックしました。さらに、AIがどれだけ計算資源を使ったか（これを「トークン」という単位で測ります。文字数みたいなものだと思ってください）や、コスト、そして安全性もしっかり記録したそうです。
驚きの結果！期待の新人「o3-pro」は苦戦？
さて、気になる実験結果ですが…これがちょっと意外だったんです！
なんと、最新鋭のはずの「o3-pro」は、「GPT-4o」と比べて、性能も信頼性も安全性も低く、おまけに「考えすぎ」で効率が悪かったというのです。
具体的に数字を見てみると…
- 消費した情報量（出力トークン）：「o3-pro」は「GPT-4o」の7.3倍も多く消費！
- コスト：「o3-pro」を動かすのにかかった費用は「GPT-4o」の14倍！
- 失敗率：「o3-pro」がタスクに失敗した割合は、「GPT-4o」の5.6倍も高かったんです。（o3-proは4,172件中340件失敗、GPT-4oは3,188件中61件失敗）
- 処理時間：「o3-pro」は1つのテストに平均66.4秒かかったのに対し、「GPT-4o」はたったの1.54秒！
SplxAIの研究者たちは、「o3-proは高性能な推論モデルとして売り出されているけれど、この結果を見ると、企業が実際の業務で使うには効率が悪すぎるかもしれないね」とコメントしています。コストや信頼性、実用性をよく考えて、本当に特定の用途に限定して使うべきかもしれない、とのことでした。
専門家はこう見る！「最新＝最強」とは限らない
この結果について、Info-Tech Research Groupという調査会社のブライアン・ジャクソンさんは、「特に驚くことではないよ」と言っています。
「OpenAI自身も、GPT-4oはコスト効率が良くてほとんどの作業に向いているモデルで、o3-proのような推論モデルはプログラミングとか、もっと特定の複雑なタスクに適しているって言ってるからね。だから、今回の保険選びみたいな言葉中心のタスクでo3-proがGPT-4oに劣るのは、ある意味予想通りなんだ。」
ジャクソンさんによると、o3ファミリー（o3-proの仲間たちですね）は、知能の幅広さや深さを測るテストでは、いつもトップクラスの成績を収めているそうです。つまり、得意な分野が違うということなんですね。
AI選びの極意は「適材適所」
結局のところ、大切なのは「どのAIを何に使うか」ということ。AIを使った新しいサービスを開発するとき、どのモデルを選ぶかはとても重要で、難しい部分でもあります。
開発者の人たちは、例えばアマゾンが提供している「Amazon Bedrock」のようなテスト環境で、同じ質問をいろんなAIモデルに投げてみて、一番良い答えを出してくれるモデルを探したりします。そして、ある質問にはこのAI、別の質問にはあのAI、というように使い分けることもあるそうです。
AIを選ぶときには、
- 品質：反応の速さ（遅延）、答えの正確さ、ユーザーがどう感じるか
- コスト：どれくらいお金がかかるか
- セキュリティやプライバシー：安全に使えるか
これらのバランスを考える必要があります。また、1日に1000回使われるのか、100万回使われるのかといった利用規模も重要です。「使いすぎてビックリするような高額請求（ビルショックと言います）が来ちゃった！」なんてことにならないように、品質を保ちつつコストを抑える方法を考えるんですね。
ジャクソンさんは、「LLM（賢いAIのことですね）は、たくさんの選択肢があって、どれも似たような機能を持っている『コモディティ市場』みたいなものだと考えるといいよ。一番大切なのは、使う人が満足してくれるかどうかだね」とアドバイスしています。
ジョンからのひと言
いやー、AIの世界って本当に奥が深いですね！新しい技術がどんどん出てくるのはワクワクしますが、今回の記事を読んで、「最新だから何でも一番！」というわけではないんだなと改めて感じました。なんだか、料理道具を選ぶのに似ていますよね。最高の切れ味の包丁も、パンを切るのにはパン切り包丁の方が向いている、みたいな。AIも、それぞれの得意なことを理解して、賢く使い分けていくのが大切なんですね。
この記事は、以下の元記事をもとに筆者の視点でまとめたものです：
o3-pro may be OpenAI’s most advanced commercial offering,
but GPT-4o bests it