Gemini3 ChatGPT ともに間違う/勉強には役立つけれど気を付けないと

Nano Banana Pro Imageのtips19「数学問題の解答」にトライしていて、いろいろ気が付いたことがあったのでお知らせします。

tips19「数学問題の解答」について、SeaArt版Nano Banana Pro Imageでトライしました。

アップロード画像

※「ちびむすドリル」様より

問題に基づいて、対応する場所に問題の答えを書き込んでください。

生成ボタンを押すとシステムからキャンセルされてしまいました。

そこで、次にGemini3へ行って同じことをしました。すると、画像は生成されずに解答と解説が提示されました。

(1)の解答は正しいですが、(2)の解答は間違えています。正しくは、角a=60度、角b=105度です。また、()と【】を間違えています。

Gemini3へ行ってプロンプト欄に入力して生成した時、試行プロセスが次々と英語で表示されました。速過ぎてなかなかわからなかったのですが、アングルという単語が何度も出てきたので、錯角や同位角について考えながら求めたのだなと思います。思考の時間は約2分くらいで少し長かったです。

角bの求め方はいろいろあります。角aが求められれば、三角形の外角を使う方法もありますが、そのような求め方はしていませんでした。また、補助線を引く方法も使っていません。

さて、本題は、数学の問題ではなく、Gemini3のことでしたのでそちらへ戻ります。

Gemini3のプロンプト欄には、追加の項目があります。そこで、Nano Banana Pro Imageをオンにして、先ほどと同じことにトライしてみます。

その結果、画像は生成されずに、回答(※解答)が返ってきました。

やはり、(2)の解答が間違っています。回答(※解答)までには、1分もかかりませんでした。()と【】は間違えていません。この細かい違いが面白いです。

今回の例で学んだこと
・AIを使う上で再三言われていることだが、正しさの検証は絶対におろそかにできない。
・今回の例で、追加機能のオンオフでの生成時間は、想定とは逆で、Nano Banana Pro Imageをオンにした方が解答を得るだけなら時間が短かった。
・同じAIでも、使い方によっては、()と【】の微妙な違いがあった。

更に、驚愕の事実が・・・
ChatGPTでも同じことにトライしました。その結果、(2)の解答がGemini3と同じでした。思考時間は、1m55sと表示されました。正否を別にしても、思考時間は、人間の方が圧倒的に短いと思います。中学生の問題だから「秒」で解く人もたくさんいるでしょう。

角bは、見た目でも90度以上あります。仮にこの問題を解けない人でもそこに気が付く人がいると思います。それなら解けなくても間違いには気づけます。

解けても解けなくても、素晴らしきかな人間の能力。

ひょっとして、AIの新たなベンチマークを発見したかもしれません(笑)※正しさと速さ
どちらのAIも次のバージョンが出た時に、また、この問題で試してみたいと思います。

2025.12.07追記
取り上げた2つのAI以外にいくつかのAIにも同じ問題を問いかけてみました。すると、すべての解答が間違っていました。半分だけできた二つのAIは、それでもかなり優秀だったことがわかりました。

コメント

タイトルとURLをコピーしました