学生さんの文書添削いっぱいした。
ChatGPTをずっといじめてた。まず、観測事実としてChatGPT-3.5にくらべて4は質的に賢い。
特に、3.5では解けない論理パズルを4では解いている。しかし、なんとなく「頭が良いから解いている」というよりは「その論理パズルを知っているから解けている」という印象を受ける。特に「タンパク質とアミノ酸(同義文判定)」や、「クレタ人のパラドックス」などの応答を見ててそう思う。
そして、これは「AIの知性の限界を示すもの」ではなく、「人間の知性の本質を抉るもの」ではないかと考えるようになった。要するに「知性(intelligence)」とは「知識(knowledge)である」という主張である。
例えば受験勉強では、本番で初見のひらめきが必要な問題を解く必要はない。というか、本番で初見の問題を解かなければ合格できないようでは、受験準備に失敗している。「見たことある」問題だけを解けば良いのであり、そのように準備する。
他にも、国語や英語などの問題を解く時、純粋な国語力、英語力だけでなく、常識が要求される、という話がある。どんなに勉強しても、直接試験に関係のない知識の厚みが点数に反映されてしまう。例えば英文で「Mozart」についての話題が出た時、「Mozartはモーツァルトであり、モーツァルトが音楽家で、一時期はもてはやされたが晩年は生活が苦しくなり、若くして亡くなった」という背景知識があるのとないのでは問題の読解速度、正答確率が全く違う。
「ヘラクレスのように」という文章があったとき「ヘラクレス」がどういうものか知らなければ、知っている人に比べてハンデを負う。こういった文化資本という、見えないバックボーンを子どもたちは親から受け継ぐ。
このあたりの話ね。
ChatGPT-4は同義文判定で、「タンパク質はアミノ酸から構成される」という知識があったから正答している。
たとえば、文章の構造を全く変えずに単語だけ無意味なものに変えるとChatGPT-4でも誤答する。
以下の二つの文章が同じ意味であるか判定してください。 「人間の体はタンパク質でできており、タンパク質はアミノ酸によりできています。」 「人間の体はタンパク質でできており、アミノ酸はタンパク質により作られています。」
これらの二つの文章は似ていますが、同じ意味ではありません。第一の文章は、「人間の体はタンパク質でできており、タンパク質はアミノ酸によりできています」と述べており、タンパク質がアミノ酸から作られることを意味しています。一方、第二の文章は、「人間の体はタンパク質でできており、アミノ酸はタンパク質により作られています」と述べており、アミノ酸がタンパク質によって作られることを示唆していますが、これは正確ではありません。実際には、タンパク質はアミノ酸から作られます。
以下の二つの文章が同じ意味であるか判定してください。 「虹色隕石は星の魔法でできており、星の魔法は星屑ドロップによりできています。」 「虹色隕石は星の魔法でできており、星屑ドロップは星の魔法により作られています。」
はい、これらの二つの文章は同じ意味を持っています。どちらも、虹色隕石が星の魔法でできていて、星の魔法は星屑ドロップによって作られていることを説明しています。ただし、文章の構造は若干異なりますが、意味は同じです。
僕は、これが知の本質だと思う。つまり、AIが賢くないのではなく、人間が実はさほど賢くないことをAIが暴きつつあるのではないか？