LLMは「次の単語を当てる」だけなのに、なぜ思考しているように見えるのか?|中島聡
LLMは「次の単語を当てる」だけを学ぶが、膨大な文章とトランスフォーマー(文全体を同時に参照する仕組み)で訓練されると、言語と世界の関係が数千億の重みに埋め込まれ、次の単語予測という単純な目標から思考のようなふるまいが現れると述べる。生成は確率的で多様性が生まれ、RLHF(人の好みで調整)により助手らしく振る舞うが、内部で何が起きているかは作った側にも完全には解けず、確信をもって誤る不安定さも残る。要するに、言語の中にある世界の構造が鍵で、規模が臨界を超えると推論めいた能力が自然に立ち上がったという整理。

note.com











