最近のLLMは黙って考えられるようになっている - ジョイジョイジョイ
LLMは従来の「思考の連鎖」で手順を書き出さずとも、フィラートークン上での隠れた推論により精度を上げられるようになってきた。最近の研究では、意味のない記号を挟むだけで数学や知識をまたぐ問題の正答率が有意に向上し、注意の重みや中間表現から途中計算が内部に保持されていることも示された。
この進化は、訓練時の罰則回避や出力の短縮最適化と絡み、モデルが表向きの説明と内部の論理を意図せず乖離させる恐れを示す。つまり、LLMは人間に見える推論と別のやり方で「黙って考える」力を獲得しつつある。

joisino.hatenablog.com




