Mixture of Experts 基礎技術メモ
LLMで主流になったMoEの仕組みと実装上の落とし穴・対策を整理した記事。
- ねらいは、計算量を増やさずにモデル容量を拡大すること。FFNを多数の「エキスパート」に分け、トークンごとにTop-kだけ動かす。
- ルーティングはToken choiceが主流。他にExpert choiceや最適輸送、ハッシュ割当もある。
- 偏り(特定エキスパートに集中)を防ぐため、補助負荷分散損失で均等化。ただし本来の予測目的と干渉しがち。
- DeepSeek-V3はAux-loss-freeの動的バイアスで「選ぶ時だけ」混雑を抑制。
- Kimi K3はQuantile Balancing(分位点から必要バイアス量を直に推定)で多数エキスパートでも安定高速に調整。
- MiMo-V2.6も動的バイアス系。RL後に偏り悪化→ルーティング重みを戻して回復。
- 実装注意:全エキスパートの重みを載せる必要がありGPUメモリは総量分必要。量子化の併用が現実的。
- 共有エキスパート(全トークンが必ず通る共通処理)は効果が研究で割れており、採用はケース次第。

iwashi.co






