SlimeLearning SlimeTreeアーキテクチャによる 大規模言語モデルの可換的学習フレームワーク
現在のLLM学習は、同一の意味を持つトークン列の置換をすべて別サンプルとして扱っている。本論文はSlimeLearningを提案する。これはSlime構造理論(SS Theory)とSlimeTreeアーキテクチャ(日本特許出願済み)に基づく4層の可換的学習フレームワークである。(1) コーパス正規化:助詞ベース属性タグ付けで意味的等価サンプルを重複排除(10-30%削減)。(2) 属性ベース埋め込み:役割分離ベクトル空間で順序不変表現を学習。(3) 可換Attention:役割内相互作用に限定し O(n²) → O(n×k) に削減。(4) SlimeTree学習:トークン列ではなく依存構造を直接学習。統合すると理論的学習コスト削減は1/3000倍(極端ケース)。可換性原理「役割が標識されていれば順序は冗長」を推論から学習へ拡張し、LLMシステムのフルスタック最適化を完成させる。
SlimeLearning_JP.pdf
PDFファイル
271.7 KB