Supermix Expanse

ノート PC の CPU だけで構築・学習された 1 億 3,260 万パラメータの言語モデル。male-cns v1.0 の細胞型グラフ全体（11,751 細胞型・3,830,931 の型間エッジ）をトークンごとの再帰コアとして残差ストリームに接ぎ木し、他モデルから蒸留した枝と並べて動かす。コネクトームに関する事実の保留データでの損失は 3.522 → 0.571 nats/token に下がった。結果の書き方は控えめで、接ぎ木した 32 の専門家群のうち保留トークン上で教師を再現できたのは 1 つだけ、移った知識の大半は接ぎ木ではなく蒸留由来、新しいコードを書くことと生物医学用語の定義は CPU 1 回の学習では使い物にならない、と明記している。

公式サイト ↗

#language-model#graft#distillation#cpu-training#honest-results#malecns