fly-distill

Winding ら 2023 の幼虫コネクトーム（2,952 ニューロン、3 シナプス以上で 38,401 辺）を凍結した再帰層として使い、バイト単位の言語モデルを学習させる対照実験。次数を保ったシャッフル、Erdős–Rényi グラフ、重みの消去、ハブに上限を設けた条件と並べて比べる。判定規則はデータを見る前に書き、4 シードを 150M バイトまで回し、全体で約 277 GPU 時間を 4 GB のノート PC の GPU 1 枚に収めている。同梱論文の題がそのまま結論で、この規模ではハブの集中が生物的な配線の利点を覆い隠す。

公式サイト ↗

#larval#language-model#controlled-study#degree-preserving-shuffle#erdos-renyi-control#hub-cap#pre-registered