Fly Brain HubEnglish

ツール・ライブラリ

FlyBrain-LLM

000214075

前向き計算と出力経路そのものをコネクトームにした中国語の言語モデル。164,587 ニューロン・2,556 万シナプスを丸ごと通し、注意機構も位置符号化も正規化層も残差流も KV キャッシュも transformer ブロックも持たず、系列のモデリングを配線自体の再帰に任せている。AMD の GPU を積んだデスクトップ 1 台で完結する。「ハエの配線が役に立つ」と決めてかからず 3 通りの対照実験を組み込んでおり、結果も率直で、transformer を残した混成モデルの方が純コネクトームモデルより困惑度が低いと報告している。

公式サイト ↗

FlyBrain-LLM

#language-model#no-attention#rocm#control-arms#chinese#malecns

確認した出典

上の情報は掲載日にこれらのページを読んで確認したものです。