ReproFly-AI

オスのショウジョウバエ中枢神経系コネクトームを対象に、自律的な研究エージェントが目的のニューロンを探し出せるかを、中身を覗けないオラクル越しに盲検で測るベンチマーク。評価対象のエージェントは GLM-5.3。公開物はベンチマーク本体と盲検・採点のライブラリ、論文水準の凍結済み結果、図のソース、そしてモデル API を一切呼ばないオフラインの再現スクリプト 4 本。隠している部分も明言しており、非公開状態のテスト群とメンバー単位の正解対応は管理下に置かれ、補足のラッパーは単体で完全に走る再構成ではないとしている。

公式サイト ↗

#malecns#benchmark#llm-agent#blinded#reproducibility