3dfly

MuJoCo での飛行だが、成果物は地図である。MaleCNS で構造を与えたネットワークが下行ニューロンの活動から推力とトルクを出し、飛びながら部屋の 3D 点群を溜めていく。奥行きは運動視差とオプティックフローから取る。連続フレームから流れを計算し、自己運動と組み合わせ、コネクトームを通して視覚ニューロン集団の活動から 12×16 の奥行きマップへ復号する。古典的な StereoBM のステレオ視差は、密な比較用ベースラインとして併走させる。探索は未踏の領域へ偏らせ、衝突しても止まらず復帰する。README は、フローの抽出・視差の計算・神経の読み出しがいずれも人手で設計した近似であり、生物学的に検証されたものではないと明記している。

公式サイト ↗

#mujoco#point-cloud#motion-parallax#optic-flow#exploration#malecns