Foids: バイオロジーを元にした魚の群行動のシミュレーション手法

Purpose

海洋資源の保全と安定した安全な食の供給のために、養殖は重要な産業である。
しかしながら、給餌は、経験者の勘に頼っているのが現実である。
そのため、IoTとAIの技術を用いた最適な給餌システムの研究開発を行うことを目的としている。

本研究では、Deep Learningを用いて、水中のビデオ映像から、尾数を自動でカウントする新しい手法を研究開発した。

Motivation

最適な給餌のためには、正確な尾数を把握することは重要な要素の一つである。

しかし、現状は、人の目によって、一度水からあげてカウントしているため、魚に負担が掛かるだけでなく、正確性に欠けることがある。

Annotation Problem

Deep Learning の学習のためには、正確なデータセットが必要である。

録画して水中映像に、人が手で正確にデータをつけようとしても、ひとつの画像にアノテーションをつけるのに、非常に時間がかかるだけでなく、正確ではない。

Synthetic data set

そのため、CGを用いて魚や生簀、水中の環境を再現し、バリエーション豊かな正確データを自動生成する手法を考案した。
録画データでは、取得しきれない、季節や時間、海中の透明度、魚の尾数等の正確データセットを自動で収集することができる。

しかし、有効な正確データを得るためには、リアルな魚のシミュレーションを実現する必要がある。

Field Experiments

シミュレーションに必要な水温、照度データおよび尾数カウントのための水中の録画データを、実際の海上養殖場にて、取得した。

Recorded Data VS Simulation Data

取得したデータをもとに、シミュレーションを行った結果と、実際の録画映像を比較したところ、トレーニングを行うための十分なシミュレーション結果を得ることができた。

Fish Simulation

リアルな魚の動きを生成するために、実際の映像から得た外観と動きから、精巧な形だけでなく、アニメーションも生成している。
魚の一個体の基礎となる動きを12種類に分け、シミュレーションでは、それらを組み合わせて、自然な動きを実現した。

Foids

魚の群行動のシミュレーションアルゴリズム、Foidsについて説明する。
Foidsは、魚の種々の特性をパラメータとして取り入れることで、生簀の中の振る舞いを自動生成することに成功した。
さらにリアルなトレーニングデータを得るために、個体の動きのシミュレーションも行った。
詳細について、以下に示す。

Bio-inspired model

個体だけでなく、群の振る舞いのシミュレーションも必要である。
鳥の群行動のシミュレーションであるBoidsに、サーモンのバイオロジカルな特性を導入したFoidsについて、説明する。

好みの水温に移動

好みの明るさに移動

衝突回避

Social Distance

泳ぐ速度の違い

意思決定までの時間

Boids VS Foids

Boids、録画映像、Foidsの比較映像
鳥の群行動アルゴリズムであるBoids、生簀の録画データ、魚の群行動のシミュレーションであるFoidsの結果を左から順に示している。
生簀は限られた空間であるため、魚の群行動は、円形を描いている。
Boidsではサークル運動は見られなかったが、提案手法であるFoidsでは、サークル運動が得られた。
これにより、リアルなCGによるトレーニングデータセットを得られることを示した。

Fish Counting

CGを用いたトレーニングの一つの例として、魚の尾数カウントを行った。

リアルタイムに2Dバウンディングボックスで表される魚の検知に成功しているのがわかる。
10sの録画データから各フレームにて、最も多くカウントされたものを尾数として、人のカウント結果と比較したところ、264 vs 272 となり、提案手法によって人と差のない精度を出すことができた。

Conclusion

CGによるトレーニングデータを用いたDeep Learningを鮭の尾数カウントに対して行ったところ、高い精度を得ることができた。
今後、異なる魚種や、魚の影になって見えない部分を含む尾数カウントを行っていく予定である。