課題研究コンセプト

AI による動画短縮のための場面抽出分類システム開発
～カメラモジュールと AI を用いた動物行動のモニタリングとダイジェスト化～

目次

• 課題研究コンセプト
  • 目次
  • 目的
  • 何をして
  • どうしたいか
  • 概要
  • 実装のフロー
  • 全体図

目的

• 動物園に行っても, 動物が動いていない or どんな行動をしているか分からない
• 生態活動が不明な動物がいる
• 動物を PC のアプリケーション上で見ることによって、動物園に行くことができない人でも、動物たちの魅力を体験できる

何をして

• 動物園の動物の動きをカメラで撮影し, 細分化して AI で動きを分析する
• 人の手を使わずに自動で観察をし続け, オブジェクトストレージに安全に保管する
• その結果を AI で分析・分類し, インターネットを介してデスクトップアプリで閲覧できるようにする

どうしたいか

• 入場者に楽しんでもらい, 動物の行動についてもっと理解してもらう
• 分析によって, 新しい生態傾向を見つける
• 見つけた生態傾向を比較してほかの動物との共通点を見つける。
• 動物園に来る前の事前学習などでの利用

概要

動画が安価で手軽に撮影出来るようになったことから、動物園などの研究機関をはじめ、留守番中のペットなど身近なところでも、常時撮影が行われている。 しかしながら、長時間撮影された動画を全て見ることは困難である。本研究では、長時間連続で撮影された動物の動画を AI 技術を用いて分析・分類し、必要な動画のみを確認できるシステムを開発した。システムは、撮影に Raspberry Pi、動画分析には GPT-4 の API を利用した。
場面抽出分類システムは、動物の動画を「食事・遊び・特有の行動」に分類し、デスクトップアプリに表示した情報を見ることができるため、時間や場所を選ぶことなく必要な動画だけを効率よく見ることができる。 動物特有の行動を起こすタイミングは未知であるため、実際に動物園に行ってもその様子を観察できない可能性がある。
そのためデスクトップアプリを介して分析結果のダイジェストを見れるようにできたら、動物園に行った人が動物の行動をより深く理解できるようになると考えた。
今後は、寝ていることの多い動物園の動物たちの生態を、動画で観察できるようシステムを改良し、前述した通り人々の動物への興味関心を高めたり、動物の行動分析に活用するため、さらに精度を向上させ、詳細な分類を行うことが必要である。

実装のフロー

• 動物を撮影する
• Raspberry Pi で動物が動いている場面のみを切り取る
• 撮影した動物の動画を AI に行動ごとに分類してもらう（食事、遊び、その動物特有の行動など）
• 分類したデータを PC のアプリケーション上に表示する

全体図