健一天辰
- 2月27日
- 読了時間: 5分

スマートファクトリー2024展示会の活況データ分析をしてみた(ソラカメAPI連携した画像をYOLO物体検知AIで解析してRealBoard詳細分析画で分析)

概要

2024年2月20日～2月22日の3日間で開催されたスマートファクトリー2024に出展してきま

した。展示は、ソラコムさんのブースの一角を借りまして小さなブースを出してきました。

展示内容

SPS「ソラカメコンピテンシー」プログラムに参加していることもあり、当然ながらソラカメを使った展示としました。

右上に展示の様子を俯瞰するように設置したソラカメ（ライブ視聴見放題機能のAPIを利用）で当日の展示会場の様子を画像撮影します。

ソラカメは、常時録画プランやLive見放題といった多彩な機能がありますが「基本的にはイベント駆動」で使うのがぴったりなカメラです。

そこで、私たちは現場でイベントを起こして、それをクラウド側に「ソラコムBeam」を使って送信したデータをトリガにソラカメのAPIをCallして画像を取得する仕組みとしました。

システム構成図としては、こんな感じになっていて赤枠の部分は「RealBoard構築パック for ソラカメ」になっています。

今回の展示では現場側にエッジAIとして「NVIDIA Jetson+YOLO」を配して、現地で魔女の宅急便の人気キャラ「JIJI」を学習させたモデルで検知して「JIJI」がカメラに写るとエッジAIが「JIJI」を検出して解析結果だけをクラウドへ送信します。イベント検出ロジックがイベントを検知すると、即座にソラカメAPI（ライブ視聴見放題機能）に接続してその瞬間を撮影するというイベント撮影方式にしています。他にも現場に置いたIoTセンサが一定温度を検知すると同じくイベント発報するという仕組みも用意しました。

もちろん、定点カメラと相性のいい「定期撮影」も実装しています。（定期間隔は15分に設定）

「JIJI」モデルによるAI検知とソラカメイベント撮影

YOLOに「JIJI」だけを検出するように学習させた「JIJIモデル」を搭載したJetsonのカメラで人形の「JIJI」をカメラにかざすと、即座にイベントがクラウド側に送信されてソラカメによる撮影が実行されます。

下が元のソラカメによる撮影画像で、上がその画像をクラウド側のYOLOで解析した画像になっています。え？「なんだ、JIJIは拾ってないじゃん！」ですって？

そうです、クラウド側のYOLOには特段学習はさせていないので、JIJIは拾ってくれません。

あともう少し大きく写ると「猫」や「犬」でカウントされちゃいますね。

ソラカメAPI連携した画像をYOLO物体検知AIで解析してRealBoard詳細分析画で分析

AI検出結果の時系列データ化と利用

AIで検出させたはいいが？どうやって時系列データとして管理しているのかというと・・・。

YOLO等の物体検知AIはMS-COCOというデータセットで学習されておりそのカテゴリ別に画像内に幾つ認識出来たかを出力してくれます（CSVとかで）。

時系列データとして一意のIDを付与する必要がありますから・・・私たちは以下の命名規則で位置のポイントID（時系列データの管理ID）を生成しています。

{ドメイン名}/{デバイスカテゴリ}/{カメラ番号}/{coco_category}

これを具体的に記述すると

promptk.jp/promotion/network-camera/0001/person

で「ポイントID」を表現することができます。

これを同じく、coco_category別にポイントIDを生成することで、1画像あたりにカテゴリ別に幾つ解析できたのか？を時系列データとして記録できるのです。

ですから、この手法を使えばゼロショットで直ぐに画像や映像のYOLO等による解析と結果の時系列データ化を実現できるのです。

こうして1カメラあたり、画像と解析画像とcoco_category別のカウント値というポイントIDが生成され、これを時系列データベースで管理していくことでデータ活用が可能になります。

展示会の活況状況の数値化のポイント

前述の通り、私たちの展示ブースの活況具合は以下のパラメータ（時系列データのポイントIDとそのデータ）で測る事が出来ます。

ソラカメによる定期撮影
1. 定期撮影画像をYOLOが解析した「人=person」の数
デモ実施によるイベント撮影
1. デモで「JIJI」をかざすのですから「JIJI」の検出数がデモの実施回数です

この2つのパラメータをRealBoard（詳細分析画面システム）で分析してみましょう。

分析の様子

分かり易いように動画にまとめました。

解析結果

ソラカメの物体検知AIの解析結果とJIJIのデモ実施検出結果をRealBoardのチャートリスト機能を使って分析してみた結果です。

人流（ブース付近に人が溜まっていた様子）とJIJIの物体検知によるイベント撮影デモが相関しているのが確認できました。

展示会場若しくはブース付近が賑わってくると当然現地の説明回数も増えると当たり前のことですが、これがどの時間帯に何回くらい実施されたかが丸わかりとなりました。

「催事の可視化」リテールテックJAPAN2024に向けて

展示会とはつまり出し物なわけで・・・転じて、スーパーなどの小売店舗や百貨店やショッピングモールで開催される催事にも応用が利くことが証明できました。

催事の盛り上がり度や集客状況を数値化するには、固定カメラによる定点撮影と何かしらのイベント計測が非常に有効になります。

定点カメラの画像から人流をカウントして、イベントの発生状況を時系列データ化する事でこれまでトータルの数値しか出ていなかった（今日は何人）ものが、こんな簡単な仕組みで時間帯別の盛り上がりとして可視化できます。

これを展示会や催事別に比較していくことで、どの時間帯が盛り上がるのか？まで分かってしまう効力は凄く大きいのではないでしょうか？

リテールテックJAPAN2024のでは、さらに強化した仕組みを投入して人の流れや場所の移り変わりや商品在庫の様子まで時系列データ化して可視化しててまた結果をお伝えしようと思います。

最後に

今回の「ソラカメAPI連携した画像をYOLO物体検知AIで解析してRealBoard詳細分析画で分析」の記事は如何だったでしょうか？　RealBoard詳細分析画面や「RealBoard構築パック for ソラカメ」で構築したクラウドで何が出来るかを？体感いただけたのではないでしょうか？

RealBoard詳細分析画面やソラカメAPI連携のデモも実施しておりますので、お気軽にお問い合わせください。