ailia SDKで使用できる機械学習モデルである「3DObjectDetectionPyrorch」のご紹介です。エッジ向け推論フレームワークであるailia SDKとailia MODELSに公開されている機械学習モデルを使用することで、簡単にAIの機能をアプリケーションに実装することができます。
3DObjectDetectionPytorchの概要
3DObjectDetectionPytorchは3DのBounding Boxを計算する機械学習モデルです。YOLOなどでは一般的に2DのBounding Boxを計算しますが、3D ObjectDetectionPytorchでは、奥行き情報を含む3DのBounding Boxを計算します。
GitHub – sovrasov/3d-object-detection.pytorch
This project provides code to train a two stage 3d object detection models on the Objectron dataset. Training includes…
3DObjectDetectionPytorchのアーキテクチャ
3DObjectDetectionPytorchは下記の9クラスの認識が可能です。
OBJECTRON_CLASSES = (‘bike’, ‘book’, ‘bottle’, ‘cereal_box’, ‘camera’, ‘chair’, ‘cup’, ‘laptop’, ‘shoe’)
まず、MobileNetV2 SSDで物体の2DのBounding Boxを計算した後、MobileNetV3のregression_modelで3DのBounding Boxを計算します。regression_modelでは、(1,3,224,224)の画像を入力として、(9,1,9,2)の各クラスごとの9つの(x,y)のキーポイントが出力されます。
3D Object Detection PytorchはGoogleが公開しているObjectronデータセットで学習されています。
GitHub — google-research-datasets/Objectron: Objectron is a dataset of short, object-centric video…
Objectron is a dataset of short, object-centric video clips. In addition, the videos also contain AR session metadata…
ObjectronデータセットはAR向けに開発されたデータセットで、15Kのアノテーション済みの動画と、4Mのアノテーション済みの画像が含まれています。
3DObjectDetectionPytorchを使用する
3DObjectDetectionPytorchを使用するには下記のコマンドを使用します。WEBカメラから認識可能です。
$ python3 3d-object-detection.pytorch.py -v 0
実行例です。
https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FF8jjOikMFpQ&display_name=YouTube&url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DF8jjOikMFpQ&image=http%3A%2F%2Fi.ytimg.com%2Fvi%2FF8jjOikMFpQ%2Fhqdefault.jpg&key=a19fcc184b9711e1b4764040d3dc5c07&type=text%2Fhtml&schema=youtube
ailia-models/object_detection_3d/3d-object-detection.pytorch at master · axinc-ai/ailia-models
(Image from Objectron Dataset…
関連情報
ailia SDKでは、Objectronデータセットを使用して学習したモデルとして、Googleのmediapipe_objectronも使用可能です。
ailia-models/object_detection_3d/mediapipe_objectron at master · axinc-ai/ailia-models
(Image from Objectron Dataset…
ax株式会社はAIを実用化する会社として、クロスプラットフォームでGPUを使用した高速な推論を行うことができるailia SDKを開発しています。ax株式会社ではコンサルティングからモデル作成、SDKの提供、AIを利用したアプリ・システム開発、サポートまで、 AIに関するトータルソリューションを提供していますのでお気軽にお問い合わせください。
