通常、CoreMLのモデルはXcode上でプレビューするか、Xcodeでアプリケーションをビルドして実行する必要があります。
Vision Detectorを使うと、CoreMLモデルを簡単に実行することができます。
iPhone/iPad版とMac版があります。
CreateMLなどを使い、あらかじめ実行したい機械学習モデルをCoreML形式(拡張子.mlmodel)で用意しておきます。
対応する機械学習モデルは、
・Image classification
・Object detection
・Style transfer
になります。
Non-maximum suppression層を持たないモデルや、MultiArrayの形式でデータを入出力するモデルには対応しません。
※このアプリには機械学習モデルは含まれていません。
[iPhone/iPadの場合]
用意した機械学習モデルをiPhone/iPadのファイルシステムに入れます。ファイルシステムとは、iPhoneの「ファイル」アプリケーションから見える領域であり、ローカルのデバイス内や各種クラウドサービス(iCloud Drive、One Drive、Google Drive、DropBoxなど)のことです。AirDropなどで転送してもいいでしょう。
アプリを起動し、その機械学習モデルを選択して読み込みます。
画像の入力ソースを、
・iPhone/iPad内蔵カメラからの動画
・内蔵カメラからの静止画
・フォトライブラリ
・ファイルシステム
から選択します。
[Macの場合]
外部ビデオ入力デバイスがあなたのMacに接続しているときはそちらが優先的に使用されます。外部デバイスがない場合はMacBookのFaceTimeカメラを使用します。
iPhone版のような写真ライブラリやローカルドキュメントの読み込み機能はありません。
Object detectionで検出されるラベルのカスタマイズ機能があります。
~/Library/Containers/VisionDetector/Data/Documents/customMessage.tsv
という場所に空の定義ファイルがファイルが生成されるので、タブ区切りテキストでラベルとカスタムメッセージの対応表を作成します。
(YOLOなどが出力するラベル) (tab) (メッセージ)
(YOLOなどが出力するラベル) (tab) (メッセージ)
のように横2列の表データを記述します。
(iOS版はver.2でこの機能が廃止されました)
このアプリケーションは個人情報を収集したり送信することはありません。
このアプリケーションは特定の端末や個人と結びつけることができる識別情報を利用しません。
このアプリケーションはユーザーが要求した場合を除きインターネットへの接続を必要としません。
このアプリケーションは端末に保存されている写真または画像を利用しますが、利用した画像を保存または送信しません。
このアプリケーションはカメラの機能を利用しますが、撮影した画像を保存または送信しません。
プライバシーポリシー制定日 2022年10月1日