Vision Detector

通常、CoreMLのモデルはXcode上でプレビューするか、Xcodeでアプリケーションをビルドして実行する必要があります。

Vision Detectorを使うと、CoreMLモデルを簡単に実行することができます。

Ver.3からは、APIを通じて大規模言語モデルを利用することも可能になりました。

iPhone/iPad版とMac版があります。

CreateMLなどを使い、あらかじめ実行したい機械学習モデルをCoreML形式（拡張子.mlmodel）で用意しておきます。

対応する機械学習モデルは、

・Image classification

・Object detection

・Style transfer

になります。

Non-maximum suppression層を持たないモデルや、MultiArrayの形式でデータを入出力するモデルには対応しません。

※このアプリには機械学習モデルは含まれていません。

[iPhone/iPadの場合]

用意した機械学習モデルをiPhone/iPadのファイルシステムに入れます。ファイルシステムとは、iPhoneの「ファイル」アプリケーションから見える領域であり、ローカルのデバイス内や各種クラウドサービス（iCloud Drive、One Drive、Google Drive、DropBoxなど）のことです。AirDropなどで転送してもいいでしょう。

アプリを起動し、その機械学習モデルを選択して読み込みます。

画像の入力ソースを、

・iPhone/iPad内蔵カメラからの動画

・内蔵カメラからの静止画

・フォトライブラリ

・ファイルシステム

から選択します。

[Macの場合]

外部ビデオ入力デバイスがあなたのMacに接続しているときはそちらが優先的に使用されます。外部デバイスがない場合はMacBookのFaceTimeカメラを使用します。

iPhone版のような写真ライブラリやローカルドキュメントの読み込み機能はなく、ライブ動画のみの対応となります。

レベルメーターは処理にかかった時間を表示していて、30msecでゲージがいっぱいになります。これは、33msec以上で30FPSの動画がフレーム落ちになるからです。

[大規模言語モデル機能]

設定ウインドウでタブをVision LLMに切り替えると、接続先のIPアドレスなどを設定することができます。

接続先にはLM StudioのAPIを想定していますが、OpenAI互換のAPIを利用しているので、対応していれば他のAPIでも接続できます。

判定処理の内容はプロンプトで決定します。「何が写っていますか」「場所を判定してください」などと指示しておけます。

通知センターをオンにすると、特定の条件を満たした時に通知させることができます。通知内容はプロンプトの中に「人が写ったら通知センターで通知してください」などの指定をしておきます。ver.3.1からは、Appleアカウントが同一のすべての端末で通知を受信できるようにする予定です。

このアプリケーションは個人情報を収集したり送信することはありません。

このアプリケーションは特定の端末や個人と結びつけることができる識別情報を利用しません。

このアプリケーションはユーザーが要求した場合を除きインターネットへの接続を必要としません。

このアプリケーションは端末に保存されている写真または画像を利用します。

このアプリケーションはカメラの機能を利用しますが、撮影した画像を保存しません。

このアプリケーションは画像をユーザーが指定したサーバにのみ送信します。

プライバシーポリシー制定日　2022年10月1日

プライバシーポリシー改訂日　2026年7月1日