Vision Detector

CoreMLモード

CoreMLモードは、AppleのCoreMLモデルを使用して画像解析を行うモードです。

CreateMLなどを使い、あらかじめ実行したい機械学習モデルをCoreML形式（拡張子.mlmodel）で用意しておきます。

解析は端末上で実行されるため、高速かつ低遅延で動作します。また、ネットワーク接続を必要としません。

Vision DetectorではVisionフレームワークを利用してCoreMLモデルを実行します。Visionはモデルの種類に応じて分類・物体検出・画像変換などの結果を返します。

Vision Detectorでは次の種類のCoreMLモデルを利用できます。

・Image classification

・Object detection

・Style transfer

Non-maximum suppression層を持たないモデルや、MultiArrayの形式でデータを入出力するモデルには対応しません。

※このアプリには機械学習モデルは含まれていません。

[iPhone/iPadの場合]

用意した機械学習モデルをiPhone/iPadのファイルシステムに入れます。ファイルシステムとは、iPhoneの「ファイル」アプリケーションから見える領域であり、ローカルのデバイス内や各種クラウドサービス（iCloud Drive、One Drive、Google Drive、DropBoxなど）のことです。AirDropなどで転送してもいいでしょう。

アプリを起動し、その機械学習モデルを選択して読み込みます。

画像の入力ソースを、

・iPhone/iPad内蔵カメラからの動画

・内蔵カメラからの静止画

・フォトライブラリ

・ファイルシステム

から選択します。

[Macの場合]

外部ビデオ入力デバイスがあなたのMacに接続しているときはそちらが優先的に使用されます。外部デバイスがない場合はMacBookのFaceTimeカメラを使用します。

iPhone版のような写真ライブラリやローカルドキュメントの読み込み機能はなく、ライブ動画のみの対応となります。

レベルメーターは処理にかかった時間を表示していて、30msecでゲージがいっぱいになります。これは、33msec以上で30FPSの動画がフレーム落ちになるからです。

Vision LLMモード

Vision LLMモードは、大規模言語モデル（Vision Language Model）を利用して画像を解析するモードです。

画像とテキストを同時に理解できるAIを利用し、自然言語による質問に回答します。

Vision DetectorではAPI経由でVision対応LLMへ画像を送信し、解析結果を取得します。

特徴

画像に対して自然な文章で質問できます。

例

* この写真には何が写っていますか？

* 看板には何と書いてありますか？

* どんな状況ですか？

* 危険な場所はありますか？

* この料理を説明してください。

LM Studio、互換、OpenAI互換、AnthropicのAPIに対応しています。

通知センターをオンにすると、特定の条件を満たした時に通知させることができます。通知内容はプロンプトの中に「人が写ったら通知センターで通知してください」などの指定をしておきます。Appleアカウントが同一のすべての端末で通知を受信できるようにする予定です。