叫び

このアプリは携帯でのリアルタイム画像処理とリアルタイム音声解析を行なっています。

リアルタイム画像処理を行うために、1枚の画像処理速度を向上させる必要があります。例えば、実装当初は画像1枚を歪ませる処理に約18秒かかっていました。この状態ではリアルタイム画像処理とは言えません。しかし、さまざまな試行錯誤の結果1枚約0.03秒で処理できるようになりました。これにより、リアルタイム画像処理が実現できました。

このアプリでは人の声を解析して、声の大きさや声の高さを取得しています。しかし、Androidで声の高さや音の高さを取得できるライブラリはありません。なので音データをバッファとして取得し、その波形を解析して声の大きさや声の高さを取得しました。これにより声によって画像の歪ませ方を変えられるようになりました。

AndroidでOpenCVを使ったリアルタイム画像処理アプリを作る

kotlin使ってAudioRecordで音解析してみた

今回のアイデアの根本として、「モバイル端末の優位性」があります。これはWeb開発などと比べてネイティブアプリ開発にしかできない体験を提供したいという考えからきています。

例えば各種センサーがあります。加速度、気圧、カメラ、マイク、GPS、BLEなどです。今回はこの中でカメラとマイクを使った何かを考えました。

また、インストールさえされていればネット環境に接続していなくても使える点もネイティブモバイルアプリの強みだと考えています。

本ハッカソンイベントでは事前開発期間が2週間ありました。これをうまく使う必要がありました。

今回、アイデア出しをおこなった後に必要技術や実現可能な要素を絞るため、最初の数日を単体機能開発期間にしました。ここで簡単に達成できる機能やアプリの根幹に関わる技術が実現可能かを判断し、最終アプリデザインの判断材料としました。

また、単体機能開発期間があったため、技術記事も書きやすくなりました。単体機能だけのアプリやソースコードがあれば、短時間で書けるからです。実際、技術記事はアプリ審査に出した後や、気分転換の時間に書いていました。