食は生まれてから死ぬまで絶え間なく続く生命活動です。
1日3食80年間生きるならば実に8万7千回以上食べる機会が与えられています。食を選び、調理し、食べるという活動の中には、解決すべき多くの課題が含まれています。 私たちの研究室は、画像・映像処理や自然言語処理、音声対話システム、情報検索、機械学習など幅広いIT技術を活用し、人々のもっと豊かな食の実現を目指します。当研究室は山崎・松井研究室と共同で運営を行っています。
私たちはアスリートの食事指導を行う栄養士が、食事記録を介して栄養指導を行うための食事管理ツールFoodLog Athlを開発しています。 iOSとAndroidの両OSに対応しています。http://www.foodlog-athl.org/
私たちが日々摂取している栄養を知るためには、自分が食べたものを記録することが第一歩です。ですが1日3回、間食まで記録し続けるのは大変ですよね。我々は相澤研究室と共同で、深層画像認識技術に基づく食事記録アプリFoodLog Athlを開発しています。食事の画像をアップロードすると、アプリが食事の領域を検出し、その料理名を認識することで、その料理の栄養価を推定します。プロ選手や部活動などで栄養士のサポートが受けられる方は、FoodLog Athlを使うことで栄養士と食事記録を共有したり、チャットによりコミュニケーションを行うことができます。
例えば同じ「肉じゃが」でも、量が多かったりじゃが芋が多かったり、レシピによって栄養価は大きく異なります。私たちは、食事画像から食材の種類とその分量を推定することで、詳細な栄養計算ができる食事栄養計算アプリRecipeLogの開発を行っています。
アプリで作成した材料リストに基づき算出した栄養量がそのユーザの一日当たりの適正な摂取量に占める充足率を可視化するなど、ユーザ自身で食事を評価することのできる機能を備えています。
医療や介護の現場で行われている栄養調査では、食品の摂取量を測定する秤量記録法、前日の食事内容を記録する24時間食事思い出し法、質問票の食品リストから一定期間に食べた食品の頻度を記載する食物摂取頻度法(FFQ)などの方法があり、多人数を対象とするコホート研究ではFFQがよく用いられています。本研究では対象者が記入し、さらに栄養士が対象者に聞き取ることで補足を追記した食事記録を入力とし、大規模言語モデルをファインチューニングすることで、食品標準成分表に基づき栄養計算可能なデータ形式に自動変換するシステムの開発を目指します。
東北大学 松八重一代教授 及びエネルギー・金属鉱物資源機構(JOGMEC)と共同で、衛星画像から鉱物資源の採掘活動や小規模金採掘 (ASGM)に伴う土地改変量を自動監視する技術を開発しています。また、立命館大学 山末英嗣教授と共同で、彼らが手作業で構築してきた食糧生産・流通に関わる関与物質総量(Total Material Requirement, TMR)のデータベースを、半自動で更新・拡張する大規模言語モデルや大規模マルチモーダルモデルについて研究しています。