マルチメディア、食のIT:山肩洋子

メディア情報処理技術を使って人々の食をもっと豊かに

食は生まれてから死ぬまで絶え間なく続く生命活動です。
1日3食80年間生きるならば実に8万7千回以上食べる機会が与えられています。食を選び、調理し、食べるという活動の中には、解決すべき多くの課題が含まれています。
 私たちの研究室は、画像・映像処理や自然言語処理、音声対話システム、情報検索、機械学習など幅広いAI技術を活用し、人々のもっと豊かな食の実現を目指します。当研究室は相澤清晴研究室と共同で研究を行っており、居室や研究環境は相澤・山崎・松井研究室と共同で運営しています。

レシピ記録支援アプリ RecipeLogの開発

 私たちが摂取している栄養を知るためには、食べた食事を記録することが第一歩です。ですが、同じ「肉じゃが」でもレシピによって栄養価は大きく異なります。そこで私たちは、AIがユーザの入力を予測することで、ユーザが自分のレシピを少ない入力操作で記録することができるスマホアプリRecipeLogの開発を行っています。相澤研が開発し、すでにサービス提供に至っている食事管理アプリFoodLog Athlと連携することで、家庭内の食事履歴を正確に記録し、栄養摂取量を把握することが可能となります。アスリートや病を抱えた方々だけでなく、誰もが自分が摂取している食を理解し、より健康的な生涯を送れる世界の実現を目指します。

家庭における「ものづくり」の支援:スマートキッチン・調理ナビゲーションシステム

 料理は、材料を加工し新しい価値を持つ製品を作る「ものづくり」です。世界中の人々が、必ずしも専門的な教育を受けることなく、「ものづくりの手順書」であるレシピを読み解きながら新しい調理に挑戦しています。キッチンは家庭の中で最も家電が集中する場所であり、モノのインターネット(IoT)の主戦場でもあるため、調理ナビや冷蔵庫の食材管理、ロボット調理器の活用等、スマートキッチンの研究が盛んに行われています。私たちは「調理を撮影した映像から調理者が扱っている食材や調理行動を画像認識する技術」や、「音声対話により調理状況を把握し適切な応答を返す技術」などの研究を通じて、調理を知的にサポートするスマートキッチンの開発を行っています。

手順文書の意味解析に基づくレシピ検索、推薦

 クックパッドだけでも300万件のレシピが掲載されており、日本は世界に名だたるレシピ大国です。ですが多ければいいというわけではなく、「肉じゃが」を検索すると1万件以上のレシピがみつかることから、調理手順説明文の意味理解を行うことが重要です。レシピは料理を作る工程を記した手順文書ですから、一般的な文書と異なり、明確な構造をもちます。我々は自然言語処理技術によりレシピテキストから作業のフローグラフを抽出(右上図)し、異なるレシピ間の相違を自動的に抽出することで、「手順文書」に注目したレシピ検索・推薦システムを開発しています。英文レシピも扱っています。

電気の回廊