現状の深層学習は，閉じたデータセットに対して精度よく動く．しかし現実には，認識器が見たことのないデータや新出クラスが頻出する．また，トレーニングデータにもあいまいさが含まれる．そのような状況に対処するための認識技術について研究している．誤りを含むデータからの認識器の学習/ 認識対象外のデータの検出（分布内外の検出）/ 正例とラベルなしデータからの学習/ 回帰問題における信頼性評価等について研究している．また，環境文字認識の課題では，膨大な合成文字が使われてきた既存のアプローチに対し，その100分の1程度の実画像で同等の性能が実現可能であることを示した．

　3次元・360度映像処理の研究を進めている．とりわけ歩行市街映像を対象にし，360̊度映像からのインタラクティブな動画マップの構築に取り組んでいる．グーグルストリートビューとは異なる連続的な映像提示を行う．市街歩行映像のハイパーラプス/ 3次元復元(SLAM)/ 疎なジオタグからのカメラ位置姿勢の絶対座標推定/ 映像群の統合合成によるムービーマップ/360度画像からの深度推定・高解像・ROI検出等に取り組んでいる. 360度映像処理の技術基盤を構築するとともに，具体的にキャンパス内や都市内の映像によるバーチャル探訪を進めている．

　実黎明期からライフログと呼ばれる分野を開拓してきた．なかでも，食事ログの技術と社会展開に取り組んできた．食に関する情報処理に取り組んできた．開発したスマホツールで収集した食事記録数は，1000万件を越えた．個人に適応した画像認識/ レシピを複合させた食事記録の詳細解析/ 個人健康度の予測/ アスリートと栄養士向けの新ツール開発運用を進めている．新たに，管理栄養士と対象者が双方少ない負担でコミュニケーションを取るためのシステムを開発し，FoodLog Athlとして公開し，検証を進めている．

　漫画は，日本を代表するコンテンツであるものの，画像処理の対象にされることが少なかった．我々は，Manga109という世界最大の漫画の学術利用データセットを構築するとともに，漫画や描画に焦点を当てた研究を行っている．なかでも，様々な種類の漫画オブジェクトの自動検出やスケッチによる漫画の画像検索といった基盤的な画像処理技術についての研究を多く行ってきた．また，漫画において他の作者の画風を移植することによる画風を変換する手法も提案する．さらには，作成する側の立場から，描画の支援を行うようなツールについての研究も多く行っている．

　表現・デザインの検索や創出につながる画像技術に取り組んでいる．フォントにより感情表現を可能とするメッセンジャーEmotype/ 膨大なフォントのマルチモーダル検索/ 画像内容にあわせたフォント/ 少数例からのフォントの生成/ バッグのデザイン生成といった課題に取り組んでいる．これらにより，画像を入力することで，その画像コンテンツに合致するようなフォントを検索したり，少数の文字からそのフォントセットを生成を実現した．さらに，バッグやシューズのデザインをあらたに生成するフレームワークも提案した．