玉木・丁研究室 - 発表論文

発表論文

2026年

国際学会

Ning Ding, Keisuke Fujii, Toru Tamaki, BFMD: A Full-Match Badminton Dense Dataset for Dense Shot Captioning, 12th International Workshop on Computer Vision in Sports (CVsports) at CVPR 2026, June 4th, 2026. Denver, USA. [open access] [PDF] [https://github.com/Ning-D/BFMD]

バドミントンの戦術的ダイナミクスを理解するには、断片的な動画クリップではなく、試合全体を分析する必要がある。しかし、既存のバドミントンデータセットは主に短いクリップや特定のタスクに特化したアノテーションに焦点を当てており、高密度なマルチモーダルアノテーションが付いたフルマッチデータを提供しているものはほとんどない。この制限により、正確なショットのキャプションを生成したり、試合レベルの分析を行ったりすることが困難になっている。この制限に対処するため、世界初の「Badminton Full Match Dense（BFMD）」データセットを提案する。このデータセットには、20時間以上にわたる19試合のテレビ中継映像（シングルスおよびダブルスを含む）が含まれており、1,687回のラリーと16,751回の打球イベントから構成され、それぞれにショットのキャプションがアノテーションされている。本データセットは、試合セグメント、ラリーイベント、およびショットの種類、シャトルの軌跡、選手の姿勢キーポイント、ショットキャプションといった、ラリーレベルでの高密度なマルチモーダルアノテーションを含む階層的なアノテーションを提供する。また我々は、ショットのセマンティクスを活用してキャプション生成を誘導し、意味的一貫性を向上させる「セマンティックフィードバック」メカニズムを備えた、VideoMAEベースのマルチモーダルキャプション生成フレームワークを開発した。実験結果から、マルチモーダルモデリングとセマンティックフィードバックにより、RGBのみのベースラインと比較してショットキャプションの品質が向上することが実証された。さらに、試合全体にわたる戦術パターンの時間的変化を分析することで、BFMDの可能性を示した。データセットおよびコードは https://github.com/Ning-D/BFMD で公開している。

Takuya Murakawa, Takumi Fukuzawa, Ding Ning, Toru Tamaki, M3DDM+: an improved video outpainting by a modified masking strategy, The International Workshop on Advanced Image Technology (IWAIT2026), Proc. SPIE 14072, 140723Y, Jan. 12-14, 2026, Kaohsiung, Taiwan. [SPIE online] [PDF] [Poster] [arXiv] [GitHub] [Project page] [https://doi.org/10.1117/12.3102166]

M3DDMは、潜在拡散モデリングを用いた動画アウトペインティングのための計算効率に優れたフレームワークを提供する。しかし、カメラの動きが限られている場合やアウトペインティング領域が広く、フレーム間の情報が限られているといった困難なシナリオにおいては、空間的なぼやけや時間的な不整合という著しい画質劣化が見られる。本研究では、その原因をマスキング戦略における学習と推論の不一致にあると特定した。M3DDMの学習では、フレームごとにランダムなマスクの方向と幅が適用されるのに対し、推論では動画全体を通じて一貫した方向性のアウトペインティングが求められる。この問題に対処するため、本論文ではM3DDM+を提案する。これは、学習中にすべてのフレームで均一なマスクの方向と幅を適用し、その後、事前学習済みのM3DDMモデルを微調整する。実験の結果、M3DDM+は、計算効率を維持しつつ、情報が限られているシナリオにおいて視覚的な忠実度と時間的な一貫性を大幅に向上させることが実証された。コードは https://github.com/tamaki-lab/M3DDM-Plus で公開している。

研究会・シンポジウム

杉野翼, 髙間勇作, 丁寧, 玉木徹, 加重コーダル距離による複数LoRAの分離, 第31回画像センシングシンポジウム(SSII2026), 2026/6/10-12, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]

近年，マルチドメイン学習やマルチタスク学習では，効率的な適応手法としてLoRAに代表されるPEFTが注目されている。しかし，複数のLoRAを併用する場合，各モジュールが類似した情報を学習し，役割分担が不十分になることで冗長なパラメータが生じる課題がある。本研究では，LoRAが表現する部分空間の方向ごとの重要度を考慮した加重コーダル距離を提案し，複数LoRA間の情報分離を促進する手法を示す。提案手法は，更新行列の特異値に基づいて主要な成分を重み付けし，更新への寄与が大きい方向を優先的に分離することで，各LoRAが異なる知識を獲得できるようにする。マルチタスク学習への適用を通じて，従来のコーダル距離による分離手法と比較し，重要成分を考慮した情報分離の有効性を検証する。

高木洋徳, 丁寧, 玉木徹, 動作の対象物を示す付加情報を用いた動作認識, 第31回画像センシングシンポジウム(SSII2026), 2026/6/10-12, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]

本研究では，複数人物や複数物体が存在する動画において，動作の対象物体名を指定することで認識対象の動作を選択的に認識する新たな動作認識タスクの実現を目指す。その事前検討として，対象物体を表すテキスト情報が動作認識性能に与える影響を調査した。まず，Kinetics400に対してVision Language Modelを用いて動作対象物体のアノテーションを付与したデータセットを構築した。さらに，TimeSformerを基盤とし，動画特徴と物体テキスト特徴を統合する相互アテンション機構を導入した動作認識モデルを提案する。

田中裕大, 玉木徹, 丁寧, サッカー動画像における区間キャプショニング, 第31回画像センシングシンポジウム(SSII2026), 2026/6/10-12, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]

サッカー分野における従来のキャプショニングでは，プレイヤごとの試合映像を入力として扱うが，試合中の局所的なイベントごとにキャプションを生成するため，大域的な試合展開やプレーの流れを考慮できないという問題が存在する．しかしサッカーにおける重要なイベントは連続するプレーの結果として生じるため，局所的な視点のみでは，なぜそのプレーが発生したかという戦術的な意図や文脈が捉えにくくなってしまう．この問題に対応するため，本研究では区間ごとにキャプショニングを行う手法を提案する．

村川卓也, 福沢匠, 丁寧, 玉木徹, CLIP重みに基づくLoRA合成を用いたゼロショット動作の動画生成, 第31回画像センシングシンポジウム(SSII2026), 2026/6/10-12, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]

テキストから動画を生成するT2Vにおいて，参照動画を用いて動作を制御するMotion Customization（MC）の従来手法では，新たな動作ごとに参照動画の収集と追加学習が必要であり，参照動画が存在しない複雑な動作の生成は困難であった。そこで本研究は，参照動画に含まれない動作を生成可能なゼロショットの動画生成を提案する。具体的には，基本動作ごとに学習した複数のLoRAを重み付きで線形合成し，新たな動作概念に対応するLoRAを構築する。さらに，合成重みをCLIPのテキスト埋め込み空間における類似度から算出することで，CLIPのゼロショット性能を活用し，未学習動作の動画生成を実現する。これにより，追加学習や参照動画を必要とせず，多様な動作表現の生成を可能にする。

丁寧, 藤井慶輔, 玉木徹, Dense shot captioning using badminton videos, 第31回画像センシングシンポジウム(SSII2026), 2026/6/10-12, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]

Preprint

Takuya Murakawa, Toru Tamaki, Reflective Dialogue between Teacher and Solver Agents for Video Question Answering, arXiv:2605.27885, 2026. [PDF]

動画質問応答（Video Question Answering）において、視覚言語モデル（VLM）を特定の領域に適応させるため、ファインチューニングやコンテキスト内学習など、さまざまなアプローチが提案されてきた。しかし、ファインチューニングを行わず、わずかなラベル付きのサポートセットのみを用いて推論段階でタスク固有の知識を獲得することは、依然として課題となっている。本論文では、推論時のコンテキスト注入のみによって適応を実現する手法を提案する。本手法ではまず、「リフレクティブ・ダイアログ（RD）」を構築する。これは2つのエージェント間のマルチターン対話であり、教師（Teacher）が各サポート質問を提示して正誤のフィードバックを行い、解答者（Solver）が回答するとともに、正解・誤答の双方について視覚的な根拠に基づく説明（または考察）を提供する。この対話履歴は、推論段階においてコンテキストとして利用される。EgoCrossベンチマークでの実験により、本手法は、ベースラインとなるゼロショット設定およびサポートセットの例を直接渡す標準的なコンテキスト内学習アプローチの両方を上回る性能を示し、CVPR 2026 EgoVis workshopで開催された第1回Cross-Domain EgoCross ChallengeのOpen-Souce Trackにおいて3位を獲得した。

その他

Takuya Murakawa, Toru Tamaki, Reflective Dialogue between Teacher and Solver Agents for Video Question Answering, 3rd place for Open-Souce Track of the 1st Cross-Domain EgoCross Challenge @ EgoVis Workshop (Third Joint Egocentric Vision (EgoVis) Workshop) in conjunction with CVPR2026, 2026/6/3.

2025年

論文

加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 卓球競技映像の特徴に基づく画像処理と音声処理を統合したラリー回数計測手法, 電気学会論文誌C（電子・情報・システム部門誌）, Vol. 145, No. 12, pp. 1047-1053, 2025. [PDF] [https://doi.org/10.1541/ieejeiss.145.1047]

本論文では、試合分析の効率化の一環として、卓球の試合映像におけるラリー数を自動的に推定する手法を提案する。提案手法を用いることで、従来ラリー数の記録に必要だった手作業を省くことができる。本分析では、放送映像で一般的に見られるような、縦向きのカメラアングルを前提とする。下側のコートにあるボールは選手によって遮られる可能性があるため、分析対象は上側のコートのみとする。コート上部のボールは、ボールと卓球台のピクセル値の差を分析することで検出される。ラリー回数は、選手が打ったボールがコート上部を通過した回数をカウントする。正確なカウントを確保するため、打球はハイトスサーブやネットによるミスと区別する。実験結果では、提案手法は、日本のTリーグの試合映像から抽出した623シーンのうち87.0％でラリー数を正しくカウントした。さらに、自動的に測定されたラリー数に既存の得点率・失点率の算出手法を適用したところ、その結果は手動で記録されたラリー数とほぼ一致し、提案したラリーカウント手法の有効性が確認された。この自動処理により、大規模な定量分析が可能となる。

Yongfei WU, Daisuke KATAYAMA, Tetsushi KOIDE, Toru TAMAKI, Shigeto YOSHIDA, Shin MORIMOTO, Shiro OKA, Shinji TANAKA, An Automatic Segmentation Method for Lesion Areas in Full-screen NBI Colorectal Endoscopy using Deep Learning, IEICE Transactions on Information and Systems, 2025/03/19, Online ISSN 1745-1361, Print ISSN 0916-8532 [PDF] [https://doi.org/10.1587/transinf.2024EDP7283]

本論文では、内視鏡検査におけるリアルタイム診断支援を目的として、ディープラーニングを用いて全画面の狭帯域イメージング（NBI）内視鏡画像フレームから病変領域を検出する自動セグメンテーション手法を提案する。既存の診断支援システムでは、医師が病変を正確に分類するために、病変領域を手動で位置合わせする必要がある。そこで、我々は、全画面の内視鏡画像から病変を識別できる自動病変セグメンテーションアルゴリズムを組み合わせたリアルタイム診断支援システムの開発を目指している。8000枚以上の画像からなるデータセットを作成し、複数の既存のセグメンテーションモデル構造の検出性能を検証した。その結果、病変が小さい画像を扱う際に、検出漏れという深刻な問題があることが判明した。その原因を分析した結果、有効な情報を保持するために畳み込みバックボーンネットワークを用いたダウンサンプリング手法を提案し、Dense BlockおよびU-Netを用いたモデル構造で実験を行った。実験結果から、当構造の検出性能は、小さな病変において他のモデルよりも優れていることが示された。同時に、検出性能をさらに向上させるためにモデル学習手法に追加したデータ拡張手法「CutMix」も有効であることが実証された。検出性能は、F-measureを用いて評価した結果、0.8603 ± 0.006の精度を達成した。さらに、本モデルは実験において最速の処理速度を示しており、これはリアルタイムの臨床映像処理システムの開発において有利に働くと考えられる。

国際学会

Ning Ding, Keisuke Fujii, Toru Tamaki, Shot2Tactic-Caption: Multi-Scale Captioning of Badminton Videos for Tactical Understanding, MMSports '25: Proceedings of the 8th International ACM Workshop on Multimedia Content Analysis in Sports at ACM Multimedia 2025, Pages 105 - 113, Oct 28th, 2025 in Dublin, Ireland. [PDF] [https://dl.acm.org/doi/10.1145/3728423.3759408]

バドミントンにおける戦術的理解とは、個々の動作だけでなく、戦術が時間の経過とともにどのように動的に実行されるかを解釈することを意味する。本論文では、バドミントンにおける意味的・時間的なマルチスケール動画キャプション生成のための新しいフレームワーク「Shot2Tactic-Caption」を提案する。このフレームワークは、個々の動作を記述する「ショットレベル」のキャプションと、戦術の実行の中でこれらの動作が時間の経過とともにどのように展開されるかを捉える「戦術レベル」のキャプションを生成できる。また、5,494件のショットキャプションと544件の戦術キャプションを含む、バドミントン分野初のキャプション生成データセット「Shot2Tactic-Caption Dataset」も提案する。Shot2Tactic-Captionはデュアルブランチ設計を採用しており、両方のブランチには、ショットキャプションと戦術キャプションを生成するための視覚エンコーダ、時空間トランスフォーマーエンコーダ、およびトランスフォーマーベースのデコーダを含む。戦術キャプション生成をサポートするため、有効な戦術ユニット、戦術タイプ、および戦術状態（例：中断、再開）を識別する「戦術ユニット検出器」を新たに導入した。戦術キャプション生成においては、ショット単位のプロンプト誘導メカニズムをさらに組み込んでおり、予測された戦術タイプと状態がプロンプトとして埋め込まれ、クロスアテンションを介してデコーダに注入される。このショット単位のプロンプト誘導メカニズムにより、本システムは成功した戦術の実行を記述できるだけでなく、一時的に中断され、後に再開された戦術の実行も捉えることが可能となる。実験結果は、ショットキャプションと戦術キャプションの両方を生成する上で、本フレームワークの有効性を示している。アブレーション研究によると、ResNet50ベースの時空間エンコーダは他のバリエーションよりも優れた性能を示し、ショット単位のプロンプト構造化により、より一貫性があり正確な戦術キャプションが生成されることが明らかになった。

Masato Kobayashi, Ning Ding, Toru Tamaki, Disentangling Static and Dynamic Information for Reducing Static Bias in Action Recognition, ICCV2025 Workshop and Challenge on Disentangled Representation Learning for Controllable Generation (DRL4Real), 19 Oct, 2025, Honolulu, Hawai'i, USA. [arXiv] [PDF] [Poster] [GitHub]

動作認識モデルは、人間の動的な動きよりも静的な手がかりに過度に依存しており、これは「静的バイアス」として知られている。このバイアスは、実世界での応用やゼロショット動作認識において、性能の低下を招く。本論文では、時間的な動的情報と静的なシーン情報を分離することで、静的バイアスを低減する手法を提案する。本手法では、バイアスのあるストリームとバイアスのないストリーム間の統計的独立性損失を、シーン予測損失と組み合わせて用いる。実験の結果、本手法が静的バイアスを効果的に低減することが実証され、シーン予測損失の重要性が確認された。

Shimon Hori and Toru Tamaki, Query Matching for Spatio-Temporal Action Detection with Query-Based Object Detector, 2025 IEEE 14th Global Conference on Consumer Electronics (GCCE), Sep. 23-26, 2025, Osaka, Japan. [arXiv] [open access] [Poster] [GitHub] [https://doi.org/10.1109/GCCE65946.2025.11275351]

本論文では、クエリベースの物体検出モデルであるDETRを、時空間的な動作検出へと拡張する手法を提案する。提案手法では、各フレームにDETRを適用し、特徴量のシフトを利用する。物体のクエリはフレーム間で異なる物体に相当する可能性があるため、同一の物体に対するクエリをフレーム間で整合させるために、クエリマッチングを導入する。

Tsubasa Mizuno and Toru Tamaki, Shifting and Matching Queries for Video Semantic Segmentation, 2025 IEEE 14th Global Conference on Consumer Electronics (GCCE), Sep. 23-26, 2025, Osaka, Japan. [arXiv] [open access] [Poster] [GitHub] [https://doi.org/10.1109/GCCE65946.2025.11274584]

本論文では、クエリベースの画像セグメンテーションモデルを動画に拡張する手法を提案する。提案手法は、デコードされたクエリをセグメンテーションマスクとして表現するクエリベースのアーキテクチャを採用する。異なるフレーム間でシフトされたクエリが同一のマスクを表すようにするため、特徴量のシフトを行う前に、これらのクエリのマッチングを行う必要がある。動画データセットを用いた実験結果では、ベースライン手法に比べて大幅な性能向上が確認され、事前学習済みの重みを効率的に再利用しつつ、セグメンテーションの品質を向上させる本手法の有効性が示された。

Takuya Sugimoto, Ning Ding, Toru Tamaki, MoExDA: Domain Adaptation for Edge-based Action Recognition, 19th International Conference on Machine Vision Applications (MVA2025), July 26–28, 2025, Kyoto, Japan. [PDF] [arXiv] [poster] [slide] [GitHub] [https://doi.org/10.23919/MVA65244.2025.11175123]

現代の動作認識モデルは、静的バイアスの問題があり、その結果、汎化性能が低下している。本論文では、この静的バイアスの問題に対処するため、RGBフレームに加えエッジフレームを活用してRGB情報とエッジ情報の間のドメイン適応を行う軽量な手法「MoExDA」を提案する。実験の結果、提案手法は低い計算コストで静的バイアスを効果的に抑制し、従来の手法よりも堅牢な動作認識を実現できることが示された。

Yusaku Takama, Ning Ding, Tatsuya Yokota, Toru Tamaki, Separating Shared and Domain-Specific LoRAs for Multi-Domain Learning, CVPR2025 workshop on Domain Generalization: Evolution, Breakthroughs and Future Horizon (DGEBF), Nashville, TN, USA, 2025/6/12. [PDF] [Poster] [open access] [https://doi.org/10.1109/CVPRW67362.2025.00639] [arXiv] [GitHub]

既存のマルチドメイン学習のアーキテクチャには、すべてのドメインで共有されるLoRAと、特定のドメインごとに設定されるドメイン固有のLoRAという2種類のアダプタが存在する。しかし、この構造がドメイン固有の情報を効果的に捉えているかどうかは依然として不明である。本論文では、共有LoRAとドメイン固有のLoRAが、事前学習済み重みの列部分空間および左零部分空間という異なる部分空間に確実に存在するようにする手法を提案する。提案手法を3つのデータセット（UCF101、Kinetics400、HMDB51）を用いた動作認識に適用し、LoRA重みの次元に関する分析とともに、特定のケースにおけるその有効性を実証する。

Kazuki Omi, Jion Oshima, Toru Tamaki, Action tube generation by person query matching for spatio-temporal action detection, 20th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP2025), Vol.2, pp.261-268, ISBN 978-989-758-728-3; ISSN 2184-4321, Porto, Portugal, 2025/2/26-28. [arXiv] [DOI: 10.5220/0013089500003912] [PDF] [poster]

本論文では、IoUに基づくリンク処理やクリップ分割といった後処理に依存することなく、元の動画から直接アクションチューブを生成する時空間アクション検出（STAD）手法を提案する。本手法では、各フレームに対してクエリベースの検出器（DETR）を適用し、DETRクエリをマッチングすることで、フレーム間で同一人物をリンクする。また、距離学習を用いて、異なる人物に対するクエリと比較して、同一人物に対するクエリをフレーム間でより近接させる「クエリマッチングモジュール（QMM）」を導入する。アクションクラスは、QMMのマッチングから得られたクエリのシーケンスを用いて予測されるため、単一のクリップよりも長い動画からの可変長入力にも対応可能である。JHMDB、UCF101-24、およびAVAデータセットでの実験結果から、本手法は人物の大きな位置変化に対しても良好な性能を発揮すると同時に、優れた計算効率と低いリソース要件を実現していることが示された。

Takumi Fukuzawa, Kensho Hara, Hirokatsu Kataoka, Toru Tamaki, Can masking background and object reduce static bias for zero-shot action recognition?, The 31th International Conference on MultiMedia Modeling (MMM2025), Nara, Japan, Jan. 8-10, 2025. [PDF] [Poster] [https://doi.org/10.1007/978-981-96-2071-5_27] [arXiv]

本論文では、ゼロショット動作認識における静的バイアスの問題について取り上げる。動作認識モデルは、外観ではなく動作そのものを表現する必要がある。しかし、一部の完全教師あり学習による研究では、モデルが人間の動作ではなく、背景や物体といった静的な外観に依存することが多いことが示されている。この「静的バイアス」として知られる問題は、ゼロショット環境においてはこれまで調査されてこなかった。CLIPベースのゼロショットモデルは現在一般的となっているが、CLIPは主に言語に関連する外観特徴を捉えるものであるため、これらのモデルが人間の動作に十分に焦点を当てているかどうかは依然として不明である。本論文では、CLIPベースのモデルを用いたゼロショット動作認識における静的バイアスの影響を調査する。我々のアプローチでは、学習時と検証時に、背景、物体、人物をそれぞれ異なる方法でマスクする。背景をマスクした実験では、Kinetics400においてモデルの性能が低下することから、モデルが背景バイアスに依存していることが示された。一方、背景バイアスが弱いMimeticsでは、検証段階で背景がマスクされていても、背景をマスクすることで性能が向上した。さらに、強い物体バイアスを持つSSv2では、背景と物体を異なる色でマスクすることで性能が向上した。これらの結果は、学習中に背景や物体をマスクすることで、モデルが静的バイアスに過度に依存することを防ぎ、人間の行動により焦点を当てられるようになることを示唆している。

解説

丁寧, 藤井慶輔, 多視点ドローン映像からのバドミントンダブルスのコントロール領域の推定, 画像ラボ, Vol.36, No.2, pp.45-50, 2025.
- 本研究では、バドミントンダブルスのドローンビデオデータセットを作成し、コントロール領域確率マップを推定するフレームワークを提案した。実験により、スコアとコントロール領域との関係に関する有意義な洞察を得た。さらに、最適なポジショニングの推定手法により、選手の返球の成功確率向上への寄与が期待される。

小林優斗, 丁寧, 玉木徹, 動作認識における静的バイアス低減のための静的情報と動的情報の分離, 画像ラボ, Vol.26, No.11, pp.26-32, 2025.
- 本稿では、動作認識における静的バイアス低減のため、前処理を行うことなく静的情報から分離された動的情報を抽出する手法を提案する。実験により、本手法の一部の設定で静的バイアスを効果的に低減されていることが確認された。

Preprint

Masato Kobayashi, Ning Ding, Toru Tamaki, Disentangling Static and Dynamic Information for Reducing Static Bias in Action Recognition, arXiv:2509.23009, 2025.
Kazuki Omi, Jion Oshima, Toru Tamaki, Action tube generation by person query matching for spatio-temporal action detection, arXiv:2503.12969, 2025.
Takumi Fukuzawa, Kensho Hara, Hirokatsu Kataoka, Toru Tamaki, Can masking background and object reduce static bias for zero-shot action recognition?, arXiv:2501.12681, 2025.
Qiuyu Chen, Xin Jin, Yue Song, Xihui Liu, Shuai Yang, Tao Yang, Ziqiang Li, Jianguo Huang, Yuntao Wei, Ba'ao Xie, Nicu Sebe, Wenjun (Kevin)Zeng, Jooyeol Yun, Davide Abati, Mohamed Omran, Jaegul Choo, Amir Habibian, Auke Wiggers, Masato Kobayashi, Ning Ding, Toru Tamaki, Marzieh Gheisari, Auguste Genovesio, Yuheng Chen, Dingkun Liu, Xinyao Yang, Xinping Xu, Baicheng Chen, Dongrui Wu, Junhao Geng, Lexiang Lv, Jianxin Lin, Hanzhe Liang, Jie Zhou, Xuanxin Chen, Jinbao Wang, Can Gao, Zhangyi Wang, Zongze Li, Bihan Wen, Yixin Gao, Xiaohan Pan, Xin Li, Zhibo Chen, Baorui Peng, Zhongming Chen, Haoran Jin, The 1st International Workshop on Disentangled Representation Learning for Controllable Generation (DRL4Real): Methods and Results, arXiv:2509.10463, 2025.

研究会・シンポジウム

杉浦大輝, 玉木徹, 人物姿勢推定を用いたアモーダル人物セグメンテーション, vol. 124, no. 373, IE2024-86, pp. 242-247, 電子情報通信学会画像工学研究会(IE)2025年2月研究会, 2025/2/18-19, 北海道大学, 北海道. [PDF] [slide]
- 画像内の人物がオブジェクトなどによって一部隠されている場合,単眼画像からその全体形状を推定することは容易ではない.そこで本論文では,姿勢推定を活用した人物特化型アモーダルセグメンテーション手法「P2F-Seg」を提案する.本手法では,オクルージョン(遮蔽)がある場合でも,姿勢推定を用いることで人物の形状をより正確に予測できることを示す.

大島慈温, 玉木徹, 丁寧, 姿勢情報を用いたラケットスポーツ映像中のヒット時刻検出手法, 第31回画像センシングシンポジウム(SSII2025), 2025/5/28-30, 東京ビッグサイト, 東京. [Poster] [PDF]
- ラケットスポーツの映像解析において、選手の複雑な姿勢や動作、球速の頻繁な変化により、打球時刻（ヒット時刻）の検出は困難な課題である。本研究では、バドミントン競技を対象に、選手の姿勢情報の類似度から得られる非対称な事前分布を用いた、高精度なヒット時刻検出手法を提案する。提案手法は、ガウス分布や一様分布といった従来の分布に代わり、姿勢の類似性に基づく確率分布を学習に導入することで、選手の動作スピードの違いに対応する。

髙間勇作, 丁寧, 横田達也, 玉木徹, マルチドメイン学習のための共有・固有LoRAの分離学習手法, 第31回画像センシングシンポジウム(SSII2025), 2025/5/28-30, 東京ビッグサイト, 東京. [Poster] [PDF]
- 本研究では，複数のデータセットを同時学習するマルチドメイン学習において，PEFTの一種であるLoRAを用いた新たな学習手法を提案する．従来手法では，共有LoRAがドメイン共通情報を，固有LoRAがドメイン固有情報を学習すると想定されているが，両者を明示的に分離する仕組みは存在しなかった．そこで提案手法では，事前学習済み重みの列空間と左零空間を利用し，共有LoRAと固有LoRAを互いに直交するパラメータ空間で学習させることで，学習内容の分離を実現する．さらに動作認識タスクを対象に，画像認識モデルを基盤としたマルチドメイン学習へ適用し，共通情報と固有情報の明確な分離を通じて性能向上やモデル解析の発展を目指す．

小林優斗, 丁寧, 玉木徹, 動作認識における静的バイアス低減のための静的情報と動的情報の分離, 第31回画像センシングシンポジウム(SSII2025), 2025/5/28-30, 東京ビッグサイト, 東京. [Poster] [PDF] [Slide]
- 本研究は，動作認識モデルが人物の動作ではなく背景や物体などの静的な外観情報に依存して予測を行う「静的バイアス」の低減を目的とする。従来は背景除去やデータ拡張による対策が提案されてきたが，動的情報と静的情報を特徴量レベルで明確に分離することは十分に実現されていなかった。そこで本研究では，静的バイアスのみに依存するネットワークと，通常の動作認識ネットワークを同時に学習し，HSICを用いた距離学習によって両者の特徴表現を統計的に独立化する手法を提案する。これにより，動作認識モデルが静的情報から離れ，人物動作に関する動的特徴を抽出するよう誘導し，ドメイン変化に強い認識性能の実現を目指す。

杉本拓也, 丁寧, 玉木徹, Edge検出を併用した動作認識と正規化モーメント交換によるドメイン適応, 第31回画像センシングシンポジウム(SSII2025), 2025/5/28-30, 東京ビッグサイト, 東京. [Poster] [PDF]
- 本研究の目的は，動作認識モデルが背景や物体などの静的情報に依存して予測してしまう「静的バイアス」の低減である。従来は背景置換やマスク処理による対策が提案されてきたが，静的情報の除去には十分でなく，AFDのようなデータ変換手法は計算コストが高いという課題があった。そこで本研究では，入力動画からオンラインでEdge画像を生成し，RGB画像と併用する2ストリーム構造を採用する。さらに，RGBとEdge間のドメインシフトを解消するため，MoExを拡張したMoExDAを提案し，中間特徴量の統計量を一致させることで軽量なドメイン適応を実現する。これにより，動作認識性能を維持しながら静的バイアスへの依存を抑えることを目指している。

志水秀熙, 玉木徹, CLIPによる複数データセット学習のための共有・固有プロンプトとアダプタの同時学習, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
- CLIPの登場により画像認識のzero-shot学習等の性能が向上し、これをマルチデータセット学習へ適用する研究が盛んである。既存手法には、追加パラメータのみを学習する「プロンプト学習」や、新たな層を追加する「アダプタ手法」がある。本研究では、画像と動画の複数データセット学習に効果的な、プロンプト学習とアダプタ手法を併用した埋め込み手法を提案する。データセットごとに異なる「固有」モジュールと、全体で「共有」されるモジュールを組み合わせることで、共通・固有の特徴を効果的に学習し、高い汎化能力の実現を目指す。

杉浦大輝, 玉木徹, 人物姿勢推定を用いたアモーダル人物セグメンテーション, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
- モーダルセグメンテーションは物体が重なり合うシーンで形状の把握が困難になる課題があるが、アモーダルセグメンテーションは隠れた部分も含めて全体の形状を復元する。従来手法は剛体形状の物体には高い精度を示すが、姿勢や形状が多様な人物などの非剛体物体に対しては予測が難しい。このため、激しいオクルージョン（遮蔽）に強い頑健なモデルが求められている。本研究では、従来手法 C2F-Seg を発展させ、人物に特化したモデル「P2F-Seg」を提案する。独自性として、まず姿勢推定のキーポイントから「粗いマスク」を生成し、これを基に詳細なアモーダルマスクを構築する手法を採る。

村川卓也, 丁寧, 玉木徹, M3DDMによるvideo outpainting結果の改善方法の検討, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
- Video outpaintingは，入力動画の画角外領域を生成することで画像を拡張する技術であるが，高品質な生成には大規模な計算資源と長い生成時間を要する。近年提案されたM3DDMは，潜在空間上で動画全体から抽出したグローバルフレームを利用することで，高速かつ軽量なvideo outpaintingを実現している。しかし，学習時に設定したマスク領域を超える広範囲なoutpaintingでは，フレーム外情報が不足するため生成結果が不鮮明になるという課題がある。本研究では，M3DDMにおける品質低下の要因を分析し，学習時と推論時の改善手法を検討する。特に，広域な生成領域に対応するためのフレーム抽出方法や特徴利用方法に着目し，動きの少ない静止領域での情報不足問題を解決することを目指す。これにより，M3DDMの計算効率を維持しながら，より高品質で安定したvideo outpaintingの実現を目指す。

高木洋徳, 丁寧, 玉木徹, VLM を用いた動画データセットに対する動作対象物体ラベルのアノテーション, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
- 動作認識データセットには動作ラベルと物体ラベルの双方が付与される場合があるが，多くの既存データセットでは動作ラベルのみが付与されている。そのため，「何をしているか」は認識できても，「何に対して行っているか」という動作対象との関係を学習することが困難である。本研究では，Vision Language Model（VLM）を用いて動作ラベルのみを持つ動画データセットに対し，動作対象となる物体ラベルを自動付与する手法を提案する。物体ラベルを導入することで，人物と物体の相互作用を考慮したより豊かな映像理解を実現することを目指す。また，動作ラベルと物体ラベルの両方が付与されたSomething-Something V2（SSv2）を用いて生成ラベルと正解ラベルを比較し，提案する自動アノテーション手法の有効性を検証する。

水野翼, 丁寧, 玉木徹, Hard Prompt Tuningを利用したZero-shot学習のためのカテゴリ名の自動最適化, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
丁寧, 藤井慶輔, 玉木徹, 戦術理解に向けたバドミントン映像のマルチスケールキャプショニング, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
福沢匠, 丁寧, 玉木徹, 動作認識のためのVideoMAE特徴量の動的表現と静的表現の分離, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
堀史門, 丁寧, 玉木徹, 物体検出器の拡張による人物・物体・画像の相互関係を考慮した時空間動作検出, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]

神谷広大, 玉木徹, オンライン動画学習のためのdd-CRPを用いた時間的マルチスケールMeMViT, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
- オンライン動画学習は，逐次的に入力される動画フレームを用いてモデルを更新するため，現実環境への適用が容易である一方，連続するフレーム間の相関が高く学習効率や認識性能が低下しやすいという課題を抱えている。本研究では，動画中の短期・長期の時間的依存関係を効果的に捉えるため，MeMViTを基盤とした時間的マルチスケール学習手法を提案する。具体的には，異なる時間スケールの情報を統合するメモリ機構に加え，メモリ内のコンテキストを周期的に同期する手法と，dd-CRPに基づくフレーム選択手法を導入することで，多様な時間的特徴を効率的に保持・活用する。これにより，オンライン学習におけるフレーム相関の影響を軽減しつつ，長期的な動作理解能力の向上を目指す。提案手法の有効性を従来のMeMViTと比較評価し，時間的マルチスケール解析による性能向上を検証する。

細谷優, 玉木徹, 特徴量シフトを用いたクエリベースの Open-Vocabulary 時空間動作検出, 第28回画像の認識・理解シンポジウム(MIRU2025), 2025/7/29〜8/1, 国立京都国際会館, 京都. [poster] [PDF]
- 近年，Vision-Language Model（VLM）の発展により，既知クラスに限定されないOpen-Vocabulary物体検出が注目されている。一方，動画中の人物動作を時空間的に検出するSTAD（Spatio-Temporal Action Detection）では，動作認識に特化した手法が主流であり，Open-Vocabulary化は十分に検討されていない。本研究では，GroundingDINOを基盤としたクエリベースのOpen-Vocabulary物体検出モデルを活用し，特徴量シフトを用いて効率的にSTADへ拡張する手法を提案する。GroundingDINOをフレーム単位で適用したうえで，異なるフレーム間における同一物体のクエリ特徴を対応付け，時間方向へ特徴を伝搬させることで動画理解を実現する。これにより，モデル構造を大きく変更することなく，Open-Vocabulary物体検出の能力を保持したまま時空間動作検出へ拡張できる可能性を示し，動画像に対する汎化性能と柔軟性の向上を目指す。

Jion Oshima, Toru Tamaki, Ding Ning, Hit Timing Detection in Badminton Videos Using Player Posture Information, NU Sports ML Workshop 2025, July 24-25, 2025, Nagoya University, Nagoya, Japan.

福沢匠, 丁寧, 玉木徹, 動作認識におけるトークン削減を用いた背景バイアス抑制と高速化, ビジョン技術の実利用ワークショップ(ViEW2025), 2025/12/4-5, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
- Vision Transformer（ViT）を用いた動作認識は高い性能を達成している一方で，背景情報と動作ラベルの相関に依存する背景バイアスが大きな課題となっている。従来の背景バイアス抑制手法の多くはモデルの再学習やファインチューニングを必要とし，既存モデルへの適用が容易ではない。本研究では，動作に関連する動的パッチのみを選択する手法を提案し，既存の動作認識モデルを変更することなく背景バイアスを抑制する新たな枠組みを実現する。さらに，VideoMAEの特徴表現を活用しつつ軽量なViTを導入することで，推論時の計算効率も維持する。Kinetics-400を用いた実験を通じて，背景バイアスの抑制と計算効率の両立を目指す。

堀史門, 丁寧, 玉木徹, 相互作用検出を統合した時空間動作検出, ビジョン技術の実利用ワークショップ(ViEW2025), 2025/12/4-5, パシフィコ横浜, 神奈川. [PDF] [poster]
- 近年の映像理解研究では，時空間動作検出（STAD）やHuman-Object Interaction（HOI）検出が広く研究されているが，両者は人物の動作と物体との相互作用を個別に扱っており，動画中の状況を統合的に理解するには十分ではない。本研究では，人物の動作カテゴリ・位置情報と，相互作用する物体のカテゴリ・位置情報を同時に検出する新たなタスクを提案する。さらに，既存のSTADデータセットを拡張し，動作ラベルに加えて相互作用物体に関するアノテーションを付与した新規データセットを構築する。アノテーションには物体検出器およびVision-Language Modelを活用し，効率的なデータ整備を実現する。また，動作認識モデル，STADモデル，HOI検出モデルを統合したベースラインモデルを設計し，新タスクの有効性と課題を検証することで，より包括的な動画理解の実現を目指す。

水野翼, 丁寧, 玉木徹, Zero-shot学習のための動作認識データセットのカテゴリ名の自動最適化, ビジョン技術の実利用ワークショップ(ViEW2025), 2025/12/4-5, パシフィコ横浜, 神奈川. [PDF] [poster]
- Zero-shot Learning（ZSL）は，事前学習済みの大規模モデルを用いて未知カテゴリを認識する手法として注目されているが，その性能はカテゴリ名や入力プロンプトの設計に大きく依存する。本研究では，カテゴリ名を固定的なラベルとして扱うのではなく，モデル内部表現と整合する中間表現として捉え，データセットに適したカテゴリ名を自動生成・最適化する手法を提案する。具体的には，Hard Prompt Made EaZy（PEZ）を用いたプロンプト最適化によってモデル内部表現に適合した記述を生成し，さらにLasso回帰を用いて動画特徴との関連性が高い語彙を抽出する。これらを組み合わせることで，人手によるカテゴリ設計に依存せず，データ分布を反映したカテゴリ名候補を構築する。提案手法により，カテゴリ名とモデル表現の整合性を高め，Zero-shot動作認識の性能向上と解釈性の向上を目指す。

2024年

書籍

日浦慎作編, 香川景一郎, 小池崇文, 久保尋之, 延原章平, 玉木徹, 皆川卓也, コンピュータビジョン ― デバイス・アルゴリズムとその応用 ―, コロナ社, ISBN 978-4-339-01377-1, 264 pages, 2024/10/9. [出版社web] [Amazon]

Tetsushi Koide, Masayuki Odagawa, Toru Tamaki, Shigeto Yoshida, Shiro Oka, Shinji Tanaka, A Real-Time Computer-Aided Diagnosis System with Quantitative Staging on Customizable Embedded Digital Signal Processor, Chapter 16, 22 pages, in Biomedical Engineering; Imaging Systems, Electric Devices, and Medical Materials, 1st Edition, Jenny Stanford Publishing, 404 pages, 2024/4/12, eBook ISBN9781003464044 [https://doi.org/10.1201/9781003464044] [出版社webサイト]

本章では、狭帯域イメージング（NBI）拡大表示を用いた大腸内視鏡動画向けのコンピュータ支援診断（CAD）システムにおける、定量的病期分類のハードウェア設計を提案する。リアルタイムの内視鏡動画に対応する本CADシステムは、高精度、高速処理、低消費電力を実現するため、カスタマイズ可能な組み込み型デジタル信号プロセッサ（DSP）上に実装されている。また、提案するCADシステムは、拡大表示されたNBI内視鏡観察において、医師に対してより正確な定量的かつ客観的な病期分類指標を提供する。

論文

Tomoya Nitta, Takumi Fukuzawa, Toru Tamaki, Fine-grained length controllable video captioning with ordinal embeddings, IEEE Access, Vol.12, pp. 189667-189688, 2024. [PDF] [https://doi.org/10.1109/ACCESS.2024.3506751] [online demo] [code & checkpoint]

本論文では、生成されるキャプションの長さを制御するビデオキャプショニング手法を提案する。これまでの長さ制御に関する研究では、長さを表現するためのレベル数が少ない場合が多かった。本研究では、詳細な長さ制御を実現するための2つの長さ埋め込み手法を提案する。従来の埋め込み手法は線形であり、one-hotベクトルと埋め込み行列を用いる。本研究では、長さをmulti-hotベクトルで表現する手法を提案する。1つは長さをビット表現で表すビット埋め込みであり、もう1つは順序回帰でよく用いられる二進法表現を用いる順序埋め込みである。これらのmulti-hotベクトルによる長さの表現は、非線形MLPによって長さ埋め込みに変換される。この手法により、キャプション文の長さ制御だけでなく、キャプションを読むタイミングの制御も可能となる。ActivityNet CaptionsおよびSpoken Moments in Timeを用いた実験により、提案手法が生成されるキャプションの長さを効果的に制御できることが示された。独立成分分析（ICA）を用いた埋め込みベクトルの分析により、長さと意味が別々に学習されたことが示され、提案する埋め込み手法の有効性が実証された。コードおよびオンラインデモは、https://huggingface.co/spaces/fztkm/length_controllable_video_captioning で公開している。

解説

杉浦大輝, 玉木徹, セグメンテーションと画像変換を用いた動作認識のためのデータ拡張, 画像ラボ, Vol.35, No.6, pp.7-15, 2024.

国際学会

Itsuki Kato, Kodai Kamiya, Toru Tamaki, Online Pre-Training with Long-Form Videos, 2024 IEEE 13th Global Conference on Consumer Electronics (GCCE 2024), Kokura, Japan, Oct. 29-Nov. 1, 2024. [arXiv] [PDF] [Poster] [https://doi.org/10.1109/GCCE62371.2024.10760638]

本研究では、連続した動画クリップを用いたオンライン事前学習の影響について検討する。事前学習方法としては、マスク付き画像モデリング、対照学習、知識蒸留の3つの方法を検討し、下流の動作認識タスクにおける性能を評価する。その結果、対照学習を用いたオンライン事前学習が、下流タスクにおいて最も良い性能を示した。このことから、長尺動画からの学習が、短尺動画を用いた動作認識に有用である可能性を示唆された。

Taiki Sugiura, Toru Tamaki, S3Aug: Segmentation, Sampling, and Shift for Action Recognition, 19th International Conference on Computer Vision Theory and Applications (VISAPP2024), Vol.2, pp. 71-91, 2024. ISBN 978-989-758-679-8, ISSN 2184-4321, DOI: 10.5220/0012310400003660, Rome, Italy, 27-29 Feburary 2024. [arXiv] [DOI: 10.5220/0012310400003660] [slide]

本論文では、動作認識のための動画データ拡張手法S3Augを提案する。2つの動画から領域を切り取って貼り合わせる従来の動画データ拡張手法とは異なり、本手法は、セグメンテーションとラベルから画像への変換を通じて、単一の学習用動画から新しい動画を生成する。さらに、本手法では、サンプリングによって特定のカテゴリのラベル画像を改変し、多様な動画を生成するとともに、中間特徴量をシフトさせることで、生成された動画のフレーム間の時間的整合性を高める。UCF101、HMDB51、およびMimeticsデータセットを用いた実験結果から、特にMimeticsデータセットの文脈外動画において、本手法の有効性が実証された。

Kodai Kamiya, Toru Tamaki, Multi-model learning by sequential reading of untrimmed videos for action recognition, The International Workshop on Frontiers of Computer Vision (IW-FCV2024), Tokyo, Japan, Feb. 19-21, 2024. [arXiv] [slide]

近年，動作認識や動作区間検出などの映像理解タスクでは，短いtrimmed videoを対象とした研究が主流である。一方，実世界の動画は数分から数十分に及ぶuntrimmed videoであることが多く，従来は動画を複数のクリップに分割して特徴量を事前計算する手法が一般的である。しかし，この方法では特徴抽出器を含むend-to-endの学習が困難であり，長時間動画の情報を十分に活用できない。本研究では，untrimmed videoを先頭から順次読み込みながら学習するオンライン動画学習手法を提案する。複数モデルに連続クリップを分散して入力することでデータ間の高い相関を低減し，さらに連合学習によるモデル同期を導入することで，各モデルの知識を統合する。これにより，特徴量の事前計算を必要とせず，長時間動画に対する効率的かつend-to-endな動作認識学習の実現を目指す。

Yongfei Wu, Daisuke Katayama, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Shin Morimoto, Yuki Okamoto, Shiro Oka, Shinji Tanaka, A Real-time Full-screen Diagnostic Support Method with Simultaneous Detecting and Classifying for Colonoscopy Lesion Areas, 2024 International Technical Conference on Circuits/Systems, Computers, and Communications (ITC-CSCC2024), OIST, Okinawa, Japan, 2024/7/2-5, pp. 1-6, doi: 10.1109/ITC-CSCC62988.2024.10628275.

本論文では、ディープラーニングアーキテクチャに基づく検出・分類を同時に行う手法を用いた、全画面病変認識のためのコンピュータ支援診断（CAD）システムを提案する。提案システムは、大腸内視鏡の狭帯域イメージング（NBI）によって撮影された全画面画像を入力として用い、病変領域の検出と同時に、進行度の異なる領域を識別する。提案システムは、診断医の経験に起因する診断のばらつきや負担を軽減することを目的としている。その結果、テストデータセット内のすべての病変を検出することに成功し、テストデータセット内の拡大画像において85％という妥当な値に達した。

Preprint

Tomoya Nitta, Takumi Fukuzawa, Toru Tamaki, Fine-grained length controllable video captioning with ordinal embeddings, arXiv:2408.15447, 2024.
Itsuki Kato, Kodai Kamiya, Toru Tamaki, Online Pre-Training With Long-Form Videos, arXiv:2408.15651, 2024.
Kodai Kamiya, Toru Tamaki, Multi-model learning by sequential reading of untrimmed videos for action recognition, arXiv:2401.14675, 2024.
Shimon Hori, Kazuki Omi, Toru Tamaki, Query matching for spatio-temporal action detection with query-based object detector, arXiv:2409.18408, 2024.
Tsubasa Mizuno, Toru Tamaki, Shift and matching queries for video semantic segmentation, https://arxiv.org/abs/2410.07635, 2024.

研究会・シンポジウム

丁寧, 武田一哉, Jin Wenhui, Bei Yingjiu, 藤井慶輔, 多視点ドローン映像からの姿勢情報を用いたバドミントンダブルスの最適ポジショニングの推定, 第30回画像センシングシンポジウム(SSII2024), 2024/6/12-14, パシフィコ横浜, 神奈川. [poster] [PDF]
加藤樹, 玉木徹, 長時間動画のオンライン事前学習方法の検討, 第30回画像センシングシンポジウム(SSII2024), 2024/6/12-14, パシフィコ横浜, 神奈川. [poster] [PDF] [slide]
堀史門, 大見一樹, 玉木徹, フレーム間のクエリマッチングを用いた物体検出モデルの時空間動作検出への拡張, 第30回画像センシングシンポジウム(SSII2024), 2024/6/12-14, パシフィコ横浜, 神奈川. [poster] [PDF]
水野翼, 玉木徹, 画像セマンティックセグメンテーションの動画像への効率的な拡張, 第30回画像センシングシンポジウム(SSII2024), 2024/6/12-14, パシフィコ横浜, 神奈川. [poster] [PDF]
福沢匠, 原健翔, 片岡裕雄, 玉木徹, 静的バイアスの強弱に関わらないZero-shot動作認識手法の検討, 第30回画像センシングシンポジウム(SSII2024), 2024/6/12-14, パシフィコ横浜, 神奈川. [poster] [PDF] [slide]
呉泳飛, 片山大輔, 小出哲士, 玉木徹, 吉田成人, 森元晋, 岡本由貴, 岡志郎, 田中信治, 大腸内視鏡検査における病変領域検出と分類を行うリアルタイム全画面診断支援手法, 第30回画像センシングシンポジウム(SSII2024), 2024/6/12-14, パシフィコ横浜, 神奈川. [PDF]
大見一樹, 玉木徹, 時空間アクション検出のための人物クエリのマッチングによるアクションチューブ生成, 第27回画像の認識・理解シンポジウム (MIRU2024), 2024/8/6-9, 熊本城ホール, 熊本. [poster] [PDF]
木全潤, 玉木徹, 動作認識における複数データセット学習のための固有LoRAと共有LoRA, 第27回画像の認識・理解シンポジウム (MIRU2024), 2024/8/6-9, 熊本城ホール, 熊本. [poster] [PDF]
橋口凌大, 玉木徹, 動作区間検出データセットの動作区間長に応じたノイズ除去, 第27回画像の認識・理解シンポジウム (MIRU2024), 2024/8/6-9, 熊本城ホール, 熊本. [poster] [PDF]
仁田智也, 玉木徹, 動画の説明文生成における長さ制御のための埋め込みとその解析, 第27回画像の認識・理解シンポジウム (MIRU2024), 2024/8/6-9, 熊本城ホール, 熊本. [poster] [PDF]
大島慈温, 堀史門, 玉木徹, 時空間動作検出のための人物クエリマッチングの AVA データセットに対する性能評価, 第27回画像の認識・理解シンポジウム (MIRU2024), 2024/8/6-9, 熊本城ホール, 熊本. [poster] [PDF]
志水秀熙, 玉木徹, CLIPを用いた複数データセット学習のための固有プロンプトと共有プロンプト, 令和6年度電気・電子・情報関係学会東海支部連合大会, 2024/8/28-29, 岐阜大学, 岐阜. [slide] [PDF]
小林優斗, 丁寧, 玉木徹, Temporal Action LocalizationにおけるCLIPとX-CLIPの比較, 令和6年度電気・電子・情報関係学会東海支部連合大会, 2024/8/28-29, 岐阜大学, 岐阜. [slide] [PDF]
神谷広大, 志水秀熙, 玉木徹, MeMViT の時間方向へのマルチスケール拡張, 第23回情報科学技術フォーラム(FIT2024), 2024/9/4-6, 広島工業大学, 広島. [slide] [PDF]
細谷優, 堀史門, 玉木徹, Open-Vocabulary物体検出モデルの時空間動作検出への拡張, 第23回情報科学技術フォーラム(FIT2024), 2024/9/4-6, 広島工業大学, 広島. [slide] [PDF]
杉浦大輝, 玉木徹, アモーダルセグメンテーションを用いたオクルージョン下の人物姿勢推定, ビジョン技術の実利用ワークショップ(ViEW2024), 2024/12/5-6, パシフィコ横浜, 神奈川. [PDF] [poster]
神谷広大, 志水秀熙, 玉木徹, オンライン動画学習のための時間的マルチスケールMeMViT, ビジョン技術の実利用ワークショップ(ViEW2024), 2024/12/5-6, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
細谷優, 堀史門, 玉木徹, 特徴量シフトを用いたクエリベースのOpen-Vocabulary時空間動作検出, ビジョン技術の実利用ワークショップ(ViEW2024), 2024/12/5-6, パシフィコ横浜, 神奈川. [PDF] [poster]
志水秀熙, 玉木徹, 複数データセット学習のためのCLIP のプロンプト学習とアダプタの併用, ビジョン技術の実利用ワークショップ(ViEW2024), 2024/12/5-6, パシフィコ横浜, 神奈川. [PDF] [poster]

招待講演

玉木徹, 時空間情報を活用する動画像理解AI技術, 第17回 Nagoyaオープンイノベーション研究会（N-ova）, 名古屋工業大学, 愛知, 2024/9/25. [slide]
玉木徹, 動画像符号化と動作認識, 2024年度画像符号化シンポジウム（PCSJ 2024）& 2024年度映像メディア処理シンポジウム（IMPS 2024）, 2024/11/25-27, 御殿場高原ホテル, 静岡. [slide]

その他

ラジオFM AICHI「中電シーティーアイWelcome Generation」, 研究室紹介
- FM AICHI / ５月３０日（木）２０：３０～２１：００
- e-radio・エフエム滋賀 / ５月３０日（木）２０：００～２０：３０
- HELLO FIVE・エフエム石川 / ６月１日（土）２０：００～２０：３０

2023年

論文

Tomoya Nitta, Tsubasa Hirakawa, Hironobu Fujiyoshi, Toru Tamaki, Object-ABN: Learning to Generate Sharp Attention Maps for Action Recognition, IEICE Transactions on Information and Systems, Vol.E106-D, No.3, pp.391-400, 2023. DOI: 10.1587/transinf.2022EDP7138 [https://doi.org/10.1587/transinf.2022EDP7138] [PDF] [arXiv:2207.13306]

本論文では、動作認識のために、より鮮明なアテンションマップを生成するため、インスタンスセグメンテーションを用いたアテンションブランチネットワーク（ABN）の拡張手法を提案する。Grad-CAMなどの視覚的説明手法では、通常、ぼやけたマップが生成され、特に動画内の人物の動作を認識する際、人間にとって直感的に理解しにくい。我々が提案するObject-ABNは、生成されたアテンションマップをインスタンスセグメンテーションの結果に近づける新しいマスク損失を導入することで、この問題に対処する。さらに、マップの鮮明度を高め、分類性能を向上させるために、プロトタイプ適合度（PC）損失および複数のアテンションマップを導入した。UCF101およびSSv2を用いた実験結果から、提案手法によって生成されたマップは、定性的・定量的に、従来のABNによるものよりもシャープであることが示された。

解説

橋口凌大, 玉木徹, 効率的な動作認識のためのシフトによる時間的な相互アテンションを用いたVision Transformer, 画像ラボ, Vol.34, No.5, pp.9-16, 2023.

国際学会

Shuki Shimizu, Toru Tamaki, Joint learning of images and videos with a single Vision Transformer, 18th International Conference on Machine Vision Applications (MVA2023), Hamamatsu, Japan, 23-25 July 2023. DOI: 10.23919/MVA57639.2023.10215661 [IEEE open access] [poster] [arXiv:2308.10533] [GitHub]

本研究では、単一のモデルを用いて画像と動画を共同学習する手法を提案する。一般的に、画像と動画は別々のモデルで学習されることが多い。本論文では、Vision Transformer（IV-ViT）への入力として、画像のバッチに加え、レイトフュージョンによる時間的集約が施された一連の動画フレームも取り込む手法を提案する。2つの画像データセットおよび2つの動作認識データセットを用いた実験結果を提示する。

Preprint

Taiki Sugiura, Toru Tamaki, S3Aug: Segmentation, Sampling, and Shift for Action Recognition, arxiv:2310.14556, 2023.
Shuki Shimizu, Toru Tamaki, Joint learning of images and videos with a single Vision Transformer, arXiv:2308.10533, 2023.

研究会・シンポジウム

福沢匠, 細谷優, 玉木徹, キャプション生成を用いたzero-shot動作認識, 画像の認識・理解シンポジウム2023（MIRU2023）, 2023/7/25-28, アクトシティ浜松, 静岡. [PDF] [poster]
細谷優, 玉木徹, 動作内容を表すカテゴリ文を用いた zero-shot 動作認識, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
神谷広大, 玉木徹, 逐次読み込みによる動作認識のための複数モデル学習, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
杉浦大輝, 玉木徹, セグメンテーションと画像生成を用いた動作認識のためのデータ拡張, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
志水秀熙, 玉木徹, 単一モデルを用いた画像と動画の同時学習, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
木全潤, 志水秀熙, 玉木徹, マルチドメイン動作認識のための重み付け手法の実験的検討, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
橋口凌大, 細谷優, 玉木徹, 動作認識タスクにおけるラベルノイズの解析, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
呉泳飛, 片山大輔, 小出哲士, 玉木徹, 吉田成人, 森元晋, 岡本由貴, 岡志郎, 田中信治, 大腸NBI内視鏡における診断支援のための 2ステージ病変識別システム, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川.
片山大輔, 呉泳飛, 小出哲士, 玉木徹, 吉田成人, 森元晋, 岡本由貴, 岡志郎, 田中信治, 大腸内視鏡診断支援のための単一FCNによる詳細な推論結果の提示が可能なCADシステムの開発, 第29回画像センシングシンポジウム(SSII2023), 2023/6/14-16, パシフィコ横浜, 神奈川.
細谷優, 玉木徹, 動作内容を表すカテゴリ文を用いた zero-shot 動作認識, 情報処理学会コンピュータビジョンとイメージメディア研究会（CVIM研究会）, 2023年5月研究会, 2023/5/18-19, 名古屋工業大学, 愛知. [PDF] [poster] [slide]
神谷広大, 玉木徹, 逐次読み込みによる動作認識のための複数モデル学習, 情報処理学会コンピュータビジョンとイメージメディア研究会（CVIM研究会）, 2023年5月研究会, 2023/5/18-19, 名古屋工業大学, 愛知. [PDF] [poster] [slide]
杉浦大輝, 玉木徹, セグメンテーションと画像生成を用いた動作認識のためのデータ拡張, 情報処理学会コンピュータビジョンとイメージメディア研究会（CVIM研究会）, 2023年5月研究会, 2023/5/18-19, 名古屋工業大学, 愛知. [PDF] [poster] [slide]
志水秀熙, 玉木徹, 単一モデルを用いた画像と動画の同時学習, 情報処理学会コンピュータビジョンとイメージメディア研究会（CVIM研究会）, 2023年5月研究会, 2023/5/18-19, 名古屋工業大学, 愛知. [PDF] [poster] [slide]

その他

Toru Tamaki, Daisuke Kayatama, Yongfei Wu, Tetsushi Koide, Shigeto Yoshida, Shin Morimoto, Yuki Okamoto, Shiro Oka, Shinji Tanaka, Visualization Algorithms of Colorectal NBI Endoscopy Images for Computer-aided Diagnosis, The 8th International Symposium on Biomedical Engineering & International Workshop on Nanodevice Technologies 2023, November 21-22, 2023, Hiroshima University, Japan.
Yongfei Wu, Daisuke Katayama, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Shin Morimoto, Yuki Okamoto, Shiro Oka, Shinji Tanaka, Masayuki Odagawa, Toshihiko Sugihara, A Lesion Recognition System Using Single FCN for Indicating Detailed Inference Results in Colon NBI Endoscopy, The 8th International Symposium on Biomedical Engineering & International Workshop on Nanodevice Technologies 2023, November 21-22, 2023, Hiroshima University, Japan.
Yongfei Wu, Daisuke Katayama, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Shin Morimoto, Yuki Okamoto, Shiro Oka, Shinji Tanaka, Masayuki Odagawa, Toshihiko Sugihara, A Two-Stage Real Time Diagnosis System for Lesion Recognition in Colon NBI Endoscopy, The 8th International Symposium on Biomedical Engineering & International Workshop on Nanodevice Technologies 2023, November 21-22, 2023, Hiroshima University, Japan.
福沢匠, 産総研/cvpaper.challengeインターン体験記, cvpaper.challenge Advent Calendar 2023, 2023/12/2.

受賞

大見一樹, 2022年度学生研究奨励事業, 名古屋工業大学基金, 2023/3.
大見一樹, IEEE名古屋支部優秀学生賞 (IEEE Nagoya Section, Excellent student Award), IEEE名古屋支部, 2023/3/23.
大見一樹, 優秀論文賞, DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム（第21回日本データベース学会年次大会）, 2023/3/5-9, 長良川国際会議場, 岐阜.
大見一樹, 学生プレゼンテーション賞, DEIM2023 第15回データ工学と情報マネジメントに関するフォーラム（第21回日本データベース学会年次大会）, 2023/3/5-9, 長良川国際会議場, 岐阜.

2022年

書籍

玉木徹, 小出哲士, 吉田成人, 下部拡大内視鏡（NBI）AI ②, Chapter 12, 内視鏡画像AI（医療AIとディープラーニングシリーズ）, コロナ社, ISBN 978-4274225642, 250 pages, 2022/11/5. [出版社web] [Amazon]

論文

Kazuki Omi, Jun Kimata, Toru Tamaki, Model-agnostic Multi-Domain Learning with Domain-Specific Adapters for Action Recognition, IEICE Transactions on Information and Systems, Vol.E105-D, No.12, pp.2119-2126, 2022. [https://doi.org/10.1587/transinf.2022EDP7058] [PDF] [arXiv:2204.07270]

本論文では、動作認識のためのマルチドメイン学習モデルを提案する。提案手法では、バックボーンネットワークのドメイン非依存層の間に、ドメイン固有のアダプタを挿入する。分類ヘッドのみを切り替えるマルチヘッドネットワークとは異なり、提案モデルはヘッドだけでなくアダプタも切り替えることで、複数のドメインに共通する特徴表現の学習を促進する。従来研究とは異なり、提案手法はモデル非依存であり、モデル構造を前提としない。3つの代表的な動作認識データセット（HMDB51、UCF101、Kinetics-400）を用いた実験結果から、本手法はマルチヘッドアーキテクチャよりも効果的であり、ドメインごとに個別にモデルを学習させる方法よりも効率的であることが示された。

Aoi Otani, Ryota Hashiguchi, Kazuki Omi, Norishige Fukushima, Toru Tamaki, Performance Evaluation of Action Recognition Models on Low Quality Videos, IEEE Access, Vol.10, pp. 94898-94907, 2022. [https://doi.org/10.1109/ACCESS.2022.3204755] [PDF] [arXiv:2204.09166]

動作認識モデルの設計において、動画の画質は重要な課題である。しかし、画質と性能のトレードオフはしばしば見過ごされてきた。一般的に、動作認識モデルは高品質な動画を用いて学習されるため、低品質な動画でテストした際にモデルの性能がどの程度低下するか、また学習用動画の画質が性能にどの程度影響を与えるかは明らかになっていない。動画の画質という問題は重要であるにもかかわらず、これまで十分に研究されてこなかった。本研究の目的は、異なる画質のトランスコード済み動画に対して、いくつかの動作認識モデルを定量的に評価することで、性能と学習・テスト用動画の画質とのトレードオフを明らかにすることである。まず、動画の画質が事前学習済みモデルの性能にどのように影響するかを示す。Kinetics400の元の検証用動画を、JPEGの画質制御パラメータ（圧縮率）およびH.264/AVCのCRFを変更してトランスコードする。次に、トランスコードされた動画を用いて、事前学習済みモデルの検証を行う。第二に、トランスコードされた動画で学習させた場合のモデルの性能を示す。Kinetics400の元のトレーニング動画を、JPEGおよびH.264/AVCの画質パラメータを変更してトランスコードする。その後、トランスコードされたトレーニング動画を用いてモデルを学習させ、元の検証動画およびトランスコードされた検証動画を用いて検証を行う。JPEGトランスコーディングを用いた実験結果によると、圧縮強度70未満では視覚的な画質劣化が認められず、性能の著しい低下（最大−1.5%）は見られない。一方、80を超えると、性能は品質指数に比例して線形に低下する。H.264/AVCトランスコーディングを用いた実験では、CRF30の場合、動画ファイルの総サイズが30%に縮小される一方で、性能の著しい低下（最大−1%）は見られないことが示された。要約すると、画質の低下が著しく目に見えるものでない限り、動画の画質は動作認識モデルの性能に大きな影響を与えない。これにより、学習用および検証用の動画をトランスコードし、ファイルサイズを元の動画の3分の1に縮小することが可能となる。

Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Classification with CNN features and SVM on Embedded DSP Core for Colorectal Magnified NBI Endoscopic Video Image. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Volume E105-A, Issue 1, pp.25-34, 2022. [https://doi.org/10.1587/transfun.2021EAP1036] [PDF]
Masayuki Odagawa, Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Feasibility Study for Computer-Aided Diagnosis System with Navigation Function of Clear Region for Real-Time Endoscopic Video Image on Customizable Embedded DSP Cores. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, E105-A, Issue 1, pp.58-62, 2022. [https://doi.org/10.1587/transfun.2021EAL2044] [PDF]
Yuki Okamoto, Shigeto Yoshida, Seiji Izakura, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide, Toru Tamaki, Yuki Kamigaichi, Hirosato Tamari, Yasutsugu Shimohara, Tomoyuki Nishimura, Katsuaki Inagaki, Hidenori Tanaka, Ken Yamashita, Kyoku Sumimoto, Shiro Oka, Shinji Tanaka, Development of multi-class computer-aided diagnostic systems using the NICE/JNET classifications for colorectal lesions, Journal of Gastroenterology and Hepatology, Volume37, Issue1, pp.104-110, 2022. [https://doi.org/10.1111/jgh.15682] [PDF]

国際学会

Ryota Hashiguchi, Toru Tamaki, Temporal Cross-attention for Action Recognition, ACCV2022 Workshop on Vision Transformers: Theory and applications (VTTA-ACCV2022), pp.276-288, Online, 2022/12/4-5. [CVF open access] [PDF] [slide] [LNCS] [https://doi.org/10.1007/978-3-031-27066-6_20] [arXiv:2204.0045] [github]

Temporal Shift Module（TSM）が提案されて以来、CNNベースのモデルを用いた動作認識において、特徴量のシフトが有用であることが示されてきた。これは、フレーム単位の特徴量抽出と後期融合に基づいており、時間的な相互作用を実現するために、層の特徴量が時間軸に沿ってシフトされる。Visionトランスフォーマー（ViT）に基づく最近のモデルであるTokenShiftも、この時間的特徴シフトメカニズムを採用しているが、ViTにおけるMulti-head Self-Attention（MSA）の構造を十分に活用できていない。本論文では、このアテンション構造を最大限に活用するMulti-head Self/Cross-Attention（MSCA）を提案する。TokenShiftは、連続するフレーム（時刻t+1およびt-1）で特徴が時間的にシフトされるフレーム単位のViTに基づいている。これに対し、提案するMSCAは、フレーム単位のViTにおけるMSAを置き換え、一部のMSAヘッドが現在のフレームではなく連続するフレームにアテンションを向けるようにする。アテンションの対象を変更するだけであるため、計算コストはフレーム単位のViTやTokenShiftと同じである。連続するフレームからキー、クエリ、値のどれを取得するかという選択肢があるため、これらのバリエーションをKinetics400を用いて実験的に比較した。また、提案するMSCAをヘッド次元ではなくViTのパッチ次元に沿って使用する他のバリエーションについても検討した。実験の結果、MSCA-KVが最高の性能を示し、TokenShiftよりも0.1%、ViTよりも1.2%高い結果が示された。

Jun Kimata, Tomoya Nitta, Toru Tamaki, ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition, ACM MM Asia 2022 (MMAsia '22), Tokyo, Japan/Online, 13-16 December, 2022. [https://doi.org/10.1145/3551626.3564941] [PDF] [poster] [slide] [arXiv:2204.00239]

本論文では、インスタンスセグメンテーションを用いた動作認識のためのデータ拡張手法を提案する。画像認識向けのデータ拡張手法は数多く提案されているが、動作認識に特化したものはほとんどない。提案手法であるObjectMixは、インスタンスセグメンテーションを用いて2つの動画から各オブジェクト領域を抽出し、それらを組み合わせて新しい動画を作成する。2つの動作認識データセットであるUCF101およびHMDB51を用いた実験により、提案手法の有効性が実証され、先行研究であるVideoMixに対する優位性が示された。

Kazuki Omi, Toru Tamaki, On the Instability of Unsupervised Domain Adaptation with ADDA, International Workshop on Advanced Image Technology (IWAIT2022), Proc. of SPIE Vol. 121771X, Hong Kong/Online, 4-6 January, 2022. [https://doi.org/10.1117/12.2625953] [PDF] [poster]

本論文では、教師なしドメイン適応手法である敵対的判別ドメイン適応（ADDA）の不安定性について報告する。ADDAの精度は安定しておらず、この不安定性はソースドメインを用いた事前学習によるものではなく、ターゲットドメイン向けのCNNの初期化に起因することを示す。

Shoma Kato, Akira Kito, Toru Tamaki and Hiroaki Sawano, Estimating the number of Table Tennis Rallies in a Match Video, International Workshop on Advanced Image Technology (IWAIT2022), Proc. SPIE 12177, Hong Kong/Online, 4-6 January, 2022. [https://doi.org/10.1117/12.2625945]
Daisuke Katayama , Yongfei Wu , Ryuichi Michida, Tetsushi Koide , Toru Tamaki , Shigeto Yoshida , Yuki Okamoto , Shiro Oka , Shinji Tanaka, An Endoscopic image Classifier Using Deep Learning Considering Progression of Colorectal Cancer, 2022 37th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 05-08 July 2022. [https://doi.org/10.1109/ITC-CSCC55581.2022.9894870] [PDF]
Yongfei Wu, Daisuke Katayama, Ryuichi Michida, Tetsushi Koide , Toru Tamaki , Shigeto Yoshida , Yuki Okamoto , Shiro Oka , Shinji Tanaka, A U-Net Based Lesion Segmentation Method for Computer-Aided Diagnosis in Colorectal NBI Endoscopy, 2022 37th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 05-08 July 2022. [https://doi.org/10.1109/ITC-CSCC55581.2022.9895039] [PDF]

Preprint

Tomoya Nitta, Tsubasa Hirakawa, Hironobu Fujiyoshi, Toru Tamaki, Object-ABN: Learning to Generate Sharp Attention Maps for Action Recognition, arXiv:2207.13306, 2022.
Ryota Hashiguchi, Toru Tamaki, Vision Transformer with Cross-attention by Temporal Shift for Efficient Action Recognition, arXiv:2204.0045, 2022.
Jun Kimata, Tomoya Nitta, Toru Tamaki, ObjectMix: Data Augmentation by Copy-Pasting Objects in Videos for Action Recognition, arXiv:2204.00239, 2022.
Aoi Otani, Ryota Hashiguchi, Kazuki Omi, Norishige Fukushima, Toru Tamaki, On the Performance Evaluation of Action Recognition Models on Transcoded Low Quality Videos, arXiv:2204.09166, 2022.
Kazuki Omi, Toru Tamaki, Model-agnostic Multi-Domain Learning with Domain-Specific Adapters for Action Recognition, arXiv:2204.07270, 2022.

研究会・シンポジウム

玉木徹, 動作認識の最前線：手法，タスク，データセット, 精密工学会画像応用技術専門委員会(IAIP) 2022年度第4回定例研究会, 中央大学, 東京・オンライン, 2022/11/18. [SlideShare] [PDF]
木全潤, 仁田智也, 玉木徹, ObjectMix：動画像中の物体のコピー・ペーストによる動作認識のためのデータ拡張, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
橋口凌大, 玉木徹, 効率的な動作認識のためのシフトによる時間的な相互アテンションを用いたVision Transformer, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
仁田智也, 平川翼, 藤吉弘亘, 玉木徹, Object-ABN：動作認識のためのシャープなアテンションマップ生成, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
大谷碧生, 大見一樹, 橋口凌大, 福嶋慶繁, 玉木徹, 動画像の画質劣化に対する動作認識モデルの評価, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
大見一樹, 玉木徹, 時空間アダプタを用いた動作認識のためのマルチドメイン学習, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川. [PDF] [poster] [slide]
呉泳飛, 片山大輔, 道田竜一, 小出哲士, 玉木徹, 吉田成人, 岡本由貴, 岡志郎, 田中信治, 大腸NBI内視鏡におけるコンピュータ支援診断のためのFully Convolutional Networkを用いた病変部位のセグメンテーション法, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川.
片山大輔, 呉泳飛, 道田竜一, 小出哲士, 玉木徹, 吉田成人, 岡本由貴, 岡志郎, 田中信治, 深層学習を用いたNICE/JNET分類に基づく大腸内視鏡画像診断支援の一手法, 第28回画像センシングシンポジウム(SSII2022), 2022/6/8-10, パシフィコ横浜, 神奈川.
仁田智也, 平川翼, 藤吉弘亘, 玉木徹, インスタンスセグメンテーションを用いたシャープなアテンションマップ生成による動作認識, 情報処理学会コンピュータビジョンとイメージメディア研究会（CVIM研究会）, 2022年5月研究会, 2022/5/12-13, 豊田工業大学, 愛知. [PDF] [poster] [slide] [http://id.nii.ac.jp/1001/00217709/]

その他

Taiki Sugiura, Toru Tamaki, Action recognition with generated sequences, The 7th International Symposium on Biomedical Engineering (ISBE2022) 第７回生体医歯工学共同研究拠点国際シンポジウム, online, 2022/11/25.
加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 放送用卓球映像におけるラリー回数の自動推定, 第20回情報学ワークショップ(WiNF), 愛知工業大学, 愛知, 2022/12/17.
加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 垂直方向ラリーの卓球映像におけるラリー回数計測手法の提案, 映像情報メディア学会スポーツ情報処理研究会（SIP）, 名古屋工業大学, 愛知, 2022/12/7.
加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 卓球映像中の選手の死角における打球コース推定手法の提案, 映像情報メディア学会 2022年冬季大会, 東京理科大学, 東京・オンライン, 2022/12/22-23.
加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 垂直方向ラリーの卓球映像における打球推定手法の提案, 情報処理学会第84回全国大会, 愛媛大学城北キャンパス・オンライン, 2022/3/3-5. [学生奨励賞] [http://id.nii.ac.jp/1001/00220931/]
加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 卓球競技映像におけるスイング動作区間推定手法の提案, 令和四年度電気・電子・情報関係学会東海支部連合大会, オンライン, 2022/8/29-30.
原健翔, 橋口凌大, 篠田理沙, 斎藤巧真, 近藤拓未, 【メタサーベイ】Video Transformer, cvpaper.challengeメタサーベイ, 2022. [slide]

2021年

書籍

スタンフォードベクトル・行列からはじめる最適化数学, 講談社, ISBN978-4065161968, Feb 2021. [出版社web] [Amazon.co.jp] [GitHub]

Tetsushi Koide, Toru Tamaki, Shigeto Yoshida, Shinji Tanaka. A Hierarchical Type Segmentation Hardware for Colorectal Endoscopic Images with Narrow-Band Imaging Magnification, Chapter 16, Biomedical Engineering, 1st Edition, Jenny Stanford Publishing, ISBN 9781003141945, 21 pages, 2021. [Publisher site]

論文

Kazuki Fujimori, Bisser Raytchev, Kazufumi Kaneda Yasufumi Yamada, Yu Teshima, Emyo Fujioka, Shizuko Hiryu, Toru Tamaki. Localization of Flying Bats from Multichannel Audio Signals by Estimating Location Map with Convolutional Neural Networks, Journal of Robotics and Mechatronics, Vol. 33 No. 3, pp. 515-525, 2021. [https://doi.org/10.20965/jrm.2021.p0515] [PDF]
Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shigeto Yoshida, Hiroshi Mieno, Shinji Tanaka, Takayuki Sugawara, Hiroshi Toishi, Masayuki Tsuji, Nobuo Tamba, A Hardware Implementation on Customizable Embedded DSP Core for Colorectal Tumor Classification with Endoscopic Video toward Real-Time Computer-Aided Diagnosais System, IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Vol. E104-A(4), pp. 691-701, 2021. [https://doi.org/10.1587/transfun.2020EAP1069] [PDF]

国際学会

Wataru Fuji, Bisser Raytchev, Kazufumi Kaneda, Toru Tamaki. p-TSM: Learning to shift temporal features point-wise for action recognition, The 27th International Workshop on Frontiers of Computer Vision (IW-FCV), PS1-4, 2021/2/22-23. [poster] [PDF]
Komiki Maruyama, Bisser Raytchev, Kazufumi Kaneda, Toru Tamaki. Weakly supervised temporal action localization with additional sub networks for local spatial information, The 27th International Workshop on Frontiers of Computer Vision (IW-FCV), PS1-7, 2021/2/22-23. [poster] [PDF]
Sora Iwamoto, Bisser Raytchev, Toru Tamaki, Kazufumi Kaneda, Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning. UNSURE/PIPPI@MICCAI 2021: 34-43 [arXiv PDF] [Springer Link]
Ryuichi Michida, Daisuke Katayama, Izakura Seiji, Yongfei Wu, Tetsushi Koide, Shinji Tanaka, Yuki Okamoto, Hiroshi Mieno, Toru Tamaki, Shigeto Yoshida, A Lesion Classification Method Using Deep Learning Based on JNET Classification for Computer-Aided Diagnosis System in Colorectal Magnified NBI Endoscopy, 2021 36th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 27-30 June 2021. [https://doi.org/10.1109/ITC-CSCC52171.2021.9501420] [PDF]
Daisuke Katayama, Ryuichi Michida, Seiji Izakura, Yongfei Wu, Tetsushi Koide, Shinji Tanaka, Yuki Okamoto, Hiroshi Mieno, Toru Tamaki, Shigeto Yoshida, A Lesion Classification Method Using Deep Learning Based on NICE Classification for Computer-Aided Diagnosis System in Colorectal NBI Endoscopy,, 2021 36th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC), 27-30 June 2021. [https://doi.org/10.1109/ITC-CSCC52171.2021.9501264] [PDF]

研究会・シンポジウム

丸山虎実輝, Bisser Raychev, 金田和文, 玉木徹, 弱教師ありのアクション区間検出のためのプロトタイプを用いた説明可能なネットワーク, 第24回画像の認識・理解シンポジウム (MIRU2021), オンライン, 2021/7/27-30. [PDF]
藤井渉, Bisser Raytchev, 金田和文, 玉木徹, 動作認識のための時空間特徴における時間的相互作用, 第24回画像の認識・理解シンポジウム (MIRU2021), オンライン, 2021/7/27-30. [PDF]

その他

加藤祥真, 鬼頭明, 玉木徹, 澤野弘明, 卓球競技映像におけるラリー回数の推定, 令和三年度電気・電子・情報関係学会東海支部連合大会, オンライン, 2021/9/7-8.

講演

玉木徹, 招待講演深層学習を用いた映像解析, (公財)科学技術交流財団第2回多結晶材料情報学応用技術研究会, 2021/9/27.

2020年

論文

Kento Terao, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shin’ichi Satoh. An Entropy Clustering Approach for Assessing Visual Question Difficulty, IEEE Access, vol. 8, pp. 180633-180645, 2020. [https://ieeexplore.ieee.org/document/9187418] [PDF] [Data on GitHub]
Kento Terao, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shin'ichi Satoh. Rephrasing visual questions by specifying the entropy of the answer distribution, IEICE TRANSACTIONS on Information and Systems, Vol.E103-D, No.11, pp.2362-2370, Nov. 2020. [https://doi.org/10.1587/transinf.2020EDP7089] [PDF]

国際学会

Kento Terao, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shun'ichi Satoh, Which visual questions are difficult to answer? Analysis with Entropy of Answer Distributions, Visual Question Answering and Dialog Workshop at CVPR 2020, online, June 14 2020. [arXiv PDF] [video]
Masayuki Odagawa, Takumi Okamoto, Tetsushi Koide, Shigeto Yoshida, Hiroshi Mieno, Toru Tamaki, Bisser Raytchev, Kazufumi Kaneda, Shinji Tanaka. Classification Method with CNN features and SVM for Computer-Aided Diagnosis System in Colorectal Magnified NBI Endoscopy, 2020 IEEE REGION 10 CONFERENCE (TENCON), Osaka, Japan, pp. 1095-1100 (2020.11.16-19). [https://doi.org/10.1109/TENCON50793.2020.9293709] [PDF]

研究会・シンポジウム

丸山虎実輝, 玉木徹, Bisser Raychev, 金田和文. Weakly supervised temporal action localization with spatial information, 第23回画像の認識・理解シンポジウム (MIRU2020), オンライン 2020/8/2-5. [PDF]
藤井渉, 玉木徹, Bisser Raytchev, 金田和文. Learning channels to shift for temporal shift module, 第23回画像の認識・理解シンポジウム(MIRU2020), オンライン 2020/8/2-5. [PDF]
藤井渉, 玉木徹, Bisser Raytchev, 金田和文. Learning to shift temporal features with temporal shift module for action recognition, 第23回画像の認識・理解シンポジウム(MIRU2020), オンライン 2020/8/2-5.

Page updated

Report abuse