クラウドソーシング利活用
クラウドソーシングは，アンケート，画像のタグ付け，音声の書き起こしなど，不特定多数の人にタスクを依頼するプロセスです．クラウドソーシングを利用することにより比較的短時間で大量のアノテーションが可能になる一方で，悪意のあるワーカ（スパマー）やタスクの難しさの影響で信頼性のあるアノテーション結果が得られないことがあります．それに対し，回答の信頼性を高めるための技術の開発およびタスクやインタフェースの設計を行っています．また，プログラミング感覚でクラウドソーシングを利用可能にすることを目指し，クラウドソーシング利活用フレームワーク Tutti の開発を行っています．
動的なタスク発注
タスクの難易度や回答の信頼性に応じて発注数を動的に調整する技術について研究を行っています．
クラウドソーシングを利用したアノテーションでは，各タスクに対して複数のワーカにアノテーションを依頼し，結果の多数決により最終的なラベルを決定します．このとき，最終的なラベルの信頼性が十分高くなるまで，タスクごとに依頼数を動的に調整する技術の開発・拡張を行っています．
関連文献：
Ryo Yanagisawa, Susumu Saito, Teppei Nakano, Tetsunori Kobayashi, Tetsuji Ogawa, ``PostMe: Unsupervised Dynamic Microtask Posting For Efficient and Reliable Crowdsourcing,'' Proc. The 2022 IEEE International Conference on Big Data Workshop HMData 2022, pp.4039-4044, Dec. 2022.
森永聖也，斎藤奨，中野鐵兵，小林哲則，小川哲司，``クラウドソーシングにおける効率的な回答収集のための動的なマイクロタスク追加発注，'' 2020年度人工知能学会全国大会，4Rin1-74，pp.1-4, June 2020. [DOI]
資格テスト設計
悪意のあるワーカ（スパマー）や目的のタスクに適した能力を持つワーカを選別するために，事前に少量実施する資格テストの設計を行っています．
関連文献：
Moe Yaegashi, Susumu Saito, Teppei Nakano, Tetsuji Ogawa, ``Do you know how humans sound? Exploring a qualification test design for crowdsourced evaluation of voice synthesis quality,'' Proc. Asia-Pacific Signal and Information Processing Association Annual Summit and Conference 2022 (APSIPA2022), pp.980-985, Nov. 2022. [DOI]
Masaya Morinaga, Susumu Saito, Teppei Nakano, Tetsunori Kobayashi, Tetsuji Ogawa, ``Exploring Effectiveness of Inter-Microtask Qualification Tests in Crowdsourcing,'' Proc. The 8th AAAI Conference on Human Computation and Crowdsourcing (HCOMP2020), Works-In-Progress and Demonstration Papers, Oct. 2020.
クラウドソーシングによる認識結果の検証
パターン認識システムの予測結果のうち信頼性が低いものをクラウドワーカが検証することで，パターン認識システムの性能を改善する試みを行っています．
関連文献：
Yuta Ide, Susumu Saito, Teppei Nakano, Tetsuji Ogawa, ``Can humans correct errors from system? Investigating error tendencies in speaker identification using crowdsourcing,'' Proc. The 23rd Annual Conference of the International Speech Communication Association (INTERSPEECH2022), Sept. 2022. [DOI] [Scopus]
Susumu Saito, Yuta Ide, Teppei Nakano, Tetsuji Ogawa, ``VocalTurk: Exploring feasibility of crowdsourced speaker identification,'' Proc. The 22th Annual Conference of the International Speech Communication Association (INTERSPEECH2021), pp.1723-1727, Aug. 2021. [DOI] [Scopus]