研究紹介

1．ビジネス対話音声の分析に関する研究

論文誌

1. J. Santoso, T. Yamada, K. Ishizuka, T. Hashimoto and S. Makino, "Speech Emotion Recognition Based on Self-Attention Weight Correction for Acoustic and Text Features," in IEEE Access, vol. 10, pp. 115732-115743, 2022, doi: 10.1109/ACCESS.2022.3219094. ( link )

国際会議

1. Kenkichi Ishizuka, Chang Zeng, Masaki Ono, and Taiichi Hashimoto, "Automatic Estimation Of Speaker Diarization Error Rate Based On Features Of Audio Quality And Speaker Discriminability",  2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2026),, Barcelona, Spain, May. 2026. (to appear)

1. J. Santoso, K. Ishizuka and T. Hashimoto, "Large Language Model-Based Emotional Speech Annotation Using Context and Acoustic Feature for Speech Emotion Recognition," ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Seoul, Korea, Apr. 2024, (link) 

2. Natsumi Kobayashi, Takeshi Yamada, Kenkichi Ishizuka, Taiichi Hashimoto, "Data augmentation of acoustic and text features in latent space for speech emotion recognition," Proc. NCSP'24, pp. 206-209, Mar. 2024.

3. Yurina Machida, Takeshi Yamada, Kenkichi Ishizuka, Taiichi Hashimoto,"Cross-language adaptation of speech emotion recognition with acoustic and text features," Proc. NCSP'24, pp. 210-213, Mar. 2024.

4. Jennifer Santoso, Rintaro Sekiguchi, Takeshi Yamada, Kenkichi Ishizuka, Taiichi Hashimoto, Shoji Makino,"Speech emotion recognition based on the reconstruction of acoustic and text features in latent space," Proc. APSIPA ASC 2022, pp. 1675-1680, Nov. 2022.

5.  J.Nozaki, T.Kawahara, K.Ishizuka, and T.Hashimoto. End-to-end speech-to-punctuated-text recognition. In Proc. INTERSPEECH, pp.1811--1815, 2022. ( link  )

6.  J.Santoso, T. Yamada, K.Ishizuka, T.Hashimoto, S.Makino, Performance Improvement of Speech Emotion Recognition by Neutral Speech Detection Using Autoencoder and Intermediate Representation. In Proc. INTERSPEECH, pp.4700-4704, 2022. ( link  )

7. H.Zhang, M.Mimura, T.Kawahara, and K.Ishizuka, Selective multi-task learning for speech emotion recognition using corpora of different styles, In Proc. IEEE-ICASSP, pp.7707--7711, 2022. (PDF file)

8. J Santoso, T Yamada, S Makino, K Ishizuka, T Hiramura, Speech Emotion Recognition Based on Attention Weight Correction Using Word-Level Confidence Measure, Proc. Interspeech 2021, 1947-1951 (link )

国内会議

1. 石塚賢吉, 大野正樹, 橋本泰一, Room Simulator を用いたデータ拡張による Neural Speaker Diarization モデルの実環境適応, 2025年日本音響学会秋季研究発表会

2. 石塚賢吉, Zeng Chang, 大野正樹, 橋本泰一, 音声品質と話者の声質の特徴量に基づいた Speaker Diarization Error Rate の自動推定, 2025年日本音響学会春季研究発表会

3.  Jumon Nozaki, Tatsuya Kawahara, Kenkichi Ishizuka, and Taiichi Hashimoto, 会話音声から句読点付きテキストの End-to-End 認識,第84回情報処理学会全国大会

特許

1.  石塚 賢吉,  橋本 泰一, 特願2022-079945, プログラム、情報処理装置、情報処理システム、情報処理方法、情報処理端末, ( link )

その他

1. 石塚, 音声解析AIによる感情認識機能の裏側 〜筑波大学との共同研究を紹介します〜,  (link) 

2．マルチメディアコンテンツを対象としたソーシャルサーチに関する研究

概要

大規模なソーシャルネットワークを持つCGMサイトにおいて、マルチメディアコンテンツのパーソナライズドソーシャルサーチを低コストで実現する方式について研究しています。

国際会議

1. Kenkichi Ishizuka, Personalized Social Search Based on Agglomerative Hierarchical Graph Clustering,14th Asia Information Retrieval Societies Conference, Lecture Notes in Computer Science, volume 11292, Pages 36-42, Taipei, Taiwan, November 28-30, 2018. (link)

国内学会

1. 石塚賢吉, 凝集型階層的グラフクラスタリングを使用したパーソナライズドソーシャルサーチ,  第9回ソーシャルコンピューティングシンポジウム, 2018. (link)

3．音声認識技術を応用した自動採点日本語スピーキングテスト

概要

下記から受験可能です。

https://www.sj-cat.org/

日本語学習者の日本語スピーキング能力の測定をインターネット上で実施できる適応型テストを開発します。

テスト問題は、日本語教員が作成した

• (1)選択肢読み上げ問題

• (2)文生成問題

• (3)読み上げ問題

• (4)自由回答問題

の4種類の問題から構成されております。現在、各問題への回答音声を採点するシステムを構築し、検証を行っております。 現在構築中のシステムでは、音声の特徴量（キーワード、韻律や音響尤度、スピーキングレートなど）と得点との対応関係を表現するモデルを使用して採点を行います。 

スライド資料

日本語スピーキングテストSJ-CATの開発 from Ken IshiKen

国際会議

1. Hao Lu, Takeshi Yamada, Shingo Imai, Takahiro Shinozaki, Ryuichi Nisimura, Kenkichi Ishizuka, Shoji Makino, Nobuhiko Kitawaki, Automatic scoring method for open answer task in the SJ-CAT speaking test considering utterance difficulty level, Proc. APSIPA 2014, WA1-1-3, pp. 1-5, Dec. 2014.(link)

2. 今井新悟, 石塚賢吉,伊東祐郎,酒井たか子,菊地賢一,赤木彌生,中園博美,本田明子,家根橋伸子,日本語スピーキング能力の機械自動判定における採点方法について−S-CAT の文の読み上げ問題と自由回答問題の比較−,The 9th International Symposium on Oral Proficiency Interview, November 2-3, 2014, Hongkong(ポスター発表)

3. Naoko Okubo, Yuto Yamahata, Takeshi Yamada, Shingo Ima, Kenkichi Ishizuka, Takahiro Shinozaki, Ryuichi Nisimura, Shoji Makio, Nobuhiko Kitawaki, Automatic Scoring Method Considering Quality and Content of Speech for SCAT Japanese Speaking Test,The 15th Oriental COCOSDA Conference, December 9-12, 2012, Macau, China, pp. 72-77, Dec. 2012.(link)

4. Yutaka Ono, Misuzu Otake, Takahiro Shinozaki, Ryuichi Nisimura, Takeshi Yamada, Kenkichi Ishizuka, Yasuo Horiuchi, Shingo Kuroiwa, Shingo Imai,Open Answer Scoring for S-CAT Automated Speaking Test System Using Support Vector Regression, APSIPA Annual Summit and Conference 2012(link)

5. 今井新悟,赤木彌生,酒井たか子,伊東祐朗,中園博美,本田明子,屋根橋伸子,山田武史,篠崎隆宏,西村竜一,中村洋一,菊池賢一,石塚賢吉, スピーキング自動採点テストのための問題アイテム作成,2012年日本語教育国際研究大会, 2012(ポスター発表)

国内学会

1. 石塚賢吉, 菊地賢一, 篠崎隆宏, 西村竜一, 山田武志, 今井新悟, 日本語スピーキングテストSJ-CATの開発, 情報処理学会 第232回自然言語処理研究会, 2017.(link)

2. 今井新悟, 赤木彌生, 石塚賢吉, 伊東祐郎, 菊地賢一, 篠崎隆宏, 中園博美, 中村洋一, 西村隆一,本田明子, 家根橋伸子, 山田武志, "自動採点スピーキングテストSJ-CATの能力推定の検証", 言語処理学会第23回年次大会, Mar, 2017.(pdf)

3. 盧昊, 山畑勇人, 山田武志, 今井新悟, 石塚賢吉, 牧野昭二, 北脇信彦, 日本語スピーキングテストS-CATの自由発話問題における発話文の難易度を考慮した自動採点の検討,日本音響学会春季研究発表会, pp. 273-276, Mar. 2014.

4. 山畑勇人, 盧昊, 山田武志, 今井新悟, 石塚賢吉, 牧野昭二, 北脇信彦, 日本語スピーキングテストS-CATの文読み上げ問題における発話の冗長性・不完全性を考慮した自動採点の検討,  音講論集 1-6-4, pp. 269-272 (2014. 3).

5. 盧昊, 山畑勇人, 山田武志, 今井新悟, 石塚賢吉, 牧野昭二, 北脇信彦, 種々の雑音抑圧手法と認識タスクに適用可能な音声認識性能推定法の検討, 音講論集 1-6-5, pp. 273-276 (2014. 3).

6. 山畑勇人, 大久保梨思子, 山田武志, 今井新悟, 石塚賢吉, 篠崎隆宏, 西村竜一, 牧野昭二, 北脇信彦, 日本語スピーキングテストSCATにおける文読み上げ・文生成問題の自動採点手法の改良, 日本音響学会春季研究発表会, pp. 465-468, Mar. 2013.

7. 今井 新悟,石塚 賢吉,山田 武志,篠崎 隆宏,西村 竜一,酒井 たか子,菊地 賢一,コンピュータによる日本語スピーキング自動採点システム－日本語教師による採点との相関による検証－,日本言語テスト学会第16回全国研究大会発表要項,pp.32,2012(2012.10)

8. 小野 豊, 大竹 美鈴, 篠崎 隆宏, 西村 竜一, 山田 武志, 石塚 賢吉, 堀内 靖雄, 黒岩 眞吾, 今井 新悟, 日本語スピーキングテストシステムS-CAT のためのSVR による自由発話の自動採点, 日本音響学会 2012 年秋季講演論文集, 3-2-6, pp. 335-336, (2012.9)

9. 大久保 梨思子, 山畑 勇人, 山田 武志, 今井 新悟, 石塚 賢吉, 篠崎 隆宏, 西村 竜一, 牧野 昭二, 北脇 信彦, 日本語スピーキングテストにおける文生成問題の自動採点の検討,  日本音響学会 2012 年秋季講演論文集, 3-Q-16, pp. 395-396, (2012.9)

10. 西村 竜一, 栗原 理沙, 篠崎 隆宏, 石塚 賢吉, 山田 武志, 今井 新悟, 河原 英紀, 入野 俊夫, 日本語スピーキングテストS-CAT における並列セグメンテーションを用いた自動採点の検討,  日本音響学会 2012 年秋季講演論文集, 3-Q-17, pp. 397-399, (2012.9)

11. 山畑 勇人, 大久保 梨思子, 山田 武志, 今井 新悟, 石塚 賢吉, 篠崎 隆宏, 西村 竜一, 牧野 昭二, 北脇 信彦, 日本語スピーキングテストにおける文章読み上げ問題の自動採点の検討,  日本音響学会 2012 年秋季講演論文集, 3-Q-18, pp. 399-400, (2012.9)

12. 山畑勇人, 大久保梨思子, 山田武志, 今井新悟, 石塚賢吉, 篠崎隆宏, 西村竜一, 牧野昭二, 北脇信彦, 日本語スピーキングテストにおける文章読み上げ問題の採点に影響を及ぼす要因の検討, 電子情報通信学会2012年総合大会講演論文集, D-14-8, p.192, 岡山大学, 2012.3.20-23

13. 大久保梨思子, 山畑勇人, 山田武志, 今井新悟, 石塚賢吉, 篠崎隆宏, 西村竜一, 牧野昭二, 北脇信彦, 日本語スピーキングテストにおける文生成問題の採点に影響を及ぼす要因の検討, 電子情報通信学会2012年総合大会講演論文集, D-14-9, p.193, 岡山大学, 2012.3.20-23

14. 栗原理沙, 石塚賢吉, 西村竜一, 篠崎隆宏, 山田武志, 今井新悟, 日本語発話能力測定ウェブシステムのための留学生発話分析,  ポスター講演, 信学技報, vol. 111, no. 431, SP2011-134, pp. 141-142 (PRMU2011-219/SP2011-134), 東北大, 宮城, 2012.2.9-10

その他研究会

1. 石塚, S-CAT: 音声認識技術を応用した自動採点日本語スピーキングテスト, 第2回 若手研究者フォーラム ,高度言語情報融合フォーラム(ALAGIN)技術開発部会音声処理分科会, 2011

4．マルチメディアコンテンツ生成のための視覚・音声・言語メディア統合についての研究  -マルチメディア紙芝居を題材として-

概要

近年では、YouTube やニコニコ動画などのCGMサイトが台頭したことにより、エンドユーザの間で動画などのマルチメディアコンテンツを作成しようとするニーズが高まっています。そこで、マルチメディアコンテンツ作成支援システムの構築の研究や、複数のメディアを効果的に結びつける手法に関する研究が盛んに行われております。

本研究では、異なる様式のメディアを有機的に結びつけるメディア統合処理の手法に関する研究の一例として、照明（視覚情報）、楽音（音声情報）、歌詞（言語情報）の3つの様式の異なるメディアを組み合わせた 物語のシーンの演出効果を生成することを考えます。 本システムへの入力情報は、物語のシーンの印象を表現する「幸せな」「残酷な」などの形容詞・形容動詞、物語文章とテーマ音楽となります。 本システムは、まず入力された形容詞・形容動詞から歌詞と楽音、照明の印象空間上の座標値を求め、 印象空間上の座標値に従って歌詞と楽音、照明を生成し、組み合わせて物語のシーンの演出効果とします。 また、本システムでは、ユーザの演出効果に対する評価を取り入れながら、 演出効果を修正することで、ユーザごとの感性の個人差に対応することができます。 なお、歌劇や映画などにおける演出効果は、主に制作者の意図に従って物語のシーンの印象を引き立て、 物語をより面白くするために使用されています。 そこで本研究では、以下の2点を満たす演出効果の生成を目指しています。

• (1)制作者が意図する物語のシーンの印象が視聴者へと伝わる

• (2)演出効果を紙芝居形式の物語に付加して提示すると、より面白く感じられる

システム構成

論文誌

1. 石塚賢吉, 鬼沢武久, 物語のシーンの印象を表現する形容詞・形容動詞からの演出効果の生成, 感性工学研究論文集, 日本感性工学会論文誌 12(4), 481-491, 2013 (link)

2. Kenkichi Ishizuka, Takehisa Onisawa, Evaluation of operetta songs generation system based on impressions of story scenes, Journal of Advanced Computational Intelligence and Intelligent Informatics, Vol.16 No.2, 2012, pp. 256-265

3. 石塚賢吉,鬼沢武久,加藤茂,物語のシーンの印象に基づいた声楽曲の生成,感性工学研究論文集,Vol.10,No.4,pp.523-534,2011(感性工学会技術研究賞)

4. Kenkichi Ishizuka, Takehisa Onisawa, Generation of Variations on Theme Music Based on Impressions of Story Scenes Considering Human’s Feeling of Music and Stories, International Journal of Computer Games Technology, Vol.2008, Article ID 281959, 9 pages, 2008, doi:10, 1155/2008/281959

5. 石塚賢吉, 加藤茂, 鬼沢武久, 複数の絵から生成される物語のシーンの印象に基づいた音楽の変奏, 日本知能情報ファジィ学会誌, Vol.19, No.4, pp.378-391, 2007

国際会議

1. Kenkichi Ishizuka, Takehisa Onisawa, Theatrical Effects Generation Based on Adjectives Representing Impressions of Story Scene, Proceedings of 1st International Symposium on Affective Engineering 2013, pp.375-380, 2013, (link)

2. Midori Yamazaki, Kenkichi Ishizuka, Takehisa Onisawa,  Combination Analysis of Motion and Melody in Phrase Animation, Proc. of Joint 6th International Conference on Soft Computing and Intelligent Systems and 11th International Symposium on Advanced Intelligent Systems, Dec, pp.861-866, 2012

3.  Kenkichi Ishizuka, Takehisa Onisawa, Analysis of Theatrical Effects in Multimedia Picture Story Show, The 2012 IEEE International Conference on Systems, Man, and Cybernetics, pp.575-580, Seoul, Korea, Oct, 2012, (link)

4. Kenkichi Ishizuka, Takehisa Onisawa, Operetta Songs Generation System Based on Impressions of Story Scenes, Proc. of Joint 5th International Conference on Soft Computing and Intelligent Systems and 11th International Symposium on Advanced Intelligent Systems, pp.831-836, 2010

5. Kenkichi Ishizuka, Takehisa Onisawa, Generation of Variations on Theme Music Based on Impressions of Story Scenes, International Conference on Games Research and Development, pp.129-136, Perth, Western Australia, Dec, p.129-136, 2006.

6. Kenkichi Ishizuka,Shigeru Katou, Takehisa Onisawa, Transformation of Theme Music of Stories Generated From Pictures, The 6 th International Symposium on Advanced Intelligent Systems , pp.203-208, Sep, 2005.

国内学会

1. 石塚賢吉, 鬼沢武久, マルチメディア紙芝居における演出効果の分析, 第28回ファジィシステムシンポジウム講演論文集, pp.815-820, 2012

2. 石塚賢吉, 鬼沢武久, 物語のシーンの印象を表現する形容詞・形容動詞からの声楽曲の生成, エンタテインメントコンピューティング2011, 03B-02, 2011

3. 石塚賢吉, 鬼沢武久, 物語のシーンの印象に基づいた声楽曲生成システムの構築と評価, 第３７回ファジィ・ワークショップ講演論文集, pp.25-27, 2011

4. 石塚賢吉, 鬼沢武久, 物語のシーンの印象に基づいた声楽曲生成システムの構築, 第３０回あいまいと感性ワークショップ講演論文集, 2010

5. 石塚賢吉, 鬼沢武久, 物語のシーンの印象に基づいた声楽曲生成システムの試作, 第２６回ファジィシステムシンポジウム講演論文集, pp.15-20, 2010

6. 石塚賢吉,鬼沢武久, 物語のシーンの印象に基づいたテーマ音楽の変奏曲の生成, 第22回ファジィシステムシンポジウム講演論文集 (FSS2006), pp.61-67, Sep, 2006.

7. 石塚賢吉,加藤茂,鬼沢武久, 複数の絵から想起される物語に基づいた音楽の変奏, 第２１回ファジィシステムシンポジウム, 電気通信大学, pp.648-653, Sep, 2005.

受賞

1. 石塚, 鬼沢, 加藤, 感性工学会技術研究賞, 2012年8月