日本大学文理学部情報科学科
北原研究室 宝田涼雅
概要
本研究は, 電子コミックの多くが紙の読書体験をそのままデジタル化した形式である一方, アニメ等のようにBGMで演出や没入感を拡張する余地がある点に着目した. 最終的に「BGM付き漫画ビューア」の実現を目指しつつ, 本論文ではその前提として (1) 漫画シーンの自動解析（区切り・属性抽出）の妥当性と (2) シーン特徴に基づくBGM推薦の有効性を検証した.
提案手法では, 大規模言語モデル（LLM）に漫画ページ画像を入力し, ページ間の文脈からシーン区切りを推定する. さらに各シーンに Action / Person / Place / Time / Weather 等のタグを付与し, それらを条件として既存楽曲ライブラリからBGMを推薦する.
評価実験では，5ジャンル（Battle / Gag / Horror / LoveCome / SF）各1作品を対象に, クラウドソーシングで主観評価を収集した．その結果, シーン区切りの適切率は全体平均0.615で一定の妥当性が確認された. また，シーン属性（タグ）の妥当性は4段階評価の平均で全体2.32となり，タグ付与は概ね妥当と評価される傾向が得られた．さらに，BGM推薦の二択比較では，提案手法の選択率が全体0.672となりランダムを上回った．
以上より, 本研究は, LLMによるシーン解析結果がBGM推薦の判断材料として一定程度有効であることを示し, 一方で，シーン区切りの安定化と, Timeカテゴリに代表される不安定なシーン属性の扱いが課題として残る.
また, 推薦の失敗ケースを抑制する条件設計の改善に加え, 統合したビューアとしての提示と読書体験全体の評価は今後の発展課題である.
研究紹介記事
プロジェクトリポジトリ