マルチパーティ・マルチモーダル信号の共起に基づく会議要約のための重要発言の推定

Abstract

対面会議の要約はグループメンバ間での知識の共有に有用である.しかしながら,要約の生成には経験や人手を要する.従って会議の要約を自動生成する技術が求められるが,その達成には多人数が表出するマルチモーダルな行動の共起関係を考慮する必要がある.本論文では会話の要約を自動生成することを目指し,会議の要約に貢献する重要発言を,多人数が表出するマルチモーダルな行動の共起関係に基づき推定する手法を検討する.分析のために,まず,4名からなるグループが対面状況で議論する様子を多様なセンサを用いて収録し,コーパスを構築した.その後コーパスに対して発言と重要発言を同定した.本論文では2種類の手法により,多人数が表出するマルチモーダルな行動の共起関係を考慮したモデルを作成する ;1) handcrafted featureを使用した推定モデル, 2) 深層学習を利用した推定モデル. Handcrafted featureによるモデル作成のため,様々な特徴量をコーパス観察から得られた知見に基づき定義した.さらに共起関係探索アルゴリズムを導入することで,多人数が表出するマルチモーダルな行動の共起関係を捕捉できる,顕著な共起特徴を探索した.作成されたモデルの性能はF値で0.706であり,共起関係を示す特徴量は従来の音声特徴量や動作特徴量と相補的である可能性が示唆された.深層学習を使用したモデルでは,多人数が表出するマルチモーダルな行動の共起関係を表す特徴表現を学習できるようなネットワークを提案した.モデル評価の結果,F値での性能が0.783のモデルを達成した.さらに手法としての正しさを評価するため,ノイズを除去したデータを用いた結果,F値0.827の高性能なモデルを達成した.また提案モデルがとらえる重要発言は,アイデア提案の発言や議論の発言であること,さらには他者から静かに傾聴され,注目された発言であることが明らかになった.最後に,提案モデルを利用した議論要約システムを実装し,将来的な評価への検討を述べる.