Question 1

音声認識における無音ハルシネーションとはどのような現象か？

Accepted Answer

無音や環境音を入力した際に「ご視聴ありがとうございました」などの発言していない文章が出力される現象である YouTube動画とその字幕データを学習した結果、動画末尾の無音と挨拶文を結びつけて学習してしまったことが主な要因とされる 失語症など発話の合間に長めの無音ポーズが入る話者の音声を文字起こしする際にも文が捏造されるなど、実用上の重大な課題となっている

Question 2

Whisperのモデルサイズによってハルシネーションの出方はどのように変化するのか？

Accepted Answer

モデルサイズが大きくなってもハルシネーションは減らず、むしろ現象が顕著に現れる tinyなどの小型モデルでは数字の羅列や同一フレーズのループといった不自然な出力が多い large-v3などの大型モデルでは「ご視聴ありがとうございました」のように流暢で自然な文章として自信を持って出力される

Question 3

言語設定やモデルのアーキテクチャによって出力はどう変わるのか？

Accepted Answer

英語設定では「Thank you for watching」、言語自動判定でも他言語の感謝表現など、視聴への感謝に関する定型句が出力される デコーダー（言語モデル）を持たないCTC型のwav2vecでは無音ハルシネーションが発生しなかった CTC型モデルはフレームごとに音を文字に分類し、音がないフレームをブランク記号として処理するため構造的に幻覚が起きにくい

Question 4

なぜWhisper標準の無音抑制パラメーターではハルシネーションを防げないのか？

Accepted Answer

抑制ロジックは「無音確率が高い」かつ「生成テキストの確信度が低い」という2つの条件が揃った時に作動する仕組みになっている 無音であることは高確率で検知できているものの、訓練データに頻出する定型句を高い確信度で生成してしまうため条件から外れてしまう 確信度の閾値を調整して無理に抑制しようとすると、通常の発話まで生成されなくなるトレードオフが生じる

Question 5

ハルシネーションを防ぐための対策と、そのアプローチに残る課題とは何か？

Accepted Answer

音声区間検出（VAD）を前段に置き、人の声がない区間をWhisperに入力しないようにすることで大幅に抑制できる 咳や笑い声などの非音声ノイズをVADが「人の声」と誤判定して通過させてしまう課題がある 通過した咳などをWhisper側が認識できず再度定型句を生成してしまうため、VADに加えて定型句フィルターなどを併用する必要がある

Podcast振り返り

#7 無音で文字起こしすると「ご視聴ありがとうございました」になる理由を検証