Question 1

wav2vec2.cppとはどのようなツールで、なぜ注目されているのか？

Accepted Answer

Python環境を必要とせず、C++のみで音声認識モデルwav2vec2を実行できるツールである llama.cppやwhisper.cppのように、モデルを軽量かつ手軽にローカル環境で動かすことを目指している 多言語対応しており、日本語向けの音声認識モデルも利用可能である 今回の検証ではFLEURSデータセットの日本語音声を用いて動作確認が行われた

Question 2

M3 Macでwav2vec2.cppを環境構築・ビルドする際の注意点は何か？

Accepted Answer

紹介ブログ内のGitHubリポジトリのモデルリンクが404エラーになっており、実体を別途探す必要があった 公式の手順通りにCMakeを実行するだけでは、M3 Macなどの環境ではビルドが通らなかった ビルドを成功させるには、環境に応じた追加オプションの指定が必要であった ビルド完了後はユニットテストが通り、CLIでビームサーチやタイムスタンプ出力などの各種機能が問題なく動作した

Question 3

モデルの量子化（8ビット・4ビット）によってどの程度誤差が生じるのか？

Accepted Answer

正解文ではなく、元モデルの出力結果に対する量子化モデルの文字誤り率（CER）を比較して誤差を検証した 8ビット量子化（Q8_0）では誤差がほぼゼロであり、元ブログの主張通りの結果となった 4ビット量子化（Q4_0）では約8パーセントのエラー率が発生した 日本語は1文字あたりの情報量が多いため、4ビットでの文字の崩れは体感として目立ちやすい可能性がある

Question 4

検証対象のモデルにおける日本語音声認識精度はどう評価されたか？

Accepted Answer

FLEURSの日本語データに対する文字誤り率（CER）は元モデルで約28パーセントであった 8ビットで約28.58パーセント、4ビットで約29.72パーセントとなり、量子化しても元モデルの認識精度はおおむね保たれていた 元ブログではwav2vec2が英語以外でWhisperより優れる場合があると主張されていたが、本検証での認識精度はあまり高くない結果となった 非英語全般で強いとされるモデルであっても、日本語に対して常に高精度とは限らない点に注意が必要である

Question 5

M3 Macでの推論速度がブログの公表値より大幅に遅くなった原因は何か？

Accepted Answer

実時間に対する処理時間比率（RTF）がブログ公表値の約0.32に対し、M3 Macでは約3（実時間の3倍）と大幅に遅かった プロファイリングの結果、実行時間の大半が音声波形の特徴量を抽出する前段のCNNモジュール（Conv1D）で占められていた 量子化されたのはTransformer部分であり、CNN部分がシングルスレッドで動作するなど高速化されていないことがボトルネックとなっていた ブログの記事を鵜呑みにせず、ハードウェアやアーキテクチャの制約を踏まえて実際に自分の手元で動かして検証することが重要である

Podcast振り返り

#8 Python不要でwav2vec2をローカル実行できるwav2vec2.cppをためしてみた