Question 1

Speech-to-Speech（End-to-End）モデルとは何か？また、LFM2.5-Audioの何が注目されているのか？

Accepted Answer

Speech-to-Speechとは、音声で話しかけるとテキストを仲介せず、そのまま音声で返ってくる音声対話の仕組みのこと これまでは高性能なGPUが必須だったが、LFM2.5-Audioは1.5B（15億パラメータ）と非常に小さく、ローカルのMac環境で動く点が画期的である オフライン（ローカル）で動作するため、データが手元から流出せず、コストもかからないというメリットがある

Question 2

従来の音声対話システム（カスケード型）とEnd-to-End音声モデルの違いと弱点は何か？

Accepted Answer

従来のカスケード型は、音声を文字にするASR、返答を考えるLLM、文字を音声にするTTSという3つのモジュールを繋ぐ仕組みである カスケード型は各段階で遅延（レイテンシー）が発生しやすく、文字に変換する過程で声のトーンや感情といった情報が落ちてしまう弱点がある End-to-End音声モデルは、音声をそのまま処理するため遅延が少なく、より感情や言い淀みを反映した自然な会話が可能になる

Question 3

ローカル環境でSpeech-to-Speechを動作させた際、どのような速度的な壁にぶつかったか？

Accepted Answer

M3 Max搭載のMacBook ProでもRTF（実時間に対する処理時間の比）が1.6から1.8であり、リアルタイム再生に必要な「1.0未満」を満たせなかった 生成速度が再生に追いつかないため、音声を細かく小刻みにストリーミングしようとすると音がブツブツ切れる問題が生じた 対策として、一回の返事がまるごと生成されるのを待ってから一括で返す仕組みに妥協せざるを得なかった

Question 4

軽量な1.5Bモデルでタスク指向対話を行うにあたり、どのような状態制御の難しさと工夫があったか？

Accepted Answer

システムプロンプトだけで指示を出すと、既に伝えた項目を何度も聞いてきたり、一人で顧客と店員の両方の台本を話し始めたりと制御が効きにくかった フューショット（成功会話の例示）は比較的有効だったが、例にある情報に引きずられて誤った予約処理を進めてしまう副作用があった 対話履歴の偽装（過去に何件も予約をさばいたように見せる）が効いたものの、テキストのみの履歴を入れると、モデルが混乱して韓国語や中国語などを喋り出すバグが生じた

Question 5

カスケード型システムやGemini Liveと比較して、ローカルモデルの現在の課題と棲み分けは何か？

Accepted Answer

ASR、外部のルール、TTSに分割したカスケード型にした方が、タスク指向対話（レストラン予約など）は圧倒的に安定して動作した Gemini Liveでは「function calling」により、会話の裏で予約情報を構造化して正しく更新でき、フロンティアモデルとの足回りの差が浮き彫りになった 現段階では、絶対に間違えられないタスクにはカスケード型を、自然な掛け合いが価値になる雑談などの用途にはEnd-to-Endモデルを採用するという棲み分けが現実的である

Podcast振り返り

#2 LFM2.5-AudioでLocal完結のSpeech-to-Speechタスク指向対話を試してみた