まず、ここだけ

  • Tofu-1は、電話の相手の声とテレビや泣き声などの周囲音を区別する音声対話モデルです。
  • 発話中も聞き取りと推論を続け、割り込みや訂正に応じながら会話を進めます。
  • 研究プレビューは一部企業向けで、フォームから業務用メールや月間通話量などを申請します。

悪条件の電話を前提にしたBlandのTofu-1

It listens while it speaks, reasons while it talks.

電話オペレーター企業BlandのIsaiah Granet(@zaygranet)は、同社の音声対話モデルTofu-1を発表しました。想定するのは、移動中の車や病院からの通話、弱い電波、複数人の声が重なる場面。重要な連絡ほど条件が整わないという課題に照準を合わせています。

Blandの説明では、Tofu-1は全二重のspeech-to-speechモデルです。従来型の音声システムでは、音声をテキスト化し、言語モデルに渡してから音声に戻す処理の各段階で、誰が話したか、誰に話しかけたかといった通話の情報が失われうると指摘。音声を一連の会話として扱う設計を打ち出しました。

  • 相手の声とテレビ、赤ちゃんの泣き声などを区別する
  • 複数の話者や重なった声、周囲の音を含む場面を生成する
  • 相手の割り込みや訂正を受けながら応答する

デモが示す、聞き取りと応答の同時進行

公開ページには、車内で乗客が話す状況の通話例と、情報を調べている間もサポート担当者が話し続ける例が掲載されています。後者は、処理のために会話を止めず、作業を進めながら応答をつなぐという「考えながら話す」設計を具体化したデモです。

ページが掲げる機能は、話者と会話相手を見分ける音声理解、複数人や室内音を含めた生成、発話中の聞き取り、作業完了前に完了と告げない応答です。音声の認識精度だけでなく、割り込みや背景音がある電話全体をどう扱うかが、従来の段階的な音声処理との違いになります。

項目公開情報
モデルBlandの全二重speech-to-speechモデル
処理の特徴聞き取り・発話・推論を並行して行う
デモ車内の背景音と、情報検索中の応答
提供状況一部企業向けの研究プレビュー
料金公開ページに記載なし

研究プレビューは企業向けに申請受付

プレビューは限定数の企業を対象に、アクセス可能になり次第メールで案内する方式です。申請フォームでは氏名、業務用メール、電話番号、月間通話量、ウェブサイトを入力します。通話量は1,000件未満から50,000件以上まで選択肢があり、送信後はプレビューに関する連絡への同意が必要です。

申請先はBlandの製品ページ(https://www.bland.ai/speech-to-speech?utm_source=x&utm_medium=social&utm_campaign=tofu-1-launch&utm_content=isaiah)。料金や一般提供の時期はページ上で示されていません。現時点では、利用条件を確認したうえで企業として研究プレビューを申し込む段階です。

Tofu-1の公開ページ元のページを別タブで開いて確認できます
『Tofu-1』公式ページ・関連リンクを開く ↗

話題の元投稿

作者の投稿や紹介を、X で確認できます。

参考リンク

  1. Tofu-1 関連ソース (1)x.com
  2. Tofu-1 公式・公開ページwww.bland.ai