Fish Audio 多人对话模式说明

Content-Type 选择规则

场景	Content-Type	说明
纯模型多人对话	`application/json`	reference_id 为模型ID数组，无需传音频
零样本多人对话	`application/msgpack`	references 为二维二进制数组，需 MessagePack 序列化

场景一：纯模型多人对话（Content-Type: application/json）

使用已训练好的音色模型ID，直接进行多人对话合成。仅 S2-Pro 支持。

Header

Content-Type: application/json
Authorization: Bearer <token>
model: s2-pro

请求体

{
  "text": "<|speaker:0|>早上好！<|speaker:1|>早上好！最近怎么样？<|speaker:0|>挺好的，谢谢！",
  "reference_id": ["model-id-alice", "model-id-bob"],
  "format": "mp3"
}

参数说明

参数	类型	必需	说明
text	string	是	使用 `<\|speaker:N\|>` 标签切换说话者，N 从 0 开始
reference_id	string[]	是	模型ID数组，按索引对应说话者
其他参数	-	否	同单人模式（temperature、format 等）

场景二：零样本多人对话（Content-Type: application/msgpack）

无需提前训练模型，直接传入多个说话者的参考音频。仅 S2-Pro 支持。

Header

Content-Type: application/msgpack
Authorization: Bearer <token>
model: s2-pro

请求体（MessagePack 序列化后的结构）

{
  "text": "<|speaker:0|>你好！<|speaker:1|>你好啊！<|speaker:0|>今天天气不错。<|speaker:1|>是的，适合出去走走。",
  "reference_id": ["speaker-alice", "speaker-bob"],
  "references": [
    [
      {"audio": <二进制音频数据>, "text": "这是Alice的参考音频转录"}
    ],
    [
      {"audio": <二进制音频数据>, "text": "这是Bob的参考音频转录"}
    ]
  ],
  "format": "mp3"
}

参数说明

参数	类型	必需	说明
text	string	是	使用 `<\|speaker:N\|>` 标签切换说话者
reference_id	string[]	是	说话者标识符数组（可为任意字符串），与 references 按索引对应
references	array[][]	是	二维数组，每个内层数组包含一个说话者的参考音频
references[N][M].audio	binary	是	原始音频二进制数据（WAV/MP3/FLAC）
references[N][M].text	string	是	音频对应的文本转录
其他参数	-	否	同单人模式

关键区别

references 是二维数组：[[speaker0的音频...], [speaker1的音频...]]

reference_id 中的字符串可为任意标识，用于与 <|speaker:N|> 标签对应

每个说话者可提供多个参考音频样本

text 标签格式

使用 <|speaker:N|> 标签标记说话者，N 从 0 开始：

<|speaker:0|>你好！<|speaker:1|>你好啊！<|speaker:0|>今天天气不错。<|speaker:1|>是的，适合出去走走。

标签必须出现在说话者切换的位置

标签内的数字与 reference_id / references 的数组索引对应

支持 2 个及以上说话者

参考音频要求

格式：WAV、MP3、FLAC

时长：建议 10-30 秒清晰语音

背景噪音尽量少

text 字段需准确转录音频内容，有助于提升克隆质量

请求参数

Body 参数application/json必填

示例

{
    "text": "型去划放。该水光统面。自可前权周了油改九。事万一集资等造。就保片。",
    "reference_id": [
        "89",
        "13"
    ],
    "references": null,
    "temperature": 0.8455171218520404,
    "top_p": 0.23600292078344276,
    "chunk_length": 120,
    "normalize": true,
    "format": "mp3",
    "sample_rate": 8000,
    "mp3_bitrate": 64,
    "opus_bitrate": 32000,
    "latency": "normal",
    "prosody": null,
    "max_new_tokens": 53,
    "repetition_penalty": 35,
    "min_chunk_length": 7,
    "condition_on_previous_chunks": false,
    "early_stop_threshold": 0.030326391574643674
}

请求示例代码

Shell

JavaScript

Java

Swift

PHP

Python

HTTP

Objective-C

Ruby

OCaml

Dart

多人模式请求

Fish Audio 多人对话模式说明

Content-Type 选择规则

场景一：纯模型多人对话（Content-Type: application/json）

Header

请求体

参数说明

场景二：零样本多人对话（Content-Type: application/msgpack）

Header

请求体（MessagePack 序列化后的结构）

参数说明

关键区别

text 标签格式

参考音频要求

请求参数

请求示例代码

返回响应

多人模式请求

Fish Audio 多人对话模式说明#

Content-Type 选择规则#

场景一：纯模型多人对话（Content-Type: application/json）#

Header#

请求体#

参数说明#

场景二：零样本多人对话（Content-Type: application/msgpack）#

Header#

请求体（MessagePack 序列化后的结构）#

参数说明#

关键区别#

text 标签格式#

参考音频要求#

请求参数

请求示例代码

返回响应

Fish Audio 多人对话模式说明

Content-Type 选择规则

场景一：纯模型多人对话（Content-Type: application/json）

Header

请求体

参数说明

场景二：零样本多人对话（Content-Type: application/msgpack）

Header

请求体（MessagePack 序列化后的结构）

参数说明

关键区别

text 标签格式

参考音频要求