diff --git a/docs/搜索API对接指南.md b/docs/搜索API对接指南.md index dfacfa4..b72b9ac 100644 --- a/docs/搜索API对接指南.md +++ b/docs/搜索API对接指南.md @@ -1842,6 +1842,26 @@ curl "http://localhost:6007/health" - 外部接口不接受 `prompt`;LLM prompt 由服务端按 `scene` 自动生成。 - 传入未定义的 `scene` 或未启用的 `model` 会返回 `400`。 +**SKU 名称场景选型建议**: + +- 批量 SKU 名称翻译,优先考虑本地大吞吐方案时,可使用 `"model": "nllb-200-distilled-600m"`(该模型"scene":参数无效)。 +- 如果目标是更高质量,且可以接受更慢速度与额外 LLM API 费用,可使用 `"model": "llm"` + `"scene": "sku_name"`。 +- 如果是en-zh互译、期待更高的速度,可以考虑`opus-mt-zh-en` / `opus-mt-en-zh`。(质量未详细评测,一些文章说比blib-200-600m更好,但是我看了些case感觉要差不少) + +**实时翻译选型建议**: + +- 在线 query 翻译如果只是 `en/zh` 互译,优先使用 `opus-mt-zh-en` 或 `opus-mt-en-zh`,它们是当前已测本地模型里延迟最低的一档。 +- 如果涉及其他语言,或对质量要求高于本地轻量模型,优先考虑 `deepl`。 +- `nllb-200-distilled-600m` 不建议作为在线 query 翻译默认方案;我们在 `Tesla T4` 上测到 `batch_size=1` 时,`zh -> en` p50 约 `292.54 ms`、p95 约 `624.12 ms`,`en -> zh` p50 约 `481.61 ms`、p95 约 `1171.71 ms`。 + +**Batch Size / 调用方式建议**: + +- 本接口支持 `text: string[]`;离线或批量索引翻译时,应尽量合并请求,让底层 backend 发挥批处理能力。 +- `nllb-200-distilled-600m` 在当前 `Tesla T4` 压测中,推荐配置是 `batch_size=16`、`max_new_tokens=64`、`attn_implementation=sdpa`;继续升到 `batch_size=32` 虽可能提高吞吐,但 tail latency 会明显变差。 +- 在线 query 场景可直接把“单条请求”理解为 `batch_size=1`;更关注 request latency,而不是离线吞吐。 +- `opus-mt-zh-en` / `opus-mt-en-zh` 当前生产配置也是 `batch_size=16`,适合作为中英互译的低延迟本地默认值;若走在线单条调用,同样按 `batch_size=1` 理解即可。 +- `llm` 按单条请求即可。 + **响应**: ```json { @@ -1921,6 +1941,32 @@ curl -X POST "http://localhost:6006/translate" \ }' ``` +使用本地 NLLB 做 SKU 名称批量翻译: +```bash +curl -X POST "http://localhost:6006/translate" \ + -H "Content-Type: application/json" \ + -d '{ + "text": ["商品名称1", "商品名称2", "商品名称3"], + "target_lang": "en", + "source_lang": "zh", + "model": "nllb-200-distilled-600m", + "scene": "sku_name" + }' +``` + +使用 LLM 做高质量 SKU 名称翻译: +```bash +curl -X POST "http://localhost:6006/translate" \ + -H "Content-Type: application/json" \ + -d '{ + "text": "男士偏光飞行员太阳镜", + "target_lang": "en", + "source_lang": "zh", + "model": "llm", + "scene": "sku_name" + }' +``` + #### 7.3.2 `GET /health` — 健康检查 ```bash -- libgit2 0.21.2