ai-saas / saas-search

16 Apr, 2026

1 commit

  • 1e370dc9   1. 翻译性能优化 ... Browse File » 
    1）接口层 translator_app.py 支持并发调用翻译后端（http接口 /translate 处理函数 调用results = _translate_batch 改为 results = await _run_translation_blocking）
2）translation/backends/llm.py 支持batch翻译

2. 缓存清理脚本：
 scripts/redis/purge_caches.py 删除 embedding_prefix:*、embed:*、anchor_prefix:*，以及 trans:* 但会跳过 trans:deepl*
1）dry run方法：
source activate.sh && python scripts/redis/purge_caches.py --dry-run
2）真正的清空缓存：python scripts/redis/purge_caches.py
    tangwang
     

14 Apr, 2026

1 commit

22 Mar, 2026

1 commit

19 Mar, 2026

1 commit

  • 14e67b71   分句后的 batching 现在是“先全量分句，再按 segment 总数按模型 batch_size ... Browse File » 
    推理”，不再是先按原始输入条数切块。也就是说，如果 100 条请求分句后变成
150 个 segments，batch_size=64 时会按 64 + 64 + 22
三批推理，推理完再按原始分句计划合并并还原成 100 条返回。这个改动在
local_seq2seq.py (line 241) 和 local_ctranslate2.py (line 391)。

日志这边也补上了两层你要的关键信息：

分句摘要日志：Translation segmentation
summary，会打印输入条数、非空条数、发生分句的输入数、总 segments
数、当前 batch_size、每条输入分成多少段的统计，见 local_seq2seq.py (line
216) 和 local_ctranslate2.py (line 366)。
每个预测批次日志：Translation inference
batch，会打印第几批、总批数、该批 segment
数、长度统计、首条预览。CTranslate2 另外还会打印 Translation model batch
detail，补充 token 长度和 max_decoding_length，见 local_ctranslate2.py
(line 294)。
我也补了测试，覆盖了“分句后再
batching”和“日志中有分句摘要与每批推理日志”，在
test_translation_local_backends.py (line 358)。
    tangwang
     

18 Mar, 2026

1 commit

17 Mar, 2026

1 commit

13 Mar, 2026

2 commits