22 Mar, 2026

1 commit

• 8140e942   translator model priority Browse File »
  tangwang

  2026-03-22 22:30:14 +0800  

19 Mar, 2026

1 commit

• 46ce858d   在NLLB模型的 /data/saas-search/config/config.yaml#L133 ... Browse File »

  中采用了最优T4配置：ct2_inter_threads=2、ct2_max_queued_batches=16、ct2_batch_type=examples。该设置使NLLB获得了显著更优的在线式性能，同时大致保持了大批次吞吐量不变。我没有将相同配置应用于两个Marian模型，因为聚焦式报告显示了复杂的权衡：opus-mt-zh-en
  在保守默认配置下更为均衡，而 opus-mt-en-zh 虽然获得了吞吐量提升，但在
  c=8 时尾延迟波动较大。
  我还将部署/配置经验记录在 /data/saas-search/translation/README.md
  中，并在 /data/saas-search/docs/TODO.txt
  中标记了优化结果。关键实践要点现已记录如下：使用CT2 +
  float16，保持单worker，将NLLB的 inter_threads 设为2、max_queued_batches
  设为16，在T4上避免使用
  inter_threads=4（因为这会损害高批次吞吐量），除非区分在线/离线配置，否则保持Marian模型的默认配置保守。

  tangwang

  2026-03-19 07:45:15 +0800  

18 Mar, 2026

1 commit

• cd4ce66d   trans logs Browse File »
  tangwang

  2026-03-18 20:32:37 +0800  

17 Mar, 2026

1 commit

• 0fd2f875   translate Browse File »
  tangwang

  2026-03-17 19:21:34 +0800