19 Mar, 2026

1 commit

• 294c3d0a   实现第一版“按模型预算智能分句”的基础能力。 ... Browse File »

  改动：
  
  新增分句与预算工具：translation/text_splitter.py
  接入 HF 本地后端：translation/backends/local_seq2seq.py (line 157)
  接入 CT2 本地后端：translation/backends/local_ctranslate2.py (line 301)
  补了测试：tests/test_translation_local_backends.py
  我先把代码里实际限制梳理了一遍，关键配置在 config/config.yaml (line
  133)：
  
  nllb-200-distilled-600m: max_input_length=256，max_new_tokens=64，并且是
  ct2_decoding_length_mode=source +
  extra=8。现在按这个配置计算出的保守输入预算是 56 token。
  opus-mt-zh-en:
  max_input_length=256，max_new_tokens=256。现在保守输入预算是 248 token。
  opus-mt-en-zh: 同上，也是 248 token。
  这版分句策略是：
  
  先按强边界切：。！？!?；;…、换行、英文句号
  不够再按弱边界切：，,、：:()（）[]【】/|
  再不够才按空白切
  最后才做 token 预算下的硬切
  超长时会“分句翻译后再回拼”，中文目标语言默认无空格回拼，英文等默认按空格回拼，尽量别切太碎
  验证：
  
  python3 -m compileall translation
  tests/test_translation_local_backends.py 已通过

  tangwang

  2026-03-19 09:51:06 +0800  

18 Mar, 2026

1 commit

• cd4ce66d   trans logs Browse File »
  tangwang

  2026-03-18 20:32:37 +0800  

17 Mar, 2026

1 commit

• 0fd2f875   translate Browse File »
  tangwang

  2026-03-17 19:21:34 +0800