25 Mar, 2026

5 commits

• 52ea6529   性能测试： ... Browse File »

  这两个配置、四种情况：
  backend:  qwen3_vllm | qwen3_vllm_score
  instruction_format: compact | standard
  
  调用 python scripts/benchmark_reranker_random_titles.py
  100,200,400,600,800,1000 --repeat 5
  产出性能测试报告
  
  平均延迟（ms，客户端 POST /rerank 墙钟，--seed 99）
  backend	instruction_format	n=100	n=200	n=400	n=600	n=800
  n=1000
  qwen3_vllm	compact	213.5	418.0	861.4	1263.4	1744.3	2162.2
  qwen3_vllm	standard	254.9	475.4	909.7	1353.2	1912.5
  2406.7
  qwen3_vllm_score	compact	239.2	480.2	966.2	1433.5	1937.2
  2428.4
  qwen3_vllm_score	standard	299.6	591.8	1178.9	1773.7
  2341.6	2931.7
  归纳： 在本机 T4、当前 vLLM 与上述
  YAML（max_model_len=160、infer_batch_size=100 等）下，两种后端都是
  compact 快于 standard；整体最快为 qwen3_vllm + compact（n=1000 ≈
  2.16 s），最慢为 qwen3_vllm_score + standard（≈ 2.93 s）。其他 GPU /
  vLLM 版本下排序可能变化。

  tangwang

  2026-03-25 19:15:56 +0800  
• 4823f463   qwen3_vllm_score + 独立 0.18 环境 Browse File »
  tangwang

  2026-03-25 17:24:00 +0800  
• 9de5ef49   qwen3_vllm_score : task="score" +（原版 + hf_overrides）或 HuggingFace 上已转好的 seq-cls 模型。generate() Browse File »
  tangwang

  2026-03-25 16:11:12 +0800  
• 5c21a485   qwen3-reranker-0.6b-gguf Browse File »
  tangwang

  2026-03-25 15:04:48 +0800  
• 3d508beb   reranker-4b-gguf Browse File »
  tangwang

  2026-03-25 12:23:14 +0800  

12 Mar, 2026

2 commits

• 0d3e73ba   rerank mini batch Browse File »
  tangwang

  2026-03-12 19:57:44 +0800  
• d31c7f65   补充云服务reranker Browse File »
  tangwang

  2026-03-12 12:53:08 +0800  

11 Mar, 2026

1 commit

• 28e57bb1   日志体系优化 Browse File »
  tangwang

  2026-03-11 23:04:17 +0800  

08 Mar, 2026

1 commit

• 701ae503   docs Browse File »
  tangwang

  2026-03-08 14:30:07 +0800  

06 Mar, 2026

1 commit

• a7920e17   项目名称和部署路径修改 Browse File »
  tangwang

  2026-03-06 17:32:37 +0800  

04 Feb, 2026

1 commit

• d90e7428   补充重排 Browse File »
  tangwang

  2026-02-04 19:48:05 +0800