GITLAB

ai-saas / saas-search

Sign in
  • Sign in
  • Project
  • Files
  • Commits
  • Network
  • Graphs
  • Issues 0
  • Merge Requests 0
  • Wiki
  • saas-search
  • artifacts
  • search_evaluation
  • build_launches
  • reranker-resume.pid
  • 12a75c46   feat(eval): 为 LLM 标注添加统一续跑能力,支持断点续传与容错重试 ... Browse Code »
    - 问题背景:clothing_top771 数据集在被外部异常终止(reranker被kill);缺乏统一的断点续跑机制,此前依赖临时脚本恢复。
    - 解决方案:在 eval_framework/cli.py 的 build 命令中新增 --resume-missing、--continue-on-error、--max-retries-per-query、--retry-backoff-sec 参数,并修正默认参数逻辑(有 dataset_id 时不再强塞 legacy queries_file)。
    - 脚本统一:更新 start_eval.sh 和 start_eval_web.sh,增加 batch-rebuild-resume 入口,统一使用 dataset 模式,REPO_EVAL_QUERIES 改为可选覆盖。
    - 文档补充:在 scripts/evaluation/README.md 中添加中断续跑说明和新命令用法。
    - 验证:eval-web 多数据集接口(/api/datasets、/api/history?dataset_id=...)正常返回 core_queries 与 clothing_top771 分域结果;当前进程已越过第 48 条,query_builds 计数增至 54,正在处理第 55/771。
    
    把流程做成可持续的“统一续跑”能力,避免再靠临时脚本:
    - 在 [scripts/evaluation/eval_framework/cli.py](/data/saas-search/scripts/evaluation/eval_framework/cli.py) 新增 `build --resume-missing --continue-on-error --max-retries-per-query --retry-backoff-sec`,并修正默认参数逻辑(有 `dataset_id` 时不再强塞 legacy `queries_file`)。
    - 在 [scripts/evaluation/start_eval.sh](/data/saas-search/scripts/evaluation/start_eval.sh) 新增 `batch-rebuild-resume` 入口,统一用 dataset 模式,`REPO_EVAL_QUERIES` 仅作可选覆盖。
    - 在 [scripts/start_eval_web.sh](/data/saas-search/scripts/start_eval_web.sh) 做同样的 dataset/queries 统一化。
    - 在 [scripts/evaluation/README.md](/data/saas-search/scripts/evaluation/README.md) 补了中断续跑说明和新命令。
    - 已验证 `eval-web` 多数据集接口正常(`/api/datasets`、`/api/history?dataset_id=...` 均返回 `core_queries` 与 `clothing_top771` 分域结果)。
    
    当前在线进程:
    - LLM 标注:`PID 2062901`(`build ... --dataset-id clothing_top771 --resume-missing ...`)
    - reranker:`PID 2065235`(6007,`/health` 返回 `ok`)
    
    盯进度:
    ```bash
    tail -f logs/eval.log
    ls -1 artifacts/search_evaluation/datasets/clothing_top771/query_builds | wc -l
    curl -sS http://127.0.0.1:6007/health
    ```
    
    影响范围:scripts/evaluation/eval_framework/cli.py, scripts/evaluation/start_eval.sh, scripts/start_eval_web.sh, scripts/evaluation/README.md
    tangwang
    2026-04-20 14:16:15 +0800  
reranker-resume.pid 8 Bytes
Edit Raw Blame History
1
2064765