tangwang / SearchEngine

19 Dec, 2025

1 commit

  • f62a541c   将 uvicorn 的默认线程池调整为 48： ... Browse File » 
    1. api/indexer_app.py（索引服务，端口 6004）
在 startup_event() 中添加线程池大小配置
使用 anyio.to_thread.current_default_thread_limiter() 设置线程池大小为 48
添加日志记录，便于确认配置是否生效
2. api/app.py（搜索服务，端口 6002）
在 startup_event() 中添加线程池大小配置
同样设置为 48 个线程
添加日志记录
    tangwang
     

18 Dec, 2025

1 commit

  • bb9c626c   搜索服务（6002）不再初始化/挂载 /indexer/* 路由，避免索引阻塞线上搜索 ... Browse File » 
    新增 api/indexer_app.py，在独立进程（默认 6004）中初始化 ES + DB + 索引服务，并复用 api/routes/indexer.py 一套路由
新增 api/service_registry.py，通过注册表向索引路由注入 ES 客户端和索引服务，消除重复代码与循环依赖
main.py 增加 serve-indexer 子命令；scripts/start.sh / stop.sh / start_backend.sh / start_indexer.sh 支持独立管理索引进程
文档中所有索引相关示例由 6002/indexer/* 统一调整为 6004/indexer/*
    tangwang
     

08 Dec, 2025

1 commit

  • 3c1f8031   api/routes/indexer.py ... Browse File » 
    - 新增批量索引接口: POST /indexer/bulk - 全量索引功能
  - SPU接口改进: POST /indexer/spus - 支持批量获取SPU文档（最多100个）

新增 全量索引服务
indexer/bulk_indexing_service.py

docs/搜索API对接指南.md
  - 新增索引接口文档: 详细的批量索引和SPU索引接口说明
  - 请求示例: 提供完整的curl命令示例
    tangwang
     

07 Dec, 2025

1 commit

  • 0064e946   feat: 增量索引服务、租户配置和翻译功能集成 ... Browse File » 
    主要功能：
1. 增量数据获取服务
   - 新增 IncrementalIndexerService 提供单个SPU数据获取
   - 新增 /indexer/spu/{spu_id} API接口
   - 服务启动时预加载分类映射等公共数据
   - 提取 SPUDocumentTransformer 统一全量和增量转换逻辑
   - 支持根据租户配置进行语言处理和翻译

3. 租户配置系统
   - 租户配置合并到统一配置文件 config/config.yaml
   - 支持每个租户独立配置主语言和翻译选项
   - 租户162配置为翻译关闭（用于测试）

4. 翻译功能集成
   - 翻译提示词作为DeepL API的context参数传递
   - 支持中英文提示词配置
   - 索引场景：同步翻译，使用缓存
   - 查询场景：异步翻译，立即返回

测试：
- 新增 indexer/test_indexing.py 和 query/test_translation.py
- 验证租户162翻译关闭功能
- 验证全量和增量索引功能
    tangwang
     

02 Dec, 2025

1 commit

26 Nov, 2025

1 commit

14 Nov, 2025

1 commit

13 Nov, 2025

2 commits

11 Nov, 2025

1 commit

10 Nov, 2025

2 commits

08 Nov, 2025

2 commits