Blame view

README.md 4.06 KB
7299bae6   tangwang   tests
1
  # 电商搜索引擎 SaaS
9c712e64   tangwang   增加索引字段qanchors ke...
2
  
7299bae6   tangwang   tests
3
  多租户、可配置、可扩展的电商搜索平台(Shoplazza 等独立站场景)。
9c712e64   tangwang   增加索引字段qanchors ke...
4
  
7299bae6   tangwang   tests
5
  README 用于给后续开发者建立统一认知:**系统框架、模块边界、设计原则、研发流程与 CI 测试入口**,帮助持续迭代时避免分叉设计与冗余代码。
768ad710   tangwang   MySQL到ES字段映射说明-业务...
6
  
7299bae6   tangwang   tests
7
  ---
be52af70   tangwang   first commit
8
  
7299bae6   tangwang   tests
9
  ## 1) 项目目标与边界
be52af70   tangwang   first commit
10
  
7299bae6   tangwang   tests
11
12
13
14
15
16
  - **目标**:在统一架构下支持关键词检索、语义检索、分面过滤、多语言、重排、图片检索。
  - **边界**:本仓库负责搜索核心能力与服务编排;业务方通过标准 HTTP API 对接。
  - **核心约束**
    - 调用方稳定(API/Provider 契约优先)
    - 配置单一来源(`config/config.yaml` + `.env` 覆盖)
    - 扩展优先走插件化(provider/backend),避免散落式分叉实现
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
17
  
7299bae6   tangwang   tests
18
  ---
a7920e17   tangwang   项目名称和部署路径修改
19
  
7299bae6   tangwang   tests
20
  ## 2) 快速开始
a7920e17   tangwang   项目名称和部署路径修改
21
22
  
  ```bash
7299bae6   tangwang   tests
23
  # 首次创建环境(默认基础依赖)
484adbfe   tangwang   adapt ubuntu; con...
24
  ./scripts/create_venv.sh
a7920e17   tangwang   项目名称和部署路径修改
25
  source activate.sh
a7920e17   tangwang   项目名称和部署路径修改
26
  
7299bae6   tangwang   tests
27
28
  # 启动核心服务(backend/indexer/frontend)
  ./run.sh
acf1349c   tangwang   fake 批量导入数据的脚步 ( ...
29
  
7299bae6   tangwang   tests
30
31
  # 可选:附加能力服务
  START_EMBEDDING=1 START_TRANSLATOR=1 START_RERANKER=1 ./run.sh
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
32
  
7299bae6   tangwang   tests
33
34
35
  # 查看状态
  ./scripts/service_ctl.sh status
  ```
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
36
  
7299bae6   tangwang   tests
37
  核心端口:
148ab60d   tangwang   docs
38
  
7299bae6   tangwang   tests
39
40
41
42
43
44
  - `6002` backend(`/search/*`, `/admin/*`
  - `6004` indexer(`/indexer/*`
  - `6003` frontend
  - `6005` embedding(可选)
  - `6006` translator(可选)
  - `6007` reranker(可选)
148ab60d   tangwang   docs
45
  
7299bae6   tangwang   tests
46
  更完整示例见 `docs/QUICKSTART.md`
f3c11fef   tangwang   亚马逊格式数据 导入店匠
47
  
7299bae6   tangwang   tests
48
  ---
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
49
  
7299bae6   tangwang   tests
50
  ## 3) 总体架构(开发者视角)
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
51
  
7299bae6   tangwang   tests
52
53
54
55
56
57
58
59
  - `api/`:统一 API 入口(search/admin/indexer app)
  - `search/`:召回、排序、结果组织
  - `query/`:查询解析、多语言处理、改写
  - `indexer/`:MySQL 行数据 -> ES 文档的转换与索引流程
  - `providers/`:能力调用抽象(translation/embedding/rerank)
  - `reranker/`:重排服务及后端实现
  - `embeddings/`:向量服务(文本/图像)
  - `config/`:配置加载与服务配置解析
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
60
  
7299bae6   tangwang   tests
61
  关键设计:**Provider(调用方式)与 Backend(推理实现)分离**,新增能力优先在协议与工厂注册,不改调用方主流程。
a10a89a3   tangwang   构造测试数据用于测试分类 和 三种...
62
  
7299bae6   tangwang   tests
63
  ---
be52af70   tangwang   first commit
64
  
7299bae6   tangwang   tests
65
  ## 4) 设计原则(避免后续分叉)
be52af70   tangwang   first commit
66
  
7299bae6   tangwang   tests
67
68
69
70
71
  - **单一配置源**:服务地址、provider 选择、后端参数统一在 `config/config.yaml`,环境变量仅做覆盖。
  - **接口契约优先**:外部 API 契约与 provider 契约稳定,内部重构不影响调用方。
  - **扩展走工厂**:新增 provider/backend 必须在工厂函数中显式注册,禁止旁路分支。
  - **可观测性优先**:健康检查、关键日志、请求上下文必须可追踪。
  - **测试优先保障契约**:CI 首先保证接口契约和核心路径可用,再逐步扩展性能与业务测试。
be52af70   tangwang   first commit
72
  
7299bae6   tangwang   tests
73
  ---
701ae503   tangwang   docs
74
  
7299bae6   tangwang   tests
75
  ## 5) 文档入口(建议阅读顺序)
a5a3856d   tangwang   店匠体系数据的搜索:mock da...
76
  
42e3aea6   tangwang   tidy
77
78
  | 步骤 | 文档 |
  |------|------|
7299bae6   tangwang   tests
79
80
81
82
83
  | 0. 全局规范(首读) | `docs/DEVELOPER_GUIDE.md` |
  | 1. 开发与配置 | `docs/QUICKSTART.md` |
  | 2. 运行与排障 | `docs/Usage-Guide.md` |
  | 3. API 详细说明 | `docs/搜索API对接指南.md` |
  | 4. 快速参数速查 | `docs/搜索API速查表.md` |
2e3670ab   tangwang   index services
84
  | 5. 首次环境搭建、生产凭证 | `docs/QUICKSTART.md` §1.4–1.8 |
bc089b43   tangwang   refactor(reranker...
85
86
  | 6. TEI 文本向量专项 | `docs/TEI_SERVICE说明文档.md` |
  | 7. CN-CLIP 图片向量专项 | `docs/CNCLIP_SERVICE说明文档.md` |
be52af70   tangwang   first commit
87
  
7299bae6   tangwang   tests
88
  ---
a5a3856d   tangwang   店匠体系数据的搜索:mock da...
89
  
7299bae6   tangwang   tests
90
  ## 6) 持续集成测试(推荐最小集)
be52af70   tangwang   first commit
91
  
7299bae6   tangwang   tests
92
  本仓库提供一套轻量、稳定、易维护的 CI 测试入口,覆盖以下服务契约:
a5a3856d   tangwang   店匠体系数据的搜索:mock da...
93
  
7299bae6   tangwang   tests
94
95
96
97
98
  - 搜索接口(search API)
  - 索引接口(indexer API)
  - 向量服务(embedding service)
  - 翻译服务(translator service)
  - 重排服务(reranker service)
be52af70   tangwang   first commit
99
  
7299bae6   tangwang   tests
100
  本地运行:
7bfb9946   tangwang   向量化模块
101
  
7299bae6   tangwang   tests
102
103
104
  ```bash
  source activate.sh
  python -m pytest tests/ci -q
a5a3856d   tangwang   店匠体系数据的搜索:mock da...
105
106
  ```
  
7299bae6   tangwang   tests
107
  该测试集采用 mock/stub,**不依赖真实 ES/MySQL/大模型服务**,适合作为 PR 级快速回归门禁。
42e3aea6   tangwang   tidy
108
  
7299bae6   tangwang   tests
109
  ---
be52af70   tangwang   first commit
110
  
7299bae6   tangwang   tests
111
112
113
114
115
116
117
118
119
  ## 7) 代码质量与持续继承要求
  
  - 新增功能必须补最小测试(至少覆盖 1 条成功路径 + 1 条参数异常路径)
  - 修改公共协议时必须同步更新:
    - `docs/QUICKSTART.md`
    - 对应服务 README / API 文档
    - `tests/ci` 契约用例
  - 禁止新增“临时分支逻辑”绕过 provider/backend 工厂
  - 优先减少重复实现,复用现有转换链路与配置解析入口