Blame view

docs/QUICKSTART.md 22.1 KB
bc54124c   tangwang   docs
1
  # 开发与配置指南
42e3aea6   tangwang   tidy
2
  
bc54124c   tangwang   docs
3
  新人入口:环境、服务、模块、请求示例、基础配置、Provider 架构、模块扩展规范,一文档搞定。
42e3aea6   tangwang   tidy
4
  
bc54124c   tangwang   docs
5
  **建议**:首次参与开发请先阅读 [DEVELOPER_GUIDE.md](./DEVELOPER_GUIDE.md) 建立项目全貌与协作规范,再使用本文做环境与配置速查。
701ae503   tangwang   docs
6
  
bc54124c   tangwang   docs
7
8
9
10
  ---
  
  ## 为什么这样整合
  
0e66a315   tangwang   docs
11
  以下文档已删除,其核心内容已并入本文与 [DEVELOPER_GUIDE.md](./DEVELOPER_GUIDE.md) §7:原 `PROVIDER_ARCHITECTURE.md`、`MODULE_EXTENSION_SPEC.md`、`基础配置指南.md`。本文保留环境、服务、基础配置、Provider 与模块扩展的速查;协议与新增后端清单见 DEVELOPER_GUIDE §7。
bc54124c   tangwang   docs
12
13
14
15
16
17
18
19
  
  关于 `docs/Usage-Guide.md`:保留为**运行/运维手册**更清晰(日志、故障排查、多环境切换、建议索引运行细节),本文只保留开发常用且高频的信息,避免一个文档同时承担“开发规范 + 运维 runbook”导致冗长和混乱。
  
  ---
  
  ## 目录
  
  1. [快速上手](#1-快速上手)
2e3670ab   tangwang   index services
20
     - [1.1 环境准备](#11-环境准备) / [1.2 服务与端口](#12-服务与端口) / [1.3 常用 API](#13-常用-api-请求示例) / [1.4 系统要求](#14-系统要求) / [1.5 Python 运行环境](#15-python-运行环境详细) / [1.6 外部服务与 .env](#16-外部服务与-env含生产凭证) / [1.7 店匠数据源](#17-店匠数据源说明) / [1.8 相关脚本](#18-相关脚本) / [1.9 配置入口总览](#19-配置入口总览)
bc54124c   tangwang   docs
21
22
23
24
25
  2. [基础配置与搜索行为](#2-基础配置与搜索行为)
  3. [Provider 架构](#3-provider-架构)
  4. [模块扩展规范(Embedding / Rerank)](#4-模块扩展规范embedding--rerank)
  5. [验证、日志与常见排障入口](#5-验证日志与常见排障入口)
  6. [相关文档](#6-相关文档)
7299bae6   tangwang   tests
26
  7. [持续集成测试(最小可维护方案)](#7-持续集成测试最小可维护方案)
bc54124c   tangwang   docs
27
28
29
30
31
32
33
34
35
  
  ---
  
  ## 1. 快速上手
  
  ### 1.1 环境准备
  
  ```bash
  source activate.sh
2e3670ab   tangwang   index services
36
  # 首次创建环境:
bc54124c   tangwang   docs
37
  ./scripts/create_venv.sh
bc54124c   tangwang   docs
38
  
07cf5a93   tangwang   START_EMBEDDING=...
39
40
  # embedding 服务独立环境(推荐)
  ./scripts/setup_embedding_venv.sh
bc54124c   tangwang   docs
41
  
07cf5a93   tangwang   START_EMBEDDING=...
42
43
  # reranker 服务独立环境(Qwen3-vLLM)
  ./scripts/setup_reranker_venv.sh
42e3aea6   tangwang   tidy
44
  
07cf5a93   tangwang   START_EMBEDDING=...
45
46
  # CN-CLIP 独立环境
  ./scripts/setup_cnclip_venv.sh
42e3aea6   tangwang   tidy
47
48
  ```
  
07cf5a93   tangwang   START_EMBEDDING=...
49
50
  依赖:Python 3.8+、Elasticsearch 8.x、MySQL、Redis(可选,缓存用途)。
  
2e3670ab   tangwang   index services
51
  更详细的系统要求、Python 环境、外部服务与生产凭证见 [1.4–1.8](#14-系统要求)
42e3aea6   tangwang   tidy
52
  
bc54124c   tangwang   docs
53
  ### 1.2 服务与端口
42e3aea6   tangwang   tidy
54
55
56
  
  | 服务 | 端口 | 默认启动 | 说明 |
  |------|-----:|:--------:|------|
bc54124c   tangwang   docs
57
58
  | backend | 6002 | ✓ | 搜索 API(`/search/*`)+ 管理接口(`/admin/*`) |
  | indexer | 6004 | ✓ | 索引 API(`/indexer/*`) |
42e3aea6   tangwang   tidy
59
  | frontend | 6003 | ✓ | 调试 UI |
bc54124c   tangwang   docs
60
61
62
63
64
  | embedding | 6005 | - | 向量服务(`/embed/text`, `/embed/image`) |
  | translator | 6006 | - | 翻译服务(`/translate`) |
  | reranker | 6007 | - | 重排服务(`/rerank`) |
  
  启动与停止:
42e3aea6   tangwang   tidy
65
66
  
  ```bash
7913e2fb   tangwang   服务管理和监控
67
68
  ./run.sh all
  # 仅为薄封装:等价于 ./scripts/service_ctl.sh up all
07cf5a93   tangwang   START_EMBEDDING=...
69
  # 说明:
7913e2fb   tangwang   服务管理和监控
70
71
  # - all = tei cnclip embedding translator reranker backend indexer frontend
  # - up 会同时启动 monitor daemon(运行期连续失败自动重启)
07cf5a93   tangwang   START_EMBEDDING=...
72
  # - reranker 为 GPU 强制模式(资源不足会直接启动失败)
af7ee060   tangwang   service_ctl 简化为“显...
73
  # - TEI 默认使用 GPU;当 TEI_DEVICE=cuda 且 GPU 不可用时会直接失败(不会自动降级到 CPU)
07cf5a93   tangwang   START_EMBEDDING=...
74
  # - cnclip 默认使用 cuda;若显式配置为 cuda 且 GPU 不可用会直接失败(不会自动降级到 cpu)
bc54124c   tangwang   docs
75
  
7913e2fb   tangwang   服务管理和监控
76
77
78
  ./restart.sh all
  # 仅为薄封装:等价于 ./scripts/service_ctl.sh restart all
  
42e3aea6   tangwang   tidy
79
  ./scripts/service_ctl.sh status
7913e2fb   tangwang   服务管理和监控
80
  ./scripts/stop.sh all    # 仅为薄封装:等价于 ./scripts/service_ctl.sh down all
42e3aea6   tangwang   tidy
81
82
  ```
  
af7ee060   tangwang   service_ctl 简化为“显...
83
84
85
  服务管理方式(入口职责、默认行为、全量拉起顺序)见:
  - `docs/Usage-Guide.md` -> `服务管理总览`
  
bc54124c   tangwang   docs
86
  ### 1.3 常用 API 请求示例
42e3aea6   tangwang   tidy
87
  
bc54124c   tangwang   docs
88
  #### 搜索 API(backend 6002)
42e3aea6   tangwang   tidy
89
90
91
92
93
94
95
96
97
98
99
100
101
102
  
  ```bash
  # 文本搜索
  curl -X POST http://localhost:6002/search/ \
    -H "Content-Type: application/json" \
    -H "X-Tenant-ID: 162" \
    -d '{"query": "玩具", "size": 10}'
  
  # 图片搜索
  curl -X POST http://localhost:6002/search/image \
    -H "Content-Type: application/json" \
    -H "X-Tenant-ID: 162" \
    -d '{"image_url": "https://example.com/img.jpg", "size": 10}'
  
bc54124c   tangwang   docs
103
104
105
106
107
108
  # Suggestion
  curl "http://localhost:6002/search/suggestions?q=玩&size=5" \
    -H "X-Tenant-ID: 162"
  
  # 健康与统计
  curl http://localhost:6002/admin/health
26b910bd   tangwang   refactor service ...
109
  curl http://localhost:6002/admin/stats -H "X-Tenant-ID: 162"
42e3aea6   tangwang   tidy
110
111
  ```
  
bc54124c   tangwang   docs
112
  API 文档:`http://localhost:6002/docs`
42e3aea6   tangwang   tidy
113
  
bc54124c   tangwang   docs
114
  #### 索引 API(indexer 6004)
42e3aea6   tangwang   tidy
115
116
117
118
119
  
  ```bash
  # 创建租户索引
  ./scripts/create_tenant_index.sh 162
  
bc54124c   tangwang   docs
120
  # 全量重建(更新/写入,不删除旧索引)
42e3aea6   tangwang   tidy
121
122
123
124
  curl -X POST http://localhost:6004/indexer/reindex \
    -H "Content-Type: application/json" \
    -d '{"tenant_id": "162", "batch_size": 500}'
  
bc54124c   tangwang   docs
125
126
127
128
129
130
  # 增量索引
  curl -X POST http://localhost:6004/indexer/index \
    -H "Content-Type: application/json" \
    -d '{"tenant_id": "162", "spu_ids": ["1001", "1002"]}'
  
  # 构建文档(不写 ES)
42e3aea6   tangwang   tidy
131
132
  curl -X POST http://localhost:6004/indexer/build-docs \
    -H "Content-Type: application/json" \
bc54124c   tangwang   docs
133
    -d '{"tenant_id":"162","items":[{"spu":{},"skus":[],"options":[]}]}'
42e3aea6   tangwang   tidy
134
135
  ```
  
bc54124c   tangwang   docs
136
137
138
  API 文档:`http://localhost:6004/docs`
  
  #### Embedding 服务(6005)
42e3aea6   tangwang   tidy
139
140
  
  ```bash
07cf5a93   tangwang   START_EMBEDDING=...
141
142
  # TEI(文本向量后端,默认)
  # GPU(需 nvidia-container-toolkit)
af7ee060   tangwang   service_ctl 简化为“显...
143
  TEI_DEVICE=cuda ./scripts/start_tei_service.sh
07cf5a93   tangwang   START_EMBEDDING=...
144
145
  
  # Embedding API(会校验 TEI /health)
42e3aea6   tangwang   tidy
146
147
  ./scripts/start_embedding_service.sh
  
42e3aea6   tangwang   tidy
148
149
150
151
  curl -X POST http://localhost:6005/embed/text \
    -H "Content-Type: application/json" \
    -d '["衣服", "Bohemian Maxi Dress"]'
  
42e3aea6   tangwang   tidy
152
153
154
155
156
  curl -X POST http://localhost:6005/embed/image \
    -H "Content-Type: application/json" \
    -d '["https://example.com/img.jpg"]'
  ```
  
07cf5a93   tangwang   START_EMBEDDING=...
157
158
  说明:
  - TEI 默认镜像按 `TEI_VERSION` 组装:`cuda-<version>`(默认 `1.9`)。
af7ee060   tangwang   service_ctl 简化为“显...
159
  - `TEI_DEVICE=cuda` 时会严格校验 Docker GPU runtime;未配置会直接报错退出。
07cf5a93   tangwang   START_EMBEDDING=...
160
161
  - `/embed/image` 依赖 `cnclip`(`grpc://127.0.0.1:51000`),未启动时 embedding 服务会启动失败。
  
bc54124c   tangwang   docs
162
  #### Translator 服务(6006)
42e3aea6   tangwang   tidy
163
164
  
  ```bash
0fd2f875   tangwang   translate
165
166
  ./scripts/setup_translator_venv.sh
  ./.venv-translator/bin/python scripts/download_translation_models.py --all-local   # 如需本地模型
42e3aea6   tangwang   tidy
167
168
169
170
  ./scripts/start_translator.sh
  
  curl -X POST http://localhost:6006/translate \
    -H "Content-Type: application/json" \
0fd2f875   tangwang   translate
171
    -d '{"text":"商品名称","target_lang":"en","source_lang":"zh","model":"qwen-mt","scene":"sku_name"}'
42e3aea6   tangwang   tidy
172
173
  ```
  
0fd2f875   tangwang   translate
174
175
176
177
  说明:
  - translator service 是翻译统一入口,业务侧不再直接选择翻译 provider。
  - 本地模型默认关闭;需先在 `config/config.yaml -> services.translation.capabilities` 中启用,再通过 `model` 指定。
  
bc54124c   tangwang   docs
178
  #### Reranker 服务(6007)
42e3aea6   tangwang   tidy
179
180
  
  ```bash
07cf5a93   tangwang   START_EMBEDDING=...
181
  # 默认后端 qwen3_vllm(Qwen3-Reranker-0.6B)
42e3aea6   tangwang   tidy
182
183
184
185
  ./scripts/start_reranker.sh
  
  curl -X POST http://localhost:6007/rerank \
    -H "Content-Type: application/json" \
bc54124c   tangwang   docs
186
187
188
    -d '{"query":"wireless mouse","docs":["logitech mx master","usb cable"]}'
  ```
  
2e3670ab   tangwang   index services
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
  ### 1.4 系统要求
  
  - **操作系统**:Linux(推荐 Ubuntu 18.04+)
  - **Python**:3.10(由 venv 提供)
  - **内存**:建议 8GB+(含模型与 ES)
  - **磁盘**:10GB+(含模型与索引)
  
  ### 1.5 Python 运行环境(详细)
  
  项目根目录的 `activate.sh` 激活 **`.venv`** 并加载当前目录 `.env`
  
  ```bash
  cd /data/saas-search
  ./scripts/create_venv.sh
  source activate.sh
  ```
  
07cf5a93   tangwang   START_EMBEDDING=...
206
  主程序 `.venv` 与模型服务环境隔离:
2e3670ab   tangwang   index services
207
  
07cf5a93   tangwang   START_EMBEDDING=...
208
209
210
211
212
  - 主程序:`.venv`(`./scripts/create_venv.sh`
  - embedding 服务:`.venv-embedding`(`./scripts/setup_embedding_venv.sh`
  - reranker 服务:`.venv-reranker`(`./scripts/setup_reranker_venv.sh`
  - cnclip:`.venv-cnclip`(`./scripts/setup_cnclip_venv.sh`
  - TEI:Docker 容器(`./scripts/start_tei_service.sh`
2e3670ab   tangwang   index services
213
214
215
216
217
218
219
220
221
222
223
  
  ### 1.6 外部服务与 .env(含生产凭证)
  
  以下为 **AI 生产环境** 统一使用的地址与凭证(Redis / ES / MySQL 均以此为准)。本地开发可将 `DB_HOST`/`ES_HOST`/`REDIS_HOST` 改为 `localhost`(服务在本机时)。
  
  | 服务 | 地址(生产) | 端口 | 说明 |
  |------|--------------|------|------|
  | **MySQL** | 10.200.16.14 / localhost | 3316 | 店匠 SPU/SKU 数据 |
  | **Redis** | 10.200.16.14 / localhost | 6479 | Embedding/翻译缓存 |
  | **Elasticsearch** | 10.200.16.14 / localhost | 9200 | 搜索索引 |
  
07cf5a93   tangwang   START_EMBEDDING=...
224
  **MySQL**(AI 生产推荐使用 root,3 个用户均可远程登录):
2e3670ab   tangwang   index services
225
  
07cf5a93   tangwang   START_EMBEDDING=...
226
227
228
229
230
  | 用户 | 密码 | 说明 |
  |------|------|------|
  | root | qY8tgodLoA&KT#yQ | AI 生产推荐 |
  | saas | 6dlpco6dVGuqzt^l | 业务用户 |
  | sa | C#HU!GPps7ck8tsM | 备用 |
2e3670ab   tangwang   index services
231
232
233
234
235
236
237
238
239
240
241
  
  创建远程用户(如尚未创建):
  
  ```sql
  mysql -uroot -p'qY8tgodLoA&KT#yQ'
  CREATE USER 'saas'@'%' IDENTIFIED BY '6dlpco6dVGuqzt^l';
  CREATE USER 'sa'@'%' IDENTIFIED BY 'C#HU!GPps7ck8tsM';
  ```
  
  **Redis**
  
07cf5a93   tangwang   START_EMBEDDING=...
242
  - 地址:`10.200.16.14:6479`
2e3670ab   tangwang   index services
243
  - 密码:`dxEkegEZ@C5SXWKv`
07cf5a93   tangwang   START_EMBEDDING=...
244
  - 远程登录示例:`redis-cli -h 10.200.16.14 -p 6479 -a 'dxEkegEZ@C5SXWKv' --no-auth-warning`
2e3670ab   tangwang   index services
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
  
  **Elasticsearch**
  
  - 用户名/密码:`saas` / `4hOaLaf41y2VuI8y`
  - 访问示例:
  
  ```bash
  curl -u 'saas:4hOaLaf41y2VuI8y' \
    -X GET 'http://localhost:9200/search_products_tenant_111/_search?pretty' \
    -H 'Content-Type: application/json' \
    -d '{
      "size": 11,
      "_source": ["title"],
      "query": {
        "bool": {
          "filter": [
            { "term": {"spu_id" : 206150} }
          ]
        }
      }
    }'
  ```
  
02c40701   tangwang   frontend proxy se...
268
269
  > 注意(Kibana 运维):应用侧 `.env` 的 `ES_USERNAME/ES_PASSWORD` 仅用于业务服务访问 ES;Kibana 不应复用该账号。Kibana 推荐在 `/etc/kibana/kibana.yml` 使用 `elasticsearch.serviceAccountToken`,否则在 `.kibana_*` 受限索引迁移阶段可能出现 `security_exception` 并导致 5601 长时间无响应。
  
c7e80cc2   tangwang   新的 .env 管理机制如下:
270
271
272
273
274
275
276
  在项目根目录创建 `.env`
  
  ```bash
  ./scripts/init_env.sh   # 从 .env.example 复制(若 .env 不存在)
  ```
  
  然后按环境修改 `.env`**含特殊字符(#、$、&、空格)的密码需加引号**,例如:
2e3670ab   tangwang   index services
277
278
  
  ```env
07cf5a93   tangwang   START_EMBEDDING=...
279
  # MySQL(AI 生产 10.200.16.14:3316,推荐 root)
2e3670ab   tangwang   index services
280
281
282
  DB_HOST=10.200.16.14
  DB_PORT=3316
  DB_DATABASE=saas
07cf5a93   tangwang   START_EMBEDDING=...
283
  DB_USERNAME=root
c7e80cc2   tangwang   新的 .env 管理机制如下:
284
  DB_PASSWORD="qY8tgodLoA&KT#yQ"
2e3670ab   tangwang   index services
285
286
287
288
  
  # Elasticsearch
  ES_HOST=http://10.200.16.14:9200
  ES_USERNAME=saas
c7e80cc2   tangwang   新的 .env 管理机制如下:
289
  ES_PASSWORD="4hOaLaf41y2VuI8y"
2e3670ab   tangwang   index services
290
291
292
293
  
  # Redis(可选)
  REDIS_HOST=10.200.16.14
  REDIS_PORT=6479
c7e80cc2   tangwang   新的 .env 管理机制如下:
294
  REDIS_PASSWORD="dxEkegEZ@C5SXWKv"
2e3670ab   tangwang   index services
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
  
  # DeepL 翻译(按需)
  DEEPL_AUTH_KEY=your-key
  
  # API
  API_HOST=0.0.0.0
  API_PORT=6002
  ```
  
  > 生产环境请妥善保管凭证;本地/测试可改用上述值或自建实例。
  
  ### 1.7 店匠数据源说明
  
  saas-search 以 MySQL 中的店匠标准表为权威数据源:
  
  - `shoplazza_product_spu`:SPU 商品主表
  - `shoplazza_product_sku`:SKU 变体表
  
  **shoplazza_product_sku 字段节选**`id`, `spu_id`, `shop_id`, `title`, `sku`, `price`, `compare_at_price`, `option1/2/3`, `inventory_quantity`, `image_src`, `tenant_id`, `create_time`, `update_time`, `deleted` 等。完整字段与 ES 对应关系见 `INDEX_FIELDS_DOCUMENTATION.md`(若有)。
  
  ### 1.8 相关脚本
  
  - **`activate.sh`**(项目根目录):激活 Python 环境并加载 `.env`,日常开发/部署以本脚本为准。
07cf5a93   tangwang   START_EMBEDDING=...
318
319
320
321
  - `scripts/create_venv.sh`:创建主程序 venv(`.venv`
  - `scripts/setup_embedding_venv.sh`:创建 embedding 服务 venv(`.venv-embedding`
  - `scripts/setup_reranker_venv.sh`:创建 reranker 服务 venv(`.venv-reranker`
  - `scripts/start_tei_service.sh`:启动 TEI 容器(文本向量后端)
2e3670ab   tangwang   index services
322
323
324
  - `scripts/mock_data.sh`:生成 Tenant1 Mock + Tenant2 CSV 并导入 MySQL
  - `scripts/create_tenant_index.sh <tenant_id>`:创建租户 ES 索引结构
  - `POST /indexer/reindex`:从 MySQL 全量导入到 ES
7913e2fb   tangwang   服务管理和监控
325
326
  - `run.sh` / `restart.sh` / `scripts/stop.sh`:推荐入口(对应 up/restart/down)
  - `scripts/service_ctl.sh`:`up/down/start/stop/restart/status/monitor/monitor-start/monitor-stop/monitor-status`
2e3670ab   tangwang   index services
327
328
329
330
  
  更多脚本与验证命令见 `docs/Usage-Guide.md`
  
  ### 1.9 配置入口总览
bc54124c   tangwang   docs
331
332
333
334
335
336
  
  - **搜索行为配置**`config/config.yaml`
  - **索引结构定义**`mappings/search_products.json`
  - **provider/服务配置**`config/config.yaml` 的 `services`
  - **环境变量**`.env`
  
0e66a315   tangwang   docs
337
  ---·
bc54124c   tangwang   docs
338
339
340
341
342
343
344
  
  ## 2. 基础配置与搜索行为
  
  ### 2.1 总体原则
  
  - **统一索引结构**:所有租户使用同一套 mapping(按租户数据分索引名 + 文档内 `tenant_id` 隔离)
  - **SPU 级索引**:每个文档是一个 SPU,包含嵌套 `skus`、`specifications`
bd96cead   tangwang   1. 动态多语言字段与统一策略配置
345
  - **配置文件驱动**:搜索权重、动态多语言字段、重排融合、provider 全在 `config/config.yaml`,不再以“硬编码配置”为主
bc54124c   tangwang   docs
346
347
348
349
350
351
352
353
  
  ### 2.2 索引结构(Mapping)
  
  文件:`mappings/search_products.json`
  
  核心字段可分为:
  
  - 标识字段:`tenant_id`, `spu_id`
bd96cead   tangwang   1. 动态多语言字段与统一策略配置
354
  - 多语言文本:`title.<lang>`, `brief.<lang>`, `description.<lang>`, `vendor.<lang>`, `category_path.<lang>`, `category_name_text.<lang>`
bc54124c   tangwang   docs
355
356
357
358
359
360
361
  - 类目过滤:`category1_name`, `category2_name`, `category3_name`
  - 规格/变体:`specifications`(nested)、`skus`(nested)
  - 价格库存:`min_price`, `max_price`, `total_inventory`
  - 向量:`title_embedding`(dense vector)、`image_embedding`(nested)
  
  ### 2.3 查询、权重、排序(`config/config.yaml`)
  
bd96cead   tangwang   1. 动态多语言字段与统一策略配置
362
363
  - `field_boosts`:字段权重(统一按字段基名配置,运行时按 `.{lang}` 动态组装)
  - `query_config.search_fields`:动态多语言检索字段(multilingual/shared/core)
bcada818   tangwang   last
364
  - `query_config.text_query_strategy`:文本召回策略参数(minimum_should_match、翻译boost、翻译失败原文兜底boost等)
bc54124c   tangwang   docs
365
  - `query_config`:语言、embedding 开关、source_fields、knn_boost、翻译提示词等
bc54124c   tangwang   docs
366
367
368
369
370
371
372
373
374
375
376
377
378
379
  - `function_score`:ES 层加权函数
  - `rerank`:重排窗口、超时、ES/AI 融合权重
  
  ### 2.4 分面与返回字段
  
  - 分面字段通常包括:`category1_name`、`category2_name`、`category3_name`、`specifications.*`
  - `query_config.source_fields` 控制返回字段(`null`=全部,`[]`=不返回 source,列表=指定字段)
  - 多语言返回遵循请求 language 与字段回退策略
  
  ### 2.5 修改配置时怎么做
  
  | 修改项 | 操作 |
  |--------|------|
  | 索引结构(mapping) | 修改 `mappings/search_products.json` → `./scripts/create_tenant_index.sh <tenant_id>` → 重新导入 |
bd96cead   tangwang   1. 动态多语言字段与统一策略配置
380
  | 搜索字段/权重/排序/重排 | 修改 `config/config.yaml` 对应块 |
0fd2f875   tangwang   translate
381
  | provider 与服务 URL | 修改 `config/config.yaml` 的 `services` 块;translation 的 `service_url/default_model/default_scene` 只认 YAML,embedding/rerank 仍可按需用环境变量覆盖 |
bc54124c   tangwang   docs
382
383
384
  
  ---
  
0fd2f875   tangwang   translate
385
  ## 3. 能力接入架构
bc54124c   tangwang   docs
386
387
388
389
390
  
  目标:调用方稳定、配置可切换、单一配置源。
  
  ### 3.1 当前代码结构
  
0fd2f875   tangwang   translate
391
392
  - 模块:`providers/` + `translation/`
  - 工厂:`translation.create_translation_client()`、`create_embedding_provider()`、`create_rerank_provider()`
bc54124c   tangwang   docs
393
394
  - 配置解析:`config/services_config.py`
  
0fd2f875   tangwang   translate
395
396
397
398
399
  | 能力 | 调用入口 | 服务内实现 |
  |------|----------|------------|
  | translation | `translation/client.py` | `translation/service.py` + `translation/backends/` |
  | embedding | `providers/embedding.py`(http) | embedding 服务内 backend |
  | rerank | `providers/rerank.py`(http) | reranker 服务内 backend |
bc54124c   tangwang   docs
400
401
402
403
404
405
406
407
  
  ### 3.2 配置与覆盖
  
  统一在 `config/config.yaml`
  
  ```yaml
  services:
    translation:
0fd2f875   tangwang   translate
408
409
410
411
412
413
414
415
416
417
418
      service_url: "http://127.0.0.1:6006"
      default_model: "llm"
      default_scene: "general"
      timeout_sec: 10.0
      capabilities:
        qwen-mt: { enabled: true, backend: "qwen_mt", model: "qwen-mt-flash", base_url: "https://dashscope-us.aliyuncs.com/compatible-mode/v1", timeout_sec: 10.0, use_cache: true }
        llm: { enabled: true, backend: "llm", model: "qwen-flash", base_url: "https://dashscope-us.aliyuncs.com/compatible-mode/v1", timeout_sec: 30.0 }
        deepl: { enabled: false, backend: "deepl", api_url: "https://api.deepl.com/v2/translate", timeout_sec: 10.0 }
        nllb-200-distilled-600m: { enabled: false, backend: "local_nllb", model_id: "facebook/nllb-200-distilled-600M" }
        opus-mt-zh-en: { enabled: false, backend: "local_marian", model_id: "Helsinki-NLP/opus-mt-zh-en" }
        opus-mt-en-zh: { enabled: false, backend: "local_marian", model_id: "Helsinki-NLP/opus-mt-en-zh" }
bc54124c   tangwang   docs
419
420
    embedding:
      provider: "http"
07cf5a93   tangwang   START_EMBEDDING=...
421
      backend: "tei"
bc54124c   tangwang   docs
422
423
      providers:
        http: { base_url: "http://127.0.0.1:6005" }
07cf5a93   tangwang   START_EMBEDDING=...
424
425
      backends:
        tei: { base_url: "http://127.0.0.1:8080", timeout_sec: 60, model_id: "Qwen/Qwen3-Embedding-0.6B" }
bc54124c   tangwang   docs
426
427
    rerank:
      provider: "http"
d31c7f65   tangwang   补充云服务reranker
428
      backend: "qwen3_vllm"  # bge | qwen3_vllm | qwen3_transformers | dashscope_rerank
bc54124c   tangwang   docs
429
430
431
432
433
434
      providers:
        http: { base_url: "http://127.0.0.1:6007", service_url: "http://127.0.0.1:6007/rerank" }
  ```
  
  环境变量覆盖(优先级更高):
  
bc54124c   tangwang   docs
435
  - `EMBEDDING_SERVICE_URL`
07cf5a93   tangwang   START_EMBEDDING=...
436
437
  - `EMBEDDING_BACKEND`
  - `TEI_BASE_URL`
bc54124c   tangwang   docs
438
439
  - `RERANKER_SERVICE_URL`
  - `RERANK_BACKEND`(服务内后端)
0d3e73ba   tangwang   rerank mini batch
440
  - `RERANK_DASHSCOPE_API_KEY_CN` / `RERANK_DASHSCOPE_API_KEY_US`(`dashscope_rerank` 后端鉴权)
d31c7f65   tangwang   补充云服务reranker
441
  - `RERANK_DASHSCOPE_ENDPOINT`(`dashscope_rerank` 地域 endpoint 覆盖)
bc54124c   tangwang   docs
442
  
0fd2f875   tangwang   translate
443
  ### 3.3 新增接入能力的最小步骤
bc54124c   tangwang   docs
444
  
0fd2f875   tangwang   translate
445
446
447
448
449
450
451
452
453
454
455
  1. translation 新增能力:
  `translation/backends/` 实现 backend,在 `translation/service.py` 注册,并在 `services.translation.capabilities` 增加配置。
  2. embedding / rerank 新增调用方式:
  `providers/<capability>.py` 实现 provider 类,并在 `create_*_provider()` 注册。
  3. embedding / rerank 新增服务内模型:
     在对应服务的 `backends/` 下实现并注册,在 `services.<capability>.backends` 新增配置。
  
  说明:
  - translation 的 scene 规则、语言码映射、prompt 模板、模型方向约束位于 `translation/` 内部,不再放到 `config/`
  - 翻译公共接口只暴露 `model + scene`,不暴露 `prompt`
  - translation 的 `service_url`、`default_model`、`default_scene` 来自 `config/config.yaml -> services.translation`,不再由环境变量静默覆盖。
bc54124c   tangwang   docs
456
457
458
459
460
461
462
463
  
  ---
  
  ## 4. 模块扩展规范(Embedding / Rerank)
  
  这里重点区分两层:
  
  - **Provider 层(调用方式)**:调用方如何访问能力(http/direct)
07cf5a93   tangwang   START_EMBEDDING=...
464
  - **Backend 层(推理实现)**:服务进程内部具体模型实现(tei / local_st / qwen3_vllm / ...)
bc54124c   tangwang   docs
465
466
467
468
469
470
471
472
473
474
475
476
477
  
  ### 4.1 Rerank(重排)扩展
  
  调用链:
  
  `search/rerank_client.py` -> `create_rerank_provider()` -> `HttpRerankProvider` -> `POST /rerank`
  
  服务实现:
  
  - `reranker/server.py`
  - `reranker/backends/__init__.py`(工厂)
  - `reranker/backends/bge.py`
  - `reranker/backends/qwen3_vllm.py`
d31c7f65   tangwang   补充云服务reranker
478
479
  - `reranker/backends/qwen3_transformers.py`
  - `reranker/backends/dashscope_rerank.py`
bc54124c   tangwang   docs
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
  
  后端协议(服务内):
  
  - 实现 `score_with_meta(query, docs, normalize) -> (scores, meta)`
  - 返回 `scores` 与输入 `docs` 等长且顺序一致
  
  配置位置:
  
  `config/config.yaml` -> `services.rerank.backend` + `services.rerank.backends.<name>`
  
  ### 4.2 Embedding(向量化)扩展
  
  调用链:
  
  `create_embedding_provider()` -> `POST /embed/text` / `POST /embed/image`
  
  服务实现:
  
  - `embeddings/server.py`(文本和图像可独立加载)
07cf5a93   tangwang   START_EMBEDDING=...
499
  - 文本后端默认 `TEI`(Qwen3-Embedding-0.6B)
bc54124c   tangwang   docs
500
501
502
503
504
505
506
507
  - 图像后端支持本地 CLIP 或 clip-as-service
  
  扩展建议:
  
  - 文本后端统一提供批量编码能力(与输入索引对齐)
  - 图像后端实现 `ImageEncoderProtocol`(`encode_image_urls`
  - 如后续后端增多,建议与 rerank 一样在 `services.embedding.backend(s)` 统一配置
  
950a640e   tangwang   embeddings
508
509
  选型建议(Qwen3-Embedding-0.6B):
  
07cf5a93   tangwang   START_EMBEDDING=...
510
511
  - 当前仓库默认:`TEI`(Text Embeddings Inference)
  - 生产高并发优先:`TEI` 通常比 vLLM 更贴合 embedding-only 场景
950a640e   tangwang   embeddings
512
513
  - `vLLM` 更适合生成式/重排混合场景;若仅做文本 embedding,通常不作为首选
  
bc54124c   tangwang   docs
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
  ### 4.3 新增后端检查清单(以 `qwen3_vllm` 为例)
  
  1. 实现后端协议(服务内)
  2. 在后端工厂注册(如 `get_rerank_backend`
  3. 增加 `config/config.yaml` 对应 backend 配置
  4. 提供健康检查中的 backend/model 可观测信息
  5. 保持外部 HTTP 契约不变,调用方无需改造
  
  ---
  
  ## 5. 验证、日志与常见排障入口
  
  ### 5.1 快速健康检查
  
  ```bash
  curl http://localhost:6002/health
  curl http://localhost:6002/admin/health
  curl http://localhost:6004/health
  curl http://localhost:6005/health
  curl http://localhost:6006/health
  curl http://localhost:6007/health
  ```
  
  ### 5.2 常看日志
  
28e57bb1   tangwang   日志体系优化
539
540
  - `logs/<service>-YYYY-MM-DD.log`(`service_ctl.sh` 按天写入的真实文件)
  - `logs/<service>.log`(指向当天文件的软链,推荐 `tail -F`
7913e2fb   tangwang   服务管理和监控
541
  - `logs/service-monitor.log`(`service_ctl.sh monitor` 运行期健康检查、失败计数、自动重启日志)
28e57bb1   tangwang   日志体系优化
542
543
544
  - `logs/api.log`(backend 进程内日志,按天轮转)
  - `logs/backend_verbose.log`(backend 大对象详细日志,按天轮转)
  - `logs/indexer.log`(索引结构化 JSON 日志,按天轮转)
bc54124c   tangwang   docs
545
546
547
548
549
550
551
552
  
  ### 5.3 常用排障命令
  
  ```bash
  ./scripts/service_ctl.sh status
  curl http://localhost:9200
  lsof -i :6002
  lsof -i :6004
42e3aea6   tangwang   tidy
553
554
  ```
  
bc54124c   tangwang   docs
555
  更完整的运行排障(多环境切换、Suggestion 构建、FAQ)见 `docs/Usage-Guide.md`
42e3aea6   tangwang   tidy
556
  
bc54124c   tangwang   docs
557
  ---
42e3aea6   tangwang   tidy
558
  
bc54124c   tangwang   docs
559
  ## 6. 相关文档
42e3aea6   tangwang   tidy
560
561
562
  
  | 文档 | 用途 |
  |------|------|
bc54124c   tangwang   docs
563
564
  | `docs/DEVELOPER_GUIDE.md` | 项目全貌、规范、协作方式 |
  | `docs/Usage-Guide.md` | 运行运维手册:日志、多环境、故障排查、Suggestion 运维 |
42e3aea6   tangwang   tidy
565
566
  | `docs/搜索API速查表.md` | 搜索 API 参数速查 |
  | `docs/搜索API对接指南.md` | 搜索 API 完整说明 |
42e3aea6   tangwang   tidy
567
  | `indexer/README.md` | 索引模块职责与接口 |
bc54124c   tangwang   docs
568
  | `embeddings/README.md` | 向量化服务说明 |
bc089b43   tangwang   refactor(reranker...
569
  | `docs/TEI_SERVICE说明文档.md` | TEI 专项(安装、部署、GPU/CPU 模式、排障) |
cc11ae04   tangwang   cnclip
570
  | `docs/CNCLIP_SERVICE说明文档.md` | CN-CLIP/clip-as-service 专项(环境、GPU、运维) |
bc54124c   tangwang   docs
571
  | `reranker/README.md` | 重排服务说明 |
7299bae6   tangwang   tests
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
  
  ---
  
  ## 7. 持续集成测试(最小可维护方案)
  
  目标:让后续开发者在不依赖真实 ES/MySQL/模型服务的前提下,快速验证核心服务契约不被破坏。
  
  ### 7.1 测试范围
  
  `tests/ci/test_service_api_contracts.py` 覆盖:
  
  - 搜索接口:`/search/`、`/search/image`、`/search/suggestions`
  - 索引接口:`/indexer/reindex`、`/indexer/index`、`/indexer/build-docs`
  - 向量服务:`/embed/text`、`/embed/image`
  - 翻译服务:`/translate`、`/health`
  - 重排服务:`/rerank`、`/health`
  
  ### 7.2 运行方式
  
  ```bash
  source activate.sh
  python -m pytest tests/ci -q
  ```
  
  ### 7.3 设计取舍
  
  - 使用 mock/stub 注入依赖,确保测试快且稳定
  - 重点测“接口契约与参数行为”,而不是底层模型质量
  - 作为 PR 级门禁;真实环境联调放在运维/预发布流程