Blame view

docs/向量化模块和API说明文档.md 1.29 KB
42e3aea6   tangwang   tidy
1
  # 向量化模块
bad3b18b   tangwang   fix facet for 172
2
  
42e3aea6   tangwang   tidy
3
  **快速上手**:见 `docs/QUICKSTART.md` 第 3.3 节。
bad3b18b   tangwang   fix facet for 172
4
  
42e3aea6   tangwang   tidy
5
  ## 服务接口
bad3b18b   tangwang   fix facet for 172
6
  
5bac9649   tangwang   文本 embedding 与图片 ...
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
  - 文本服务:`POST http://localhost:6005/embed/text`
  - 图片服务:`POST http://localhost:6008/embed/image`
  - 健康检查:`GET /health`
  - 就绪检查:`GET /ready`
  
  ## 当前架构
  
  - 文本 embedding 与图片 embedding 已拆分为两个独立进程 / 端口:
    - text: `6005`
    - image: `6008`
  - 两侧有独立并发控制:
    - `TEXT_MAX_INFLIGHT`
    - `IMAGE_MAX_INFLIGHT`
  - 两侧都接入 Redis 向量缓存,value 统一使用 BF16 bytes 存储。
  
  ## 缓存
  
  - 当前是双层缓存:
    - 调用侧 client 先查 Redis
    - 服务侧收到请求后再查 Redis
  - 当前主 key 规则:
    - 文本:`embedding:embed:norm{0|1}:{text}`
    - 图片:`embedding:image:embed:norm{0|1}:{url_or_path}`
  - full-cache-hit 时,服务会直接返回,不占用模型 lane。
bad3b18b   tangwang   fix facet for 172
31
  
42e3aea6   tangwang   tidy
32
  ## 配置
bad3b18b   tangwang   fix facet for 172
33
  
42e3aea6   tangwang   tidy
34
  - Provider/URL:`config/config.yaml` 的 `services.embedding`
5bac9649   tangwang   文本 embedding 与图片 ...
35
36
  - 文本服务 URL:`services.embedding.providers.http.text_base_url`
  - 图片服务 URL:`services.embedding.providers.http.image_base_url`
950a640e   tangwang   embeddings
37
38
  - 文本模型:`embeddings/config.py` 的 `TEXT_MODEL_ID`(默认 `Qwen/Qwen3-Embedding-0.6B`
  - 运行参数:`TEXT_DEVICE`、`TEXT_BATCH_SIZE`、`TEXT_NORMALIZE_EMBEDDINGS`
bad3b18b   tangwang   fix facet for 172
39
  
42e3aea6   tangwang   tidy
40
  详见 `embeddings/README.md`