Blame view

docs/CNCLIP_SERVICE说明文档.md 5.41 KB
768ad710   tangwang   MySQL到ES字段映射说明-业务...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
  
  # TODO
  
  现在,跟自己 cn_clip 预估的结果,有差别:
  这个比较接近: 可能是预处理逻辑有些不一样。
  https://oss.essa.cn/98532128-cf8e-456c-9e30-6f2a5ea0c19f.jpg
  normlize后的结果:
  0.046295166015625,0.012847900390625,-0.0299530029296875,-0.01629638671875,0.01708984375,0.00487518310546875,0.01284027099609375,0.01348876953125,0.04617632180452347, 0.012860896065831184, -0.030133124440908432, -0.0162516962736845, 
  0.04617632180452347, 0.012860896065831184, -0.030133124440908432, -0.0162516962736845, 0.01708567887544632, 0.005110889207571745
  
  以下两个,差别非常大,感觉不是一个模型:
  https://aisearch.cdn.bcebos.com/fileManager/GtB5doGAr1skTx38P7fb7Q/182.jpg?authorization=bce-auth-v1%2F7e22d8caf5af46cc9310f1e3021709f3%2F2025-12-30T04%3A45%3A38Z%2F86400%2Fhost%2Ffe222039926cb7ff593021af40268c782b8892598114e24773d0c1bfc976a8df
  https://oss.essa.cn/2e353867-7496-4d4e-a7c8-0af50f49f6eb.jpg?x-oss-process=image/resize,m_lfit,w_2048,h_2048
  
  curl -X POST "http://120.76.41.98:5000/embedding/generate_image_embeddings"      -H "Content-Type: application/json"      -d '[
           {
               "id": "test_1",
               "pic_url": "https://oss.essa.cn/98532128-cf8e-456c-9e30-6f2a5ea0c19f.jpg"
           }
       ]'
  	 
  
  
74cca190   tangwang   cnclip
24
  # CN-CLIP 编码服务
40f1e391   tangwang   cnclip
25
  
74cca190   tangwang   cnclip
26
  ## 模块说明
40f1e391   tangwang   cnclip
27
  
74cca190   tangwang   cnclip
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
  CN-CLIP 编码服务基于 [clip-as-service](https://github.com/jina-ai/clip-as-service) 提供中文 CLIP 模型的文本和图像编码功能。服务使用 gRPC 协议,支持批量编码,返回固定维度的向量表示。
  
  ### 功能特性
  
  - 文本编码:将中文文本编码为向量
  - 图像编码:将图像(本地文件或远程 URL)编码为向量
  - 混合编码:同时编码文本和图像
  - 批量处理:支持批量编码,提高效率
  
  ### 技术架构
  
  - **框架**: clip-as-service (基于 Jina)
  - **模型**: CN-CLIP/ViT-L-14-336(默认)
  - **协议**: gRPC(默认,官方推荐)
  - **运行时**: PyTorch
40f1e391   tangwang   cnclip
43
44
45
  
  ## 启动服务
  
74cca190   tangwang   cnclip
46
47
  ### 基本用法
  
40f1e391   tangwang   cnclip
48
49
50
51
52
53
  ```bash
  ./scripts/start_cnclip_service.sh
  ```
  
  ### 启动参数
  
74cca190   tangwang   cnclip
54
55
56
57
58
59
60
61
62
  | 参数 | 说明 | 默认值 |
  |------|------|--------|
  | `--port PORT` | 服务端口 | 51000 |
  | `--device DEVICE` | 设备类型:cuda 或 cpu | 自动检测 |
  | `--batch-size SIZE` | 批处理大小 | 32 |
  | `--num-workers NUM` | 预处理线程数 | 4 |
  | `--dtype TYPE` | 数据类型:float16 或 float32 | float16 |
  | `--model-name NAME` | 模型名称 | CN-CLIP/ViT-L-14-336 |
  | `--replicas NUM` | 副本数 | 1 |
40f1e391   tangwang   cnclip
63
64
65
66
67
68
69
70
71
72
  
  ### 示例
  
  ```bash
  # 使用默认配置启动
  ./scripts/start_cnclip_service.sh
  
  # 指定端口和设备
  ./scripts/start_cnclip_service.sh --port 52000 --device cpu
  
74cca190   tangwang   cnclip
73
74
  # 使用其他模型
  ./scripts/start_cnclip_service.sh --model-name CN-CLIP/ViT-H-14
40f1e391   tangwang   cnclip
75
76
  ```
  
74cca190   tangwang   cnclip
77
  ### 停止服务
40f1e391   tangwang   cnclip
78
79
80
81
82
  
  ```bash
  ./scripts/stop_cnclip_service.sh
  ```
  
74cca190   tangwang   cnclip
83
  ## API 接口说明
40f1e391   tangwang   cnclip
84
  
74cca190   tangwang   cnclip
85
  ### Python 客户端
40f1e391   tangwang   cnclip
86
  
74cca190   tangwang   cnclip
87
  服务使用 gRPC 协议,必须使用 Python 客户端:
40f1e391   tangwang   cnclip
88
  
74cca190   tangwang   cnclip
89
90
  ```python
  from clip_client import Client
40f1e391   tangwang   cnclip
91
  
74cca190   tangwang   cnclip
92
93
  # 创建客户端(使用 grpc:// 协议)
  c = Client('grpc://localhost:51000')
40f1e391   tangwang   cnclip
94
95
  ```
  
74cca190   tangwang   cnclip
96
  ### 编码接口
40f1e391   tangwang   cnclip
97
  
74cca190   tangwang   cnclip
98
  #### 1. 文本编码
40f1e391   tangwang   cnclip
99
  
74cca190   tangwang   cnclip
100
101
  ```python
  from clip_client import Client
40f1e391   tangwang   cnclip
102
  
74cca190   tangwang   cnclip
103
104
105
106
107
  c = Client('grpc://localhost:51000')
  
  # 编码单个文本
  result = c.encode(['这是测试文本'])
  print(result.shape)  # (1, 1024)
40f1e391   tangwang   cnclip
108
  
74cca190   tangwang   cnclip
109
110
111
  # 编码多个文本
  result = c.encode(['文本1', '文本2', '文本3'])
  print(result.shape)  # (3, 1024)
40f1e391   tangwang   cnclip
112
113
  ```
  
74cca190   tangwang   cnclip
114
  #### 2. 图像编码
40f1e391   tangwang   cnclip
115
  
74cca190   tangwang   cnclip
116
117
118
119
  ```python
  # 编码远程图像 URL
  result = c.encode(['https://oss.essa.cn/98532128-cf8e-456c-9e30-6f2a5ea0c19f.jpg'])
  print(result.shape)  # (1, 1024)
40f1e391   tangwang   cnclip
120
  
74cca190   tangwang   cnclip
121
122
123
  # 编码本地图像文件
  result = c.encode(['/path/to/image.jpg'])
  print(result.shape)  # (1, 1024)
40f1e391   tangwang   cnclip
124
125
  ```
  
74cca190   tangwang   cnclip
126
  #### 3. 混合编码
40f1e391   tangwang   cnclip
127
128
  
  ```python
74cca190   tangwang   cnclip
129
130
131
132
133
134
135
136
  # 同时编码文本和图像
  result = c.encode([
      '这是文本',
      'https://oss.essa.cn/98532128-cf8e-456c-9e30-6f2a5ea0c19f.jpg',
      '另一个文本'
  ])
  print(result.shape)  # (3, 1024)
  ```
40f1e391   tangwang   cnclip
137
  
74cca190   tangwang   cnclip
138
  ### 返回格式
40f1e391   tangwang   cnclip
139
  
74cca190   tangwang   cnclip
140
141
142
143
  - **类型**: `numpy.ndarray`
  - **形状**: `(N, 1024)`,其中 N 是输入数量
  - **数据类型**: `float32`
  - **维度**: 1024(CN-CLIP 模型的 embedding 维度)
40f1e391   tangwang   cnclip
144
  
74cca190   tangwang   cnclip
145
  ### 支持的模型
40f1e391   tangwang   cnclip
146
  
74cca190   tangwang   cnclip
147
148
149
150
151
152
153
154
155
156
157
158
159
160
  | 模型名称 | 说明 | 推荐场景 |
  |---------|------|---------|
  | `CN-CLIP/ViT-B-16` | 基础版本,速度快 | 对速度要求高的场景 |
  | `CN-CLIP/ViT-L-14` | 平衡版本 | 通用场景 |
  | `CN-CLIP/ViT-L-14-336` | 高分辨率版本(默认) | 需要处理高分辨率图像 |
  | `CN-CLIP/ViT-H-14` | 大型版本,精度高 | 对精度要求高的场景 |
  | `CN-CLIP/RN50` | ResNet-50 版本 | 兼容性场景 |
  
  ## 测试
  
  运行测试脚本:
  
  ```bash
  ./scripts/test_cnclip_service.sh
40f1e391   tangwang   cnclip
161
162
  ```
  
74cca190   tangwang   cnclip
163
164
165
166
  测试脚本会验证:
  - 文本编码功能
  - 图像编码功能(远程 URL)
  - 混合编码功能
40f1e391   tangwang   cnclip
167
  
74cca190   tangwang   cnclip
168
  每个测试会显示 embedding 的维度和前 20 个数字。
40f1e391   tangwang   cnclip
169
170
171
172
  
  ## 查看日志
  
  ```bash
a7920e17   tangwang   项目名称和部署路径修改
173
  tail -f /data/tw/saas-search/logs/cnclip_service.log
40f1e391   tangwang   cnclip
174
175
176
177
  ```
  
  ## 常见问题
  
74cca190   tangwang   cnclip
178
  ### 1. 服务启动失败
40f1e391   tangwang   cnclip
179
  
74cca190   tangwang   cnclip
180
181
182
  - 检查端口是否被占用:`lsof -i :51000`
  - 检查 conda 环境是否正确激活
  - 查看日志文件获取详细错误信息
40f1e391   tangwang   cnclip
183
  
74cca190   tangwang   cnclip
184
  ### 2. 客户端连接失败
40f1e391   tangwang   cnclip
185
  
74cca190   tangwang   cnclip
186
  确保使用正确的协议:
40f1e391   tangwang   cnclip
187
188
  
  ```python
74cca190   tangwang   cnclip
189
  # 正确:使用 grpc://
40f1e391   tangwang   cnclip
190
  c = Client('grpc://localhost:51000')
74cca190   tangwang   cnclip
191
192
193
  
  # 错误:不要使用 http://
  # c = Client('http://localhost:51000')  # 会失败
40f1e391   tangwang   cnclip
194
195
  ```
  
74cca190   tangwang   cnclip
196
197
198
199
200
201
202
  ### 3. 编码失败
  
  - 检查服务是否正常运行
  - 检查输入格式是否正确
  - 查看服务日志排查错误
  
  ### 4. 依赖安装
40f1e391   tangwang   cnclip
203
  
74cca190   tangwang   cnclip
204
  确保已安装必要的依赖:
40f1e391   tangwang   cnclip
205
  
74cca190   tangwang   cnclip
206
207
208
  ```bash
  pip install clip-client
  ```
40f1e391   tangwang   cnclip
209
  
74cca190   tangwang   cnclip
210
  服务端依赖会在启动脚本中自动检查。