ai-saas / saas-search

Blame view

docs/TODO.txt 2.42 KB
Edit Raw Normal View History
0e66a315   tangwang   docs 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
  
  
  AI - 生产 - MySQL
  HOST：10.200.16.14 / localhost
  端口：3316
  用户名：root
  密码：qY8tgodLoA&KT#yQ
  
  AI - 生产 - Redis
  HOST：10.200.16.14 / localhost
  端口：6479
  密码：dxEkegEZ@C5SXWKv
  
  
  远程登录方式：
  # redis
  redis-cli -h 43.166.252.75 -p 6479
  
  # mysql 3个用户，都可以远程登录
  mysql -uroot -p'qY8tgodLoA&KT#yQ'
  CREATE USER 'saas'@'%' IDENTIFIED BY '6dlpco6dVGuqzt^l';
  CREATE USER 'sa'@'%' IDENTIFIED BY 'C#HU!GPps7ck8tsM';
  
  
  
  ES：
  HOST：10.200.16.14 / localhost
  端口：9200
  访问示例：
  用户名密码：saas:4hOaLaf41y2VuI8y
  
  
  你安装过nvidia-container-toolkit吗
  现在有一些开源的推理引擎对向量化模型和重排模型支持的比较好，我们这块也正好要单独拎出来，因此想改造下。
950a640e   tangwang   embeddings 
35
36
37
 
  已决策：embedding 先统一为 Qwen3-Embedding-0.6B（Sentence Transformers，本地 6005），后续若要独立高并发服务优先评估 TEI。
  最好以 docker 方式部署，让 gpu 对 docker 可见需要 nvidia-container-toolkit，
  我试了多种方法安装 nvidia-container-toolkit 都失败了
0e66a315   tangwang   docs 
38
39
40
41
 
  https://mirrors.aliyun.com/github/releases/NVIDIA/nvidia-container-toolkit/
  https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/index.html
0e66a315   tangwang   docs 
42
43
44
 
  qwen3-embedding
  qwen3-reranker
950a640e   tangwang   embeddings 
45
46
 
  选一个推理引擎，相比于我自己直接调 sentence-transformers，主要是多进程和负载均衡、连续批处理，比较有用
  当前结论：embedding 场景优先 TEI；vLLM 更偏向生成式与 rerank 场景。
0e66a315   tangwang   docs 
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
 
  
  
  
  
  
  
  混用 大模型 使用：hunyuan-turbos-latest
  混元 OpenAI 兼容接口相关调用示例：https://cloud.tencent.com/document/product/1729/111007
  
  
  腾讯云 混元大模型 API_KEY：sk-mN2PiW2gp57B3ykxGs4QhvYxhPzXRZ2bcR5kPqadjboGYwiz
  
  hunyuan翻译：使用模型  hunyuan-translation
  https://cloud.tencent.com/document/product/1729/113395#4.-.E7.A4.BA.E4.BE.8B
  
  
  
  谷歌翻译 基础版：https://docs.cloud.google.com/translate/docs/reference/rest/v2/translate
  
  
  
  阿里云 百炼模型 现在使用的apikey是国内的。
  各地域的 Base URL 和对应的 API Key 是绑定的。
  
  现在使用了美国的服务器，使用了美国的地址，需要在 美国地域控制台页面（https://modelstudio.console.aliyun.com/us-east-1 ）中创建或获取API_KEY：
  
  登录 百炼美国地域控制台:https://modelstudio.console.aliyun.com/us-east-1?spm=5176.2020520104.0.0.6b383a98WjpXff
  在 API Key 管理 中创建或复制一个适用于美国地域的 Key