ai-saas / saas-search

10 Mar, 2026

1 commit

ff9efda0 suggest Browse File »

tangwang
2026-03-10 20:14:55 +0800

05 Mar, 2026

1 commit

648cb4c2 ES docs Browse File »

tangwang
2026-03-05 23:12:27 +0800

02 Mar, 2026

3 commits

316c97c4 feat: 完整落地多租户 suggestion 能力 ... Browse File »

- 新增 suggestion 模块（mapping/builder/service），支持按租户构建 `search_suggestions_tenant_{tenant_id}` 索引
- 新增 `main.py build-suggestions` CLI 与 `scripts/build_suggestions.sh`，支持基于商品 title/qanchors 与近 365 天搜索日志的全量构建
- 实现 `/search/suggestions` 接口（多语言 + 结果直达），并接入前端自动补全使用新的后端 API
- 为 suggestion 增加 `README` / `RUNBOOK` / `TROUBLESHOOTING` 文档，更新搜索 API 对接指南与速查表
- 补充 `tests/test_suggestions.py` 单元测试，覆盖语言解析和 SuggestionService 查询流程

Made-with: Cursor

2026-03-02 22:21:19 +0800

ded6f29e 补充suggestion模块 ... Browse File »

- 新增 `suggestion` 模块：
  - `suggestion/mapping.py`：`search_suggestions` mapping 生成（多语言 `completion` + `search_as_you_type`）
  - `suggestion/builder.py`：全量构建程序（扫描 `search_products` 的 `title/qanchors` + MySQL `shoplazza_search_log`）
  - `suggestion/service.py`：在线查询服务（suggestion 检索 + 结果直达商品二次查询）
  - `suggestion/__init__.py`

- 接入 API 服务初始化：
  - `api/app.py` 新增 `SuggestionService` 初始化和 `get_suggestion_service()`

- 接口实现：
  - `api/routes/search.py` 的 `GET /search/suggestions` 从“空框架”改为真实调用
  - 支持参数：
    - `q`, `size`, `language`
    - `with_results`（是否直达商品）
    - `result_size`（每条 suggestion 商品数）
    - `debug`
  - 继续要求 `X-Tenant-ID`（或 query 的 `tenant_id`）

- 模型补充：
  - `api/models.py` 增加 suggestion 请求/响应字段（`language`, `resolved_language`, `with_results`, `result_size`）

- CLI 全量构建命令：
  - `main.py` 新增 `build-suggestions`
  - 使用方式：
    - `python main.py build-suggestions --tenant-id 1 --recreate`
    - 可选：`--days 30 --batch-size 500 --min-query-len 1 --es-host ...`

---

 关键实现逻辑（已编码）

- 语言归属优先级（按你要求）：
  - `shoplazza_search_log.language` > `request_params.language` > 脚本/模型兜底
- 候选词聚合键：
  - `(tenant_id, lang, text_norm)`（文档唯一）
- 评分：
  - 基于 `query_count_30d/7d + qanchor_doc_count + title_doc_count` 的离线分
- 结果直达：
  - 对每条 suggestion 在 `search_products_tenant_{id}` 做二次查询（`qanchors/title` 组合）

---

 变更文件

- `api/app.py`
- `api/models.py`
- `api/routes/search.py`
- `main.py`
- `suggestion/__init__.py`
- `suggestion/mapping.py`
- `suggestion/builder.py`
- `suggestion/service.py`

2026-03-02 20:35:05 +0800

89638140 重构 indexer 文档构建接口与测试示例 ... Browse Dir »

- 新增 /indexer/build-docs 与 /indexer/build-docs-from-db 接口：前者接收上游传入的 SPU/SKU/Option 原始行数据构建 ES doc（不写 ES），后者在测试场景下基于 tenant_id+spu_ids 内部查库并复用同一套文档构建逻辑
- 调整增量与全量索引 SQL 与聚合逻辑：移除 shoplazza_product_spu.compare_at_price 读取，统一从 SKU 表聚合最大 compare_at_price，修复 1054 列不存在错误，保证 ES 字段 compare_at_price 来源与索引字段说明v2 保持一致
- 更新 SPUDocumentTransformer：完善价格区间计算、compare_at_price 聚合以及多语言字段输出，确保输出结构与 mappings/search_products.json、Java 侧 ProductIndexDocument 完全对齐
- 为 indexer 模块补充 README 与 prompts：系统化说明 Java 调度 + Python 富化的职责划分、翻译缓存方案（Redis translation:{tenant_id}:{target_lang}:{md5(text)}）以及 HTTP 接口使用方式
- 更新顶层 README、搜索API对接指南与测试Pipeline说明：增加关于 indexer 专用服务（serve-indexer, 端口6004）、正式文档构建接口以及手动链路验证（MySQL → build-docs → ES 查询对比）的说明
- 清理并修正 ES 诊断脚本 docs/常用查询 - ES.md：统一改为 per-tenant 索引 search_products_tenant_{tenant_id}，修正过期字段名（keywords 等）和分面聚合字段（去掉 .keyword，使用当前 mapping 中的字段）

Made-with: Cursor

2026-03-02 19:00:34 +0800

27 Jan, 2026

1 commit

038e4e2f refactor(i18n): translate_to_en/zh 改为可配置 index_languages，默认 [en,zh] ... Browse Dir »

- config: 新增 SUPPORTED_INDEX_LANGUAGES（38 种语言）、DEFAULT_INDEX_LANGUAGES、
  normalize_index_languages、resolve_index_languages；get_tenant_config 统一注入 index_languages
- config.yaml: 租户配置改用 index_languages，默认 [en,zh]，保留 translate_to_* 兼容解析
- query/translator: translate_for_indexing 改为接收 index_languages，返回多语言 Dict
- query/query_parser: 翻译目标从 index_languages 解析，need_wait_translation 按 index_langs 判断
- search/searcher: enable_translation 改为基于 index_languages 是否非空
- indexer: document_transformer 按 index_languages 填多语言字段；indexing_utils 仅多语言时初始化翻译器
- tests: 租户配置与索引测试改为断言 index_languages
- README: 更新 TODO 说明已支持 index_languages

2026-01-27 16:51:35 +0800

06 Jan, 2026

2 commits

d7d48f52 改动（mapping + 灌入结构） ... Browse Dir »

mappings/search_products.json：把原来的 title_zh/title_en/brief_zh/... 改成 按语言 key 的对象结构（ /products/_doc/1 { "title": {"en":...} } ）
同时在这些字段下 预置了全部 analyzer 语言:
arabic, armenian, basque, brazilian, bulgarian, catalan, chinese, cjk, czech, danish, dutch, english, finnish, french, galician, german, greek, hindi, hungarian, indonesian, italian, norwegian, persian, portuguese, romanian, russian, spanish, swedish, turkish, thai

实现为 type: object + properties，同时满足“按语言灌入”和“按语言 analyzer”。
索引灌入（全量/增量/transformer）已同步改完
indexer/document_transformer.py：输出从 title_zh/title_en/... 改为：
title: {<primary_lang>: 原文, en?: 翻译, zh?: 翻译}
brief/description/vendor 同理
category_path/category_name_text 也改为语言对象（避免查询侧继续依赖旧字段）
indexer/incremental_service.py：embedding 取值从 title_en/title_zh 改为从 title 对象里优先取 en，否则取 zh，否则取任一可用语言。
查询侧与配置、API/文档已同步
search/es_query_builder.py：查询字段统一改成点路径：title.zh / title.en / vendor.zh / vendor.zh.keyword / category_name_text.zh 等。
config/config.yaml：field boosts / indexes 里的字段名同步为新点路径。
API & formatter：
api/result_formatter.py 已支持新结构（并保留对旧 *_zh/_en 的兼容兜底）。
api/models.py、相关 docs/examples 里的 vendor_zh.keyword 等已更新为 vendor.zh.keyword。
文档/脚本：docs/、README.md、scripts/ 里所有旧字段名引用已批量替换为新结构。

2026-01-06 19:42:20 +0800

62b7972c docs Browse Dir »

tangwang
2026-01-06 10:28:39 +0800

04 Jan, 2026

1 commit

472cca0c doc Browse Dir »

tangwang
2026-01-04 18:15:10 +0800

31 Dec, 2025

1 commit

768ad710 MySQL到ES字段映射说明-业务版.md Browse Dir »

tangwang
2025-12-31 16:58:16 +0800

22 Dec, 2025

2 commits

7bfb9946 向量化模块 Browse Dir »

tangwang
2025-12-22 14:25:15 +0800
9c712e64 增加索引字段qanchors keywords Browse Dir »

tangwang
2025-12-22 12:32:06 +0800

18 Dec, 2025

1 commit

148ab60d docs Browse Dir »

tangwang
2025-12-18 08:45:35 +0800

17 Dec, 2025

1 commit

f3c11fef 亚马逊格式数据导入店匠 Browse Dir »

tangwang
2025-12-17 14:28:06 +0800

16 Dec, 2025

1 commit

19d2d90f 卖家精灵数据 Browse Dir »

tangwang
2025-12-16 22:30:58 +0800

02 Dec, 2025

1 commit

33839b37 属性值参与搜索： ... Browse Dir »

1. 加了一个配置searchable_option_dimensions，功能是配置子sku的option1_value option2_value option3_value 哪些参与检索（进索引、以及在线搜索的时候将对应字段纳入搜索field）。格式为list，选择三者中的一个或多个。

2. 索引 @mappings/search_products.json 要加3个字段 option1_values option2_values option3_values，各自的 数据灌入（mysql->ES）的模块也要修改，这个字段是对子sku的option1_value option2_value option3_value分别提取去抽后得到的list。
searchable_option_dimensions 中配置的，才进索引，比如 searchable_option_dimensions = ['option1'] 则 只对option1提取属性值去重组织list进入索引，其余两个字段为空

3. 在线 对应的将 searchable_option_dimensions 中 对应的索引字段纳入 multi_match 的 fields，权重设为0.5 （各个字段的权重配置放到一起集中管理）

1. 配置文件改动 (config/config.yaml)
✅ 在 spu_config 中添加了 searchable_option_dimensions 配置项，默认值为 ['option1', 'option2', 'option3']
✅ 添加了3个新字段定义：option1_values, option2_values, option3_values，类型为 KEYWORD，权重为 0.5
✅ 在 default 索引域的 fields 列表中添加了这3个字段，使其参与搜索
2. ES索引Mapping改动 (mappings/search_products.json)
✅ 添加了3个新字段：option1_values, option2_values, option3_values，类型为 keyword
3. 配置加载器改动 (config/config_loader.py)
✅ 在 SPUConfig 类中添加了 searchable_option_dimensions 字段
✅ 更新了配置解析逻辑，支持读取 searchable_option_dimensions
✅ 更新了配置转换为字典的逻辑
4. 数据灌入改动 (indexer/spu_transformer.py)
✅ 在初始化时加载配置，获取 searchable_option_dimensions
✅ 在 _transform_spu_to_doc 方法中添加逻辑：
从所有子SKU中提取 option1, option2, option3 值
去重后存入 option1_values, option2_values, option3_values
根据配置决定哪些字段实际写入数据（未配置的字段写空数组）

=

2025-12-02 18:35:50 +0800

29 Nov, 2025

1 commit

a10a89a3 构造测试数据用于测试分类和三种属性的分面。 Browse Dir »

tangwang
2025-11-29 09:53:31 +0800

28 Nov, 2025

1 commit

acf1349c fake 批量导入数据的脚步（多款式 ) ... Browse Dir »

脚本：scripts/csv_to_excel_multi_variant.py

主要功能：
单一款式商品（S 类型）- 30%
商品属性为 S
不填写 option1/option2/option3
包含所有商品信息（标题、描述、价格、库存等）
多款式商品（M+P 类型）- 70%
M 行（商品主体）：
商品属性为 M
填写商品主体信息（标题、描述、SEO、分类等）
option1="color", option2="size", option3="material"
不填写价格、库存、SKU 等子款式信息
P 行（子款式）：
商品属性为 P
商品标题与 M 行一致
option1/2/3 填写具体值（color、size、material 的笛卡尔积）
每个 SKU 有独立的价格、库存、SKU 编码等
多款式商品生成规则：
Color（颜色）：从 color1 到 color30 中随机选择 2-10 个
Size（尺寸）：从 1-30 中随机选择 4-8 个
Material（材质）：从商品标题按空格分割后的最后一个字符串提取（去掉特殊字符）
笛卡尔积：生成所有组合的 P 行（例如：3 个颜色 × 5 个尺寸 × 1 个材质 = 15 个 SKU）

2025-11-28 13:33:20 +0800

27 Nov, 2025

1 commit

f7d3cf70 更新文档 ... Browse Dir »

1. 搜索API对接指南.md
在“精确匹配过滤器”部分添加了 specifications 嵌套过滤说明
支持单个规格过滤和多个规格过滤（OR 逻辑）
在“分面配置”部分完善了 specifications 分面说明
添加了两种分面模式：所有规格名称和指定规格名称
在“常见场景示例”部分添加了场景5-8，包含规格过滤和分面的完整示例
2. 搜索API速查表.md
在“精确匹配过滤”部分添加了 specifications 过滤的快速参考
在“分面搜索”部分添加了 specifications 分面的快速参考
更新了完整示例，包含 specifications 的使用
3. Search-API-Examples.md
在“过滤器使用”部分添加了示例4-6，展示 specifications 过滤
在“分面搜索”部分添加了示例2-3，展示 specifications 分面
更新了 Python 和 JavaScript 完整示例，包含 specifications 的使用
在“常见使用场景”部分添加了场景2.1，展示带规格过滤的搜索结果页
4. 索引字段说明v2.md
更新了 specifications 字段的查询示例，包含 API 格式和 ES 查询结构
添加了两种分面模式的说明和示例
更新了“分面字段”说明，明确支持指定规格名称的分面

2025-11-27 11:04:14 +0800