20 Mar, 2026
1 commit
10 Mar, 2026
1 commit
06 Mar, 2026
1 commit
02 Mar, 2026
1 commit
-
- 新增 /indexer/build-docs 与 /indexer/build-docs-from-db 接口：前者接收上游传入的 SPU/SKU/Option 原始行数据构建 ES doc（不写 ES），后者在测试场景下基于 tenant_id+spu_ids 内部查库并复用同一套文档构建逻辑 - 调整增量与全量索引 SQL 与聚合逻辑：移除 shoplazza_product_spu.compare_at_price 读取，统一从 SKU 表聚合最大 compare_at_price，修复 1054 列不存在错误，保证 ES 字段 compare_at_price 来源与索引字段说明v2 保持一致 - 更新 SPUDocumentTransformer：完善价格区间计算、compare_at_price 聚合以及多语言字段输出，确保输出结构与 mappings/search_products.json、Java 侧 ProductIndexDocument 完全对齐 - 为 indexer 模块补充 README 与 prompts：系统化说明 Java 调度 + Python 富化的职责划分、翻译缓存方案（Redis translation:{tenant_id}:{target_lang}:{md5(text)}）以及 HTTP 接口使用方式 - 更新顶层 README、搜索API对接指南与测试Pipeline说明：增加关于 indexer 专用服务（serve-indexer, 端口6004）、正式文档构建接口以及手动链路验证（MySQL → build-docs → ES 查询对比）的说明 - 清理并修正 ES 诊断脚本 docs/常用查询 - ES.md：统一改为 per-tenant 索引 search_products_tenant_{tenant_id}，修正过期字段名（keywords 等）和分面聚合字段（去掉 .keyword，使用当前 mapping 中的字段） Made-with: Cursor
06 Feb, 2026
1 commit
-
--- 1. `search/es_query_builder.py`：`_all` 分支 - **普通字段**（如 `tags_all`, `category1_name_all`）： - 键以 `_all` 结尾时，先去掉后缀得到 ES 字段名。 - 若值为**数组**：生成 `bool.must`，内含多个 `term`，即多值 **AND**。 - 若值为**单值**：生成一个 `term`。 - **specifications_all**： - 值为 `[{name, value}, ...]` 时，为每一项生成一个 nested 查询，全部放入同一个 `bool.must`，即列表内所有规格条件都要满足（AND）。 原有逻辑不变：不带 `_all` 的字段，数组仍为 OR（`terms`），单值仍为 `term`。 2. `api/models.py`：filters 说明 - 在 `filters` 的 `description` 中补充： - 字段名加 `_all` 表示 AND（如 `tags_all: ['A','B']` 表示同时包含 A 和 B）。 - `specifications_all` 表示列表内所有规格条件都要满足。 3. `docs/搜索API对接指南.md`：文档 - 在 3.3.1 开头说明：任意字段名可加 `_all` 后缀表示多值 AND。 - 在格式示例中增加 `tags_all`、`category1_name_all` 示例。 - 在「支持的值类型」中说明：数组在带 `_all` 时为 AND。 - 新增小节「`*_all` 语义（多值 AND）」：说明用法及 `specifications_all` 行为。 - 在「常用过滤字段」中补充：以上字段均可加 `_all` 后缀。 --- **使用示例** ```json { "filters": { "tags": ["手机", "促销"], "tags_all": ["手机", "促销", "新品"] } } ``` - `tags`：命中「手机」或「促销」或两者都有（OR）。 - `tags_all`：必须同时包含「手机」「促销」「新品」三个标签（AND）。
06 Jan, 2026
2 commits
-
mappings/search_products.json：把原来的 title_zh/title_en/brief_zh/... 改成 按语言 key 的对象结构（ /products/_doc/1 { "title": {"en":...} } ） 同时在这些字段下 预置了全部 analyzer 语言: arabic, armenian, basque, brazilian, bulgarian, catalan, chinese, cjk, czech, danish, dutch, english, finnish, french, galician, german, greek, hindi, hungarian, indonesian, italian, norwegian, persian, portuguese, romanian, russian, spanish, swedish, turkish, thai 实现为 type: object + properties，同时满足“按语言灌入”和“按语言 analyzer”。 索引灌入（全量/增量/transformer）已同步改完 indexer/document_transformer.py：输出从 title_zh/title_en/... 改为： title: {<primary_lang>: 原文, en?: 翻译, zh?: 翻译} brief/description/vendor 同理 category_path/category_name_text 也改为语言对象（避免查询侧继续依赖旧字段） indexer/incremental_service.py：embedding 取值从 title_en/title_zh 改为从 title 对象里优先取 en，否则取 zh，否则取任一可用语言。 查询侧与配置、API/文档已同步 search/es_query_builder.py：查询字段统一改成点路径：title.zh / title.en / vendor.zh / vendor.zh.keyword / category_name_text.zh 等。 config/config.yaml：field boosts / indexes 里的字段名同步为新点路径。 API & formatter： api/result_formatter.py 已支持新结构（并保留对旧 *_zh/_en 的兼容兜底）。 api/models.py、相关 docs/examples 里的 vendor_zh.keyword 等已更新为 vendor.zh.keyword。 文档/脚本：docs/、README.md、scripts/ 里所有旧字段名引用已批量替换为新结构。
04 Jan, 2026
1 commit
20 Dec, 2025
1 commit
19 Dec, 2025
2 commits
-
1. 删除 IndexingPipeline 类 文件：indexer/bulk_indexer.py 删除：IndexingPipeline 类（第201-259行） 删除：不再需要的 load_mapping 导入 2. 删除 main.py 中的旧代码 删除：cmd_ingest() 函数（整个函数） 删除：ingest 子命令定义 删除：main() 中对 ingest 命令的处理 删除：不再需要的 pandas 导入 更新：文档字符串，移除 ingest 命令说明 3. 删除旧的数据导入脚本 删除：data/customer1/ingest_customer1.py（依赖已废弃的 DataTransformer 和 IndexingPipeline）
02 Dec, 2025
2 commits
-
1. 加了一个配置searchable_option_dimensions，功能是配置子sku的option1_value option2_value option3_value 哪些参与检索（进索引、以及在线搜索的时候将对应字段纳入搜索field）。格式为list，选择三者中的一个或多个。 2. 索引 @mappings/search_products.json 要加3个字段 option1_values option2_values option3_values，各自的 数据灌入（mysql->ES）的模块也要修改，这个字段是对子sku的option1_value option2_value option3_value分别提取去抽后得到的list。 searchable_option_dimensions 中配置的，才进索引，比如 searchable_option_dimensions = ['option1'] 则 只对option1提取属性值去重组织list进入索引，其余两个字段为空 3. 在线 对应的将 searchable_option_dimensions 中 对应的索引字段纳入 multi_match 的 fields，权重设为0.5 （各个字段的权重配置放到一起集中管理） 1. 配置文件改动 (config/config.yaml) ✅ 在 spu_config 中添加了 searchable_option_dimensions 配置项，默认值为 ['option1', 'option2', 'option3'] ✅ 添加了3个新字段定义：option1_values, option2_values, option3_values，类型为 KEYWORD，权重为 0.5 ✅ 在 default 索引域的 fields 列表中添加了这3个字段，使其参与搜索 2. ES索引Mapping改动 (mappings/search_products.json) ✅ 添加了3个新字段：option1_values, option2_values, option3_values，类型为 keyword 3. 配置加载器改动 (config/config_loader.py) ✅ 在 SPUConfig 类中添加了 searchable_option_dimensions 字段 ✅ 更新了配置解析逻辑，支持读取 searchable_option_dimensions ✅ 更新了配置转换为字典的逻辑 4. 数据灌入改动 (indexer/spu_transformer.py) ✅ 在初始化时加载配置，获取 searchable_option_dimensions ✅ 在 _transform_spu_to_doc 方法中添加逻辑： 从所有子SKU中提取 option1, option2, option3 值 去重后存入 option1_values, option2_values, option3_values 根据配置决定哪些字段实际写入数据（未配置的字段写空数组） =
-
sku_filter_dimension=color sku_filter_dimension=option1 / option2 /option3 以上两种方式都可以
29 Nov, 2025
1 commit