tangwang / SearchEngine

02 Dec, 2025

2 commits

  • 33839b37   属性值参与搜索： ... Browse File » 
    1. 加了一个配置searchable_option_dimensions，功能是配置子sku的option1_value option2_value option3_value 哪些参与检索（进索引、以及在线搜索的时候将对应字段纳入搜索field）。格式为list，选择三者中的一个或多个。

2. 索引 @mappings/search_products.json 要加3个字段 option1_values option2_values option3_values，各自的 数据灌入（mysql->ES）的模块也要修改，这个字段是对子sku的option1_value option2_value option3_value分别提取去抽后得到的list。
searchable_option_dimensions 中配置的，才进索引，比如 searchable_option_dimensions = ['option1'] 则 只对option1提取属性值去重组织list进入索引，其余两个字段为空

3. 在线 对应的将 searchable_option_dimensions 中 对应的索引字段纳入 multi_match 的 fields，权重设为0.5 （各个字段的权重配置放到一起集中管理）

1. 配置文件改动 (config/config.yaml)
✅ 在 spu_config 中添加了 searchable_option_dimensions 配置项，默认值为 ['option1', 'option2', 'option3']
✅ 添加了3个新字段定义：option1_values, option2_values, option3_values，类型为 KEYWORD，权重为 0.5
✅ 在 default 索引域的 fields 列表中添加了这3个字段，使其参与搜索
2. ES索引Mapping改动 (mappings/search_products.json)
✅ 添加了3个新字段：option1_values, option2_values, option3_values，类型为 keyword
3. 配置加载器改动 (config/config_loader.py)
✅ 在 SPUConfig 类中添加了 searchable_option_dimensions 字段
✅ 更新了配置解析逻辑，支持读取 searchable_option_dimensions
✅ 更新了配置转换为字典的逻辑
4. 数据灌入改动 (indexer/spu_transformer.py)
✅ 在初始化时加载配置，获取 searchable_option_dimensions
✅ 在 _transform_spu_to_doc 方法中添加逻辑：
从所有子SKU中提取 option1, option2, option3 值
去重后存入 option1_values, option2_values, option3_values
根据配置决定哪些字段实际写入数据（未配置的字段写空数组）

=
    tangwang
     
  • 9f96d6f3   短query不用语义搜索 ... Browse File » 
    query config/ranking config优化
    tangwang
     

13 Nov, 2025

1 commit

12 Nov, 2025

1 commit

  • a00c3672   feat: Function Score配置化 - 基于ES原生能力 ... Browse File » 
    核心改动：
1. 配置化打分规则
   - 新增FunctionScoreConfig和RerankConfig配置类
   - 支持filter_weight、field_value_factor、decay三种ES原生function
   - 从代码中移除硬编码的打分逻辑

2. 配置模型定义
   - FunctionScoreConfig: score_mode, boost_mode, functions
   - RerankConfig: enabled, expression（当前禁用）
   - 添加到CustomerConfig中

3. 查询构建器改造
   - MultiLanguageQueryBuilder.init添加function_score_config引用
   - _build_score_functions从配置动态构建ES functions
   - 支持配置的score_mode和boost_mode

4. 配置文件示例
   - 添加完整的function_score配置示例
   - 包含3种function类型的详细注释
   - 提供常见场景的配置模板

5. ES原生能力支持
   - Filter+Weight: 条件匹配提权
   - Field Value Factor: 字段值映射打分
     * modifier支持: none, log, log1p, log2p, ln, ln1p, ln2p, square, sqrt, reciprocal
   - Decay Functions: 衰减函数
     * 支持: gauss, exp, linear

配置示例：
- 7天新品提权（weight: 1.3）
- 30天新品提权（weight: 1.15）
- 有视频提权（weight: 1.05）
- 销量因子（field_value_factor + log1p）
- 时间衰减（gauss decay）

优势：
✓ 配置化 - 客户自己调整，无需改代码
✓ 基于ES原生 - 性能最优，功能完整
✓ 灵活易用 - YAML格式，有示例和注释
✓ 统一约定 - function_score必需，简化设计

参考：https://www.elastic.co/docs/reference/query-languages/query-dsl/query-dsl-function-score-query
    tangwang
     

08 Nov, 2025

1 commit