tangwang / SearchEngine

19 Dec, 2025

1 commit

  • d6606d7a   清理旧代码，具体如下： ... Browse File » 
    1. 删除 IndexingPipeline 类
文件：indexer/bulk_indexer.py
删除：IndexingPipeline 类（第201-259行）
删除：不再需要的 load_mapping 导入
2. 删除 main.py 中的旧代码
删除：cmd_ingest() 函数（整个函数）
删除：ingest 子命令定义
删除：main() 中对 ingest 命令的处理
删除：不再需要的 pandas 导入
更新：文档字符串，移除 ingest 命令说明
3. 删除旧的数据导入脚本
删除：data/customer1/ingest_customer1.py（依赖已废弃的 DataTransformer 和 IndexingPipeline）
    tangwang
     

25 Nov, 2025

1 commit

  • 59b0a342   创建手写 mapping JSON ... Browse File » 
    mappings/search_products.json - 完整的ES索引配置（settings + mappings）
基于 docs/索引字段说明v2-mapping结构.md
简化 mapping_generator.py
移除所有config依赖
直接使用 load_mapping() 从JSON文件加载
保留工具函数：create_index_if_not_exists, delete_index_if_exists, update_mapping
更新数据导入脚本
scripts/ingest_shoplazza.py - 移除ConfigLoader依赖
直接使用 load_mapping() 和 DEFAULT_INDEX_NAME
更新indexer模块
indexer/__init__.py - 更新导出
indexer/bulk_indexer.py - 简化IndexingPipeline，移除config依赖
创建查询配置常量
search/query_config.py - 硬编码字段列表和配置项

使用方式
创建索引：
from indexer.mapping_generator import load_mapping, create_index_if_not_existsfrom utils.es_client import ESClientes_client = ESClient(hosts=["http://localhost:9200"])mapping = load_mapping()create_index_if_not_exists(es_client, "search_products", mapping)
数据导入：
python scripts/ingest_shoplazza.py \    --db-host localhost \    --db-database saas \    --db-username root \    --db-password password \    --tenant-id "1" \    --es-host http://localhost:9200 \    --recreate

注意事项
修改mapping：直接编辑 mappings/search_products.json
字段映射：spu_transformer.py 中硬编码，与mapping保持一致
config目录：保留但不再使用，可后续清理
search模块：仍依赖config
    tangwang
     

14 Nov, 2025

1 commit

13 Nov, 2025

1 commit

08 Nov, 2025

1 commit