# 分面数据问题诊断和修复指南

## 问题现象

前端显示的分面结果都是空的：
- Category: 空
- Color: 空
- Size: 空
- Material: 空

ES的聚合查询结果也是空的。

## 诊断结果分析

### MySQL数据情况

| 字段/表 | 有数据的数量 | 说明 |
|---------|-------------|------|
| 总SPU数 | 11254 | - |
| category_path有值 | 1个 | 该值是ID列表格式（不是路径格式） |
| category字段 | 需要检查 | 可能是空的 |
| option表记录 | 2658条 | 886个SPU有option定义 |
| position=1, name='color' | 885个SPU | ✅ 数量足够 |
| position=2, name='size' | 885个SPU | ✅ 数量足够 |
| position=3, name='material' | 885个SPU | ✅ 数量足够 |
| 总SKU数 | 43109 | option1/2/3字段需要检查 |

### ES索引数据情况

| 字段 | 有数据的数量 | 说明 |
|------|-------------|------|
| 总文档数 | 10000 | - |
| category1_name有值 | 1个 | 该值是ID列表格式 ❌ |
| specifications聚合查询 | 有数据 | ✅ color/size/material都有数据 |

## 问题根源

### 问题1：category1_name 几乎都为空 ❌

**原因分析**：

1. **MySQL数据层面**：
   - `category_path`字段几乎都是空的（只有1个，且是ID列表格式）
   - 需要检查`category`字段是否有值

2. **数据转换层面**：
   - 原代码只从`category_path`解析`category1_name`
   - 如果`category_path`为空，`category1_name`不会被设置
   - ✅ **已修复**：如果`category_path`为空，使用`category`字段作为备选（`spu_transformer.py`第241-259行）

3. **Excel导入映射**：
   - Excel的"专辑名称"字段可能映射到MySQL的`category`字段
   - 需要确认映射关系

### 问题2：specifications分面查询无结果

**奇怪现象**：
- ES聚合查询（查询所有文档）显示有数据
- 但前端显示为空

**可能原因**：
1. 前端搜索时有查询条件，过滤后没有匹配的文档
2. 分面聚合构建或解析有问题
3. tenant_id不匹配

## 数据流程分析

### 1. Excel生成阶段

**脚本**：`scripts/csv_to_excel_multi_variant.py`

**生成的数据**：
- `'专辑名称': csv_data['categoryName']` - 从CSV的categoryName字段读取
- `'款式1': 'color'`（M行主商品）- 选项名称
- `'款式2': 'size'`（M行主商品）- 选项名称
- `'款式3': 'material'`（M行主商品）- 选项名称
- `'款式1': 'Red'`（P行子款式）- 选项值（从COLORS列表随机选择）
- `'款式2': '5'`（P行子款式）- 选项值（1-30随机选择）
- `'款式3': '塑料'`（P行子款式）- 选项值（从商品标题提取）

### 2. Excel导入店匠 → MySQL

**映射关系**（需要确认）：
- Excel `'专辑名称'` → MySQL `shoplazza_product_spu.category` 或 `category_path`
- Excel `'款式1/2/3'`（M行）→ MySQL `shoplazza_product_option.name` + `position`
- Excel `'款式1/2/3'`（P行）→ MySQL `shoplazza_product_sku.option1/2/3`

**当前情况**：
- ✅ option表有数据：885个SPU有color/size/material选项名称
- ❓ category字段：需要检查是否有值

### 3. MySQL → ES转换

**代码逻辑**（`indexer/spu_transformer.py`）：

1. **category1_name生成**（第228-259行）：
   ```python
   if pd.notna(spu_row.get('category_path')):
       # 从category_path解析
       path_parts = category_path.split('/')
       doc['category1_name'] = path_parts[0].strip()
   elif pd.notna(spu_row.get('category')):
       # 从category字段解析（已修复）
       doc['category1_name'] = category.strip()
   ```

2. **specifications生成**（第351-370行）：
   ```python
   # 从option表获取name映射
   option_name_map = {position: name}
   # 从SKU表获取option值
   if pd.notna(sku_row.get('option1')) and 1 in option_name_map:
       specifications.append({
           'name': option_name_map[1],  # 'color'
           'value': str(sku_row['option1'])  # 'Red'
       })
   ```

## 解决方案

### 步骤1：检查MySQL的category字段

**运行更新后的诊断脚本**：
```bash
cd /home/tw/SearchEngine
source /home/tw/miniconda3/etc/profile.d/conda.sh
conda activate searchengine
python scripts/check_data_source.py --tenant-id 162 --db-host <host> ...
```

**关键检查**：
- `category`字段是否有值
- 如果有值，值的格式是什么（是否包含"/"）

**如果category字段也为空**：
- 说明Excel导入时"专辑名称"没有正确映射到MySQL
- 需要检查店匠系统的字段映射配置

### 步骤2：重新导入数据到ES

**修复代码后，必须重新导入数据才能生效**：
```bash
python scripts/recreate_and_import.py \
    --tenant-id 162 \
    --db-host <host> \
    --db-database saas \
    --db-username saas \
    --db-password <password> \
    --es-host http://localhost:9200
```

### 步骤3：验证ES数据

**运行ES数据检查脚本**：
```bash
python scripts/check_es_data.py --tenant-id 162
```

**检查内容**：
- `category1_name`字段是否有值
- `specifications`字段是否有数据
- 分面聚合查询是否有结果

## 预期结果

修复后，ES文档应该包含：

```json
{
  "spu_id": "123",
  "title_zh": "商品标题",
  "category1_name": "电子产品",  // 从category字段生成
  "specifications": [
    {"sku_id": "456", "name": "color", "value": "Red"},
    {"sku_id": "456", "name": "size", "value": "5"},
    {"sku_id": "456", "name": "material", "value": "塑料"}
  ],
  "option1_name": "color",
  "option2_name": "size",
  "option3_name": "material"
}
```

## 关键检查点

### 1. MySQL数据检查

- [ ] `category`字段是否有值
- [ ] `category_path`字段是否为空
- [ ] `option表`的`name`字段是否是英文（color/size/material）
- [ ] SKU表的`option1/2/3`字段是否有值

### 2. ES数据检查

- [ ] `category1_name`字段是否有值
- [ ] `specifications`字段是否有数据
- [ ] 分面聚合查询是否有结果

### 3. 数据导入验证

- [ ] 重新导入数据后，检查ES文档是否正确
- [ ] 验证分面查询是否能正常返回结果