# Redis Key格式问题修复方案

## 🔍 问题诊断

### 发现的问题

经过排查，发现了以下三个关键问题：

1. **Redis Key 格式错误** ❌
   - **实际存储**: `i2i:content_name:*`, `i2i:deepwalk:*`, `i2i:session_w2v:*`
   - **文档定义**: `item:similar:content_name:*`, `item:similar:deepwalk:*`, `item:similar:session_w2v:*`
   - **影响**: 查询 `KEYS item:similar:*` 返回空，因为key前缀不匹配

2. **C++ Swing 未被加载** ❌
   - `collaboration/output/swing_similar.txt` 存在（15,177条记录，6.9MB）
   - 但加载脚本没有处理这个文件
   - 应该存储为: `item:similar:swing_cpp:*`

3. **Python Swing 文件缺失** ⚠️
   - `i2i_swing_20251022.txt` 不存在
   - Python Swing算法可能执行失败

### 数据统计

```
Redis总Key数: 229,710
  ├─ i2i:* (错误格式): 176,150
  ├─ item:similar:* (正确格式): 0
  └─ interest:* (正确格式): 53,560 ✓

C++ Swing输出: 15,177条记录 (未加载)
Interest数据: 53,560条 (已正确加载) ✓
```

**结论**: `interest:*` 有数据是因为它使用了正确的key格式，但 `item:similar:*` 为空是因为数据被错误地存储到了 `i2i:*` 格式。

---

## 🔧 根本原因

### 代码问题定位

**文件**: `scripts/load_index_to_redis.py`

**错误代码** (第100行):
```python
count = load_index_file(
    file_path,
    redis_client,
    f"i2i:{i2i_type}",  # ❌ 错误！
    expire_seconds
)
```

**应该是**:
```python
count = load_index_file(
    file_path,
    redis_client,
    f"item:similar:{i2i_type}",  # ✓ 正确！
    expire_seconds
)
```

**缺失功能**: 没有加载 C++ Swing 的函数

---

## ✅ 修复方案

### 已完成的修复

✅ **1. 修复了 `load_index_to_redis.py`**
   - 修正了key前缀: `i2i:` → `item:similar:`
   - 添加了 `load_cpp_swing_index()` 函数
   - 添加了 `i2i_item_behavior` 到加载列表

✅ **2. 创建了清理脚本 `fix_redis_keys.py`**
   - 清理错误格式的 `i2i:*` key
   - 提供统计信息和确认提示

### 执行步骤

#### 步骤1: 清理错误的Redis Key

```bash
cd /home/tw/recommendation/offline_tasks

# 运行清理脚本
python3 scripts/fix_redis_keys.py
# 输入 'yes' 确认删除错误格式的key
```

#### 步骤2: 重新加载数据（使用output_1022的数据）

```bash
# 方式1: 从output_1022目录加载指定日期的数据
python3 scripts/load_index_to_redis.py \
    --date 20251022 \
    --redis-host localhost \
    --redis-port 6379 \
    --expire-days 7

# 注意：确保output目录指向output_1022，或者临时修改OUTPUT_DIR
```

**或者，更简单的方式**:

```bash
# 创建软链接指向output_1022
cd /home/tw/recommendation/offline_tasks
rm -rf output  # 如果当前output是目录
ln -s output_1022/output output

# 然后正常加载
python3 scripts/load_index_to_redis.py \
    --redis-host localhost \
    --redis-port 6379 \
    --date 20251022
```

#### 步骤3: 验证修复结果

```bash
redis-cli

# 检查key数量
DBSIZE

# 查看正确格式的key
KEYS item:similar:*

# 查看C++ Swing的key（应该有15177个）
KEYS item:similar:swing_cpp:*

# 查看其他i2i算法的key
KEYS item:similar:deepwalk:*
KEYS item:similar:content_name:*
KEYS item:similar:session_w2v:*
KEYS item:similar:item_behavior:*

# 验证interest数据仍然存在
KEYS interest:*

# 测试查询具体的key
GET item:similar:swing_cpp:3600052
GET interest:hot:platform:essabuy
```

**预期结果**:
```
KEYS item:similar:* 返回数量: ~176,000+ (包括C++ Swing的15,177条)
KEYS item:similar:swing_cpp:* 返回数量: 15,177
KEYS item:similar:deepwalk:* 返回数量: ~48,376
KEYS item:similar:content_name:* 返回数量: ~127,720
KEYS interest:* 返回数量: 53,560 (保持不变)
```

---

## 📊 修复后的数据结构

### 正确的Redis Key格式

```
# i2i相似度索引
item:similar:swing_cpp:{item_id}      → C++ Swing结果
item:similar:swing:{item_id}          → Python Swing结果
item:similar:session_w2v:{item_id}    → Session W2V结果
item:similar:deepwalk:{item_id}       → DeepWalk结果
item:similar:content_name:{item_id}   → 内容相似度（名称）
item:similar:content_pic:{item_id}    → 内容相似度（图片）
item:similar:item_behavior:{item_id}  → Item行为相似度

# 兴趣点聚合索引
interest:hot:{dimension_key}          → 热门商品
interest:cart:{dimension_key}         → 加购商品
interest:new:{dimension_key}          → 新品
interest:global:{dimension_key}       → 全局热门
```

### 查询示例

```python
import redis
import json

r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)

# 查询C++ Swing相似商品
similar_items = json.loads(r.get('item:similar:swing_cpp:3600052'))
# 返回: [[2704531, 0.00431593], [2503886, 0.00431593], ...]

# 查询平台热门商品
hot_items = r.get('interest:hot:platform:essabuy')
# 返回: "3090653:70.0000,3509349:70.0000,..."
```

---

## 🚨 Python Swing 问题

### 问题描述
`i2i_swing_20251022.txt` 文件不存在，说明Python Swing算法没有成功执行。

### 可能原因
1. 算法执行失败（内存不足、超时等）
2. Session数据问题
3. 参数配置问题

### 排查步骤

```bash
# 查看Python Swing的日志
cat /home/tw/recommendation/offline_tasks/output_1022/logs/debug/i2i_swing*.log

# 检查session文件
ls -lh /home/tw/recommendation/offline_tasks/output_1022/output/session.txt.*

# 手动运行Python Swing测试
cd /home/tw/recommendation/offline_tasks
python3 scripts/i2i_swing.py --lookback_days 30 --top_n 10 --debug
```

### 临时解决方案
由于C++ Swing已经生成且性能更好，可以暂时只使用C++ Swing的结果：
- C++ Swing: `item:similar:swing_cpp:*` (15,177条记录)
- 文档推荐在生产环境使用C++ Swing

---

## 📝 后续改进建议

### 1. 代码改进
- ✅ 已修复key格式问题
- ✅ 已添加C++ Swing加载功能
- 建议: 添加单元测试验证key格式

### 2. 文档更新
- 更新 `Redis数据规范.md` 中的加载示例代码
- 添加故障排查指南
- 标注C++ Swing为生产推荐

### 3. 监控告警
- 添加Redis key格式验证
- 监控各类索引的数量
- Python Swing执行失败时告警

### 4. 自动化测试
```python
# 建议添加测试用例
def test_redis_key_format():
    """测试Redis key格式是否正确"""
    keys = redis_client.keys('item:similar:*')
    assert len(keys) > 0, "item:similar:* should not be empty"
    
    # 确保没有错误格式的key
    wrong_keys = redis_client.keys('i2i:*')
    assert len(wrong_keys) == 0, f"Found wrong format keys: {wrong_keys[:5]}"
```

---

## 🎯 总结

### 问题根源
加载脚本使用了错误的Redis key前缀 `i2i:*` 而不是文档定义的 `item:similar:*`

### 解决方案
1. ✅ 修复了 `load_index_to_redis.py` 的key前缀
2. ✅ 添加了C++ Swing加载功能
3. ✅ 创建了清理脚本清理错误的key
4. ⏳ 需要重新加载数据

### 后续行动
1. 执行 `fix_redis_keys.py` 清理错误的key
2. 重新运行 `load_index_to_redis.py` 加载数据
3. 验证所有 `item:similar:*` key都能正常查询
4. 排查Python Swing执行失败的原因

---

**创建时间**: 2025-10-22  
**版本**: v1.0  
**状态**: ✅ 修复方案已就绪，等待执行