fix redis data

tangwang
1 parent 6773cdbe
Showing 5 changed files with 419 additions and 4 deletions Show diff stats
offline_tasks/doc/Redis_Key格式问题修复方案.md
offline_tasks/doc/详细设计文档.md
offline_tasks/run.sh
offline_tasks/scripts/fix_redis_keys.py
offline_tasks/scripts/load_index_to_redis.py
@@ -0,0 +1,286 @@
+# Redis Key格式问题修复方案
+
+## 🔍 问题诊断
+
+### 发现的问题
+
+经过排查，发现了以下三个关键问题：
+
+1. **Redis Key 格式错误** ❌
+   - **实际存储**: `i2i:content_name:*`, `i2i:deepwalk:*`, `i2i:session_w2v:*`
+   - **文档定义**: `item:similar:content_name:*`, `item:similar:deepwalk:*`, `item:similar:session_w2v:*`
+   - **影响**: 查询 `KEYS item:similar:*` 返回空，因为key前缀不匹配
+
+2. **C++ Swing 未被加载** ❌
+   - `collaboration/output/swing_similar.txt` 存在（15,177条记录，6.9MB）
+   - 但加载脚本没有处理这个文件
+   - 应该存储为: `item:similar:swing_cpp:*`
+
+3. **Python Swing 文件缺失** ⚠️
+   - `i2i_swing_20251022.txt` 不存在
+   - Python Swing算法可能执行失败
+
+### 数据统计
+
+```
+Redis总Key数: 229,710
+  ├─ i2i:* (错误格式): 176,150
+  ├─ item:similar:* (正确格式): 0
+  └─ interest:* (正确格式): 53,560 ✓
+
+C++ Swing输出: 15,177条记录 (未加载)
+Interest数据: 53,560条 (已正确加载) ✓
+```
+
+**结论**: `interest:*` 有数据是因为它使用了正确的key格式，但 `item:similar:*` 为空是因为数据被错误地存储到了 `i2i:*` 格式。
+
+---
+
+## 🔧 根本原因
+
+### 代码问题定位
+
+**文件**: `scripts/load_index_to_redis.py`
+
+**错误代码** (第100行):
+```python
+count = load_index_file(
+    file_path,
+    redis_client,
+    f"i2i:{i2i_type}",  # ❌ 错误！
+    expire_seconds
+)
+```
+
+**应该是**:
+```python
+count = load_index_file(
+    file_path,
+    redis_client,
+    f"item:similar:{i2i_type}",  # ✓ 正确！
+    expire_seconds
+)
+```
+
+**缺失功能**: 没有加载 C++ Swing 的函数
+
+---
+
+## ✅ 修复方案
+
+### 已完成的修复
+
+✅ **1. 修复了 `load_index_to_redis.py`**
+   - 修正了key前缀: `i2i:` → `item:similar:`
+   - 添加了 `load_cpp_swing_index()` 函数
+   - 添加了 `i2i_item_behavior` 到加载列表
+
+✅ **2. 创建了清理脚本 `fix_redis_keys.py`**
+   - 清理错误格式的 `i2i:*` key
+   - 提供统计信息和确认提示
+
+### 执行步骤
+
+#### 步骤1: 清理错误的Redis Key
+
+```bash
+cd /home/tw/recommendation/offline_tasks
+
+# 运行清理脚本
+python3 scripts/fix_redis_keys.py
+# 输入 'yes' 确认删除错误格式的key
+```
+
+#### 步骤2: 重新加载数据（使用output_1022的数据）
+
+```bash
+# 方式1: 从output_1022目录加载指定日期的数据
+python3 scripts/load_index_to_redis.py \
+    --date 20251022 \
+    --redis-host localhost \
+    --redis-port 6379 \
+    --expire-days 7
+
+# 注意：确保output目录指向output_1022，或者临时修改OUTPUT_DIR
+```
+
+**或者，更简单的方式**:
+
+```bash
+# 创建软链接指向output_1022
+cd /home/tw/recommendation/offline_tasks
+rm -rf output  # 如果当前output是目录
+ln -s output_1022/output output
+
+# 然后正常加载
+python3 scripts/load_index_to_redis.py \
+    --redis-host localhost \
+    --redis-port 6379 \
+    --date 20251022
+```
+
+#### 步骤3: 验证修复结果
+
+```bash
+redis-cli
+
+# 检查key数量
+DBSIZE
+
+# 查看正确格式的key
+KEYS item:similar:*
+
+# 查看C++ Swing的key（应该有15177个）
+KEYS item:similar:swing_cpp:*
+
+# 查看其他i2i算法的key
+KEYS item:similar:deepwalk:*
+KEYS item:similar:content_name:*
+KEYS item:similar:session_w2v:*
+KEYS item:similar:item_behavior:*
+
+# 验证interest数据仍然存在
+KEYS interest:*
+
+# 测试查询具体的key
+GET item:similar:swing_cpp:3600052
+GET interest:hot:platform:essabuy
+```
+
+**预期结果**:
+```
+KEYS item:similar:* 返回数量: ~176,000+ (包括C++ Swing的15,177条)
+KEYS item:similar:swing_cpp:* 返回数量: 15,177
+KEYS item:similar:deepwalk:* 返回数量: ~48,376
+KEYS item:similar:content_name:* 返回数量: ~127,720
+KEYS interest:* 返回数量: 53,560 (保持不变)
+```
+
+---
+
+## 📊 修复后的数据结构
+
+### 正确的Redis Key格式
+
+```
+# i2i相似度索引
+item:similar:swing_cpp:{item_id}      → C++ Swing结果
+item:similar:swing:{item_id}          → Python Swing结果
+item:similar:session_w2v:{item_id}    → Session W2V结果
+item:similar:deepwalk:{item_id}       → DeepWalk结果
+item:similar:content_name:{item_id}   → 内容相似度（名称）
+item:similar:content_pic:{item_id}    → 内容相似度（图片）
+item:similar:item_behavior:{item_id}  → Item行为相似度
+
+# 兴趣点聚合索引
+interest:hot:{dimension_key}          → 热门商品
+interest:cart:{dimension_key}         → 加购商品
+interest:new:{dimension_key}          → 新品
+interest:global:{dimension_key}       → 全局热门
+```
+
+### 查询示例
+
+```python
+import redis
+import json
+
+r = redis.Redis(host='localhost', port=6379, db=0, decode_responses=True)
+
+# 查询C++ Swing相似商品
+similar_items = json.loads(r.get('item:similar:swing_cpp:3600052'))
+# 返回: [[2704531, 0.00431593], [2503886, 0.00431593], ...]
+
+# 查询平台热门商品
+hot_items = r.get('interest:hot:platform:essabuy')
+# 返回: "3090653:70.0000,3509349:70.0000,..."
+```
+
+---
+
+## 🚨 Python Swing 问题
+
+### 问题描述
+`i2i_swing_20251022.txt` 文件不存在，说明Python Swing算法没有成功执行。
+
+### 可能原因
+1. 算法执行失败（内存不足、超时等）
+2. Session数据问题
+3. 参数配置问题
+
+### 排查步骤
+
+```bash
+# 查看Python Swing的日志
+cat /home/tw/recommendation/offline_tasks/output_1022/logs/debug/i2i_swing*.log
+
+# 检查session文件
+ls -lh /home/tw/recommendation/offline_tasks/output_1022/output/session.txt.*
+
+# 手动运行Python Swing测试
+cd /home/tw/recommendation/offline_tasks
+python3 scripts/i2i_swing.py --lookback_days 30 --top_n 10 --debug
+```
+
+### 临时解决方案
+由于C++ Swing已经生成且性能更好，可以暂时只使用C++ Swing的结果：
+- C++ Swing: `item:similar:swing_cpp:*` (15,177条记录)
+- 文档推荐在生产环境使用C++ Swing
+
+---
+
+## 📝 后续改进建议
+
+### 1. 代码改进
+- ✅ 已修复key格式问题
+- ✅ 已添加C++ Swing加载功能
+- 建议: 添加单元测试验证key格式
+
+### 2. 文档更新
+- 更新 `Redis数据规范.md` 中的加载示例代码
+- 添加故障排查指南
+- 标注C++ Swing为生产推荐
+
+### 3. 监控告警
+- 添加Redis key格式验证
+- 监控各类索引的数量
+- Python Swing执行失败时告警
+
+### 4. 自动化测试
+```python
+# 建议添加测试用例
+def test_redis_key_format():
+    """测试Redis key格式是否正确"""
+    keys = redis_client.keys('item:similar:*')
+    assert len(keys) > 0, "item:similar:* should not be empty"
+    
+    # 确保没有错误格式的key
+    wrong_keys = redis_client.keys('i2i:*')
+    assert len(wrong_keys) == 0, f"Found wrong format keys: {wrong_keys[:5]}"
+```
+
+---
+
+## 🎯 总结
+
+### 问题根源
+加载脚本使用了错误的Redis key前缀 `i2i:*` 而不是文档定义的 `item:similar:*`
+
+### 解决方案
+1. ✅ 修复了 `load_index_to_redis.py` 的key前缀
+2. ✅ 添加了C++ Swing加载功能
+3. ✅ 创建了清理脚本清理错误的key
+4. ⏳ 需要重新加载数据
+
+### 后续行动
+1. 执行 `fix_redis_keys.py` 清理错误的key
+2. 重新运行 `load_index_to_redis.py` 加载数据
+3. 验证所有 `item:similar:*` key都能正常查询
+4. 排查Python Swing执行失败的原因
+
+---
+
+**创建时间**: 2025-10-22  
+**版本**: v1.0  
+**状态**: ✅ 修复方案已就绪，等待执行
+
@@ -710,5 +710,3 @@ crontab -e
  
 **文档版本**: v1.1  
 **最后更新**: 2024-10-17  
-**维护者**: 推荐系统团队
-
@@ -10,6 +10,15 @@ cd /home/tw/recommendation/offline_tasks
 # mkdir output
 # mkdir logs
  
+# 检测并激活conda环境
+if [ "$CONDA_DEFAULT_ENV" != "tw" ]; then
+    echo "当前环境不是 tw，正在激活 tw 环境..."
+    source /home/tw/miniconda3/etc/profile.d/conda.sh
+    conda activate tw
+    echo "已激活 tw 环境"
+else
+    echo "当前已经在 tw 环境中，无需重复激活"
+fi
  
 # ============================================================================
 # 配置区域
@@ -0,0 +1,84 @@
+#!/usr/bin/env python3
+"""
+修复Redis中的key格式问题
+将错误的 i2i:* 格式迁移到正确的 item:similar:* 格式
+"""
+import redis
+import sys
+
+def fix_redis_keys():
+    """修复Redis key格式"""
+    
+    # 连接Redis
+    redis_client = redis.Redis(
+        host='localhost',
+        port=6379,
+        db=0,
+        decode_responses=True
+    )
+    
+    try:
+        redis_client.ping()
+        print("✓ Redis连接成功")
+    except Exception as e:
+        print(f"✗ Redis连接失败: {e}")
+        return 1
+    
+    # 统计信息
+    print("\n" + "="*80)
+    print("当前Redis数据统计:")
+    print("="*80)
+    
+    total_keys = redis_client.dbsize()
+    print(f"总Key数量: {total_keys}")
+    
+    # 统计各类型key
+    i2i_keys = redis_client.keys('i2i:*')
+    item_similar_keys = redis_client.keys('item:similar:*')
+    interest_keys = redis_client.keys('interest:*')
+    
+    print(f"错误格式 i2i:* 数量: {len(i2i_keys)}")
+    print(f"正确格式 item:similar:* 数量: {len(item_similar_keys)}")
+    print(f"interest:* 数量: {len(interest_keys)}")
+    
+    # 询问是否删除错误的key
+    print("\n" + "="*80)
+    print("⚠️  警告：即将删除所有 i2i:* 格式的key（错误格式）")
+    print("="*80)
+    
+    if i2i_keys:
+        print(f"\n将删除 {len(i2i_keys)} 个错误格式的key")
+        print("示例:")
+        for key in i2i_keys[:5]:
+            print(f"  - {key}")
+        
+        response = input("\n确认删除？(yes/no): ")
+        if response.lower() == 'yes':
+            # 使用pipeline批量删除
+            pipe = redis_client.pipeline()
+            for key in i2i_keys:
+                pipe.delete(key)
+            pipe.execute()
+            print(f"✓ 已删除 {len(i2i_keys)} 个错误格式的key")
+        else:
+            print("取消删除操作")
+    else:
+        print("✓ 没有需要删除的错误格式key")
+    
+    # 最终统计
+    print("\n" + "="*80)
+    print("清理后统计:")
+    print("="*80)
+    total_keys_after = redis_client.dbsize()
+    print(f"总Key数量: {total_keys_after}")
+    print(f"item:similar:* 数量: {len(redis_client.keys('item:similar:*'))}")
+    print(f"interest:* 数量: {len(redis_client.keys('interest:*'))}")
+    
+    print("\n✓ 修复完成！现在可以使用修复后的加载脚本重新加载数据。")
+    
+    return 0
+
+
+if __name__ == '__main__':
+    sys.exit(fix_redis_keys())
+
@@ -69,6 +69,37 @@ def load_index_file(file_path, redis_client, key_prefix, expire_seconds=None):
     return count
  
  
+def load_cpp_swing_index(redis_client, expire_days=7):
+    """
+    加载C++ Swing相似度索引
+    
+    Args:
+        redis_client: Redis客户端
+        expire_days: 过期天数
+    
+    Returns:
+        加载的记录数
+    """
+    # C++ Swing输出文件
+    file_path = os.path.join(os.path.dirname(OUTPUT_DIR), 'collaboration', 'output', 'swing_similar.txt')
+    
+    if not os.path.exists(file_path):
+        logger.warning(f"C++ Swing file not found: {file_path}, skipping...")
+        return 0
+    
+    expire_seconds = expire_days * 24 * 3600 if expire_days else None
+    
+    logger.info(f"Loading C++ Swing indices from {file_path}...")
+    count = load_index_file(
+        file_path,
+        redis_client,
+        "item:similar:swing_cpp",
+        expire_seconds
+    )
+    logger.info(f"Loaded {count} C++ Swing indices")
+    return count
+
+
 def load_i2i_indices(redis_client, date_str=None, expire_days=7):
     """
     加载i2i相似度索引
@@ -84,7 +115,7 @@ def load_i2i_indices(redis_client, date_str=None, expire_days=7):
     expire_seconds = expire_days * 24 * 3600 if expire_days else None
  
     # i2i索引类型
-    i2i_types = ['swing', 'session_w2v', 'deepwalk', 'content_name', 'content_pic']
+    i2i_types = ['swing', 'session_w2v', 'deepwalk', 'content_name', 'content_pic', 'item_behavior']
  
     for i2i_type in i2i_types:
         file_path = os.path.join(OUTPUT_DIR, f'i2i_{i2i_type}_{date_str}.txt')
@@ -97,7 +128,7 @@ def load_i2i_indices(redis_client, date_str=None, expire_days=7):
         count = load_index_file(
             file_path,
             redis_client,
-            f"i2i:{i2i_type}",
+            f"item:similar:{i2i_type}",  # 修复: 使用正确的key前缀
             expire_seconds
         )
         logger.info(f"Loaded {count} {i2i_type} indices")
@@ -184,6 +215,13 @@ def main():
         redis_client.flushdb()
         logger.info("Database flushed")
  
+    # 加载C++ Swing索引
+    if args.load_i2i:
+        logger.info("\n" + "="*80)
+        logger.info("Loading C++ Swing indices")
+        logger.info("="*80)
+        load_cpp_swing_index(redis_client, args.expire_days)
+    
     # 加载i2i索引
     if args.load_i2i:
         logger.info("\n" + "="*80)