# 推荐系统离线任务

推荐系统的离线索引生成模块，包含多种算法和数据处理任务。

## 🚀 快速开始

### 运行所有任务

```bash
cd /home/tw/recommendation/offline_tasks

# ⭐ 推荐：使用 run.sh（完整流程，包含Redis加载）
bash run.sh

# 备用：使用 run_all.py（简化版，不含C++ Swing和Redis）
python3 run_all.py --debug
```

**说明**:
- `run.sh`: 主执行脚本，包含完整流程、内存监控、自动Redis加载
- `run_all.py`: Python简化版本，只包含Python算法任务

### 任务执行顺序

```
前置任务:
1. fetch_item_attributes.py     → 获取商品属性映射
2. generate_session.py          → 生成用户行为session
3. collaboration/run.sh         → C++ Swing算法（高性能）

核心算法任务:
4. i2i_swing.py                → Python Swing（支持日期维度）
5. i2i_session_w2v.py          → Session W2V
6. i2i_deepwalk.py             → DeepWalk
7. i2i_content_similar.py      → 内容相似度
8. interest_aggregation.py     → 兴趣聚合
```

## 📚 文档

所有文档位于 **`doc/`** 目录：

- **[doc/快速开始.md](./doc/快速开始.md)** - 新手入门
- **[doc/Swing算法使用指南.md](./doc/Swing算法使用指南.md)** - 详细使用
- **[doc/系统改进总结-20241017.md](./doc/系统改进总结-20241017.md)** - 最新改进
- **[doc/README.md](./doc/README.md)** - 完整文档索引

## 🔧 核心功能

### 1. 前置任务优化

- **商品属性缓存**: 一次获取，多次使用，减少90%数据库查询
- **Session文件复用**: 统一生成，多算法共享
- **C++ Swing集成**: 自动执行，高性能计算

### 2. 算法增强

- **双维度Swing**: 同时考虑用户整体行为和单日行为
- **时间衰减**: 可选的时间权重衰减
- **Debug模式**: 自动生成可读版本（ID + 名称）

### 3. 自动化流程

```bash
# 一条命令完成所有任务
python3 run_all.py --debug
```

输出文件：
- `output/item_attributes_mappings.json` - ID映射
- `output/session.txt.YYYYMMDD` - 用户session
- `collaboration/output/swing_similar.txt` - C++ Swing结果
- `output/i2i_swing_YYYYMMDD.txt` - Python Swing结果
- ... 其他算法输出

## 📊 性能对比

| 任务 | 改进前 | 改进后 | 提升 |
|------|--------|--------|------|
| 数据库查询 | 5-10次 | 1次 | 80-90% ↓ |
| Swing性能 | Python | C++ | 10-100x ↑ |
| 任务管理 | 手动分步 | 自动流程 | 100% ↑ |

## 🛠️ 单独运行任务

### 1. 获取商品属性

```bash
python3 scripts/fetch_item_attributes.py
```

### 2. 生成Session

```bash
python3 scripts/generate_session.py --lookback_days 730
```

### 3. C++ Swing

```bash
cd collaboration
bash run.sh
```

### 4. Python Swing（支持日期维度）

```bash
python3 scripts/i2i_swing.py --lookback_days 730 --use_daily_session --debug
```

### 5. 其他算法

```bash
# Session W2V
python3 scripts/i2i_session_w2v.py --lookback_days 730 --debug

# DeepWalk
python3 scripts/i2i_deepwalk.py --lookback_days 730 --debug

# 内容相似度
python3 scripts/i2i_content_similar.py

# 兴趣聚合
python3 scripts/interest_aggregation.py --lookback_days 730 --debug
```

## 📁 项目结构

```
offline_tasks/
├── scripts/              # 所有任务脚本
│   ├── fetch_item_attributes.py
│   ├── generate_session.py
│   ├── i2i_swing.py
│   ├── i2i_session_w2v.py
│   ├── i2i_deepwalk.py
│   ├── i2i_content_similar.py
│   ├── interest_aggregation.py
│   ├── add_names_to_swing.py
│   └── debug_utils.py
├── collaboration/        # C++ Swing算法
│   ├── src/
│   ├── bin/
│   ├── run.sh
│   └── output/
├── config/               # 配置文件
│   └── offline_config.py
├── doc/                  # 文档中心
│   ├── README.md
│   ├── 快速开始.md
│   ├── Swing算法使用指南.md
│   └── ...
├── output/               # 输出目录
│   ├── item_attributes_mappings.json
│   ├── session.txt.*
│   └── *.txt
├── logs/                 # 日志目录
├── run.sh               # 主执行脚本（推荐）
├── run_all.py           # Python版本（简化）
└── README.md            # 本文件
```

## ⚙️ 配置

配置文件：`config/offline_config.py`

主要参数：
```python
DEFAULT_LOOKBACK_DAYS = 730    # 数据回看天数
DEFAULT_I2I_TOP_N = 50         # i2i推荐数量
DEFAULT_INTEREST_TOP_N = 1000  # 兴趣聚合数量

# 数据库配置
DB_CONFIG = {...}

# 算法参数
I2I_CONFIG = {...}
```

## 🐛 故障排查

### 常见问题

**1. 映射文件不存在**
```bash
# 先运行前置任务
python3 scripts/fetch_item_attributes.py
```

**2. Session文件找不到**
```bash
# 生成session文件
python3 scripts/generate_session.py
```

**3. C++ Swing编译失败**
```bash
cd collaboration
make clean
make
```

详见：[doc/故障排查指南.md](./doc/故障排查指南.md)

## 📝 日志

日志位置：
- 主日志：`logs/run_all_YYYYMMDD.log`
- Debug日志：`logs/debug/*.log`

查看最新日志：
```bash
tail -f logs/run_all_$(date +%Y%m%d).log
```

## 🔗 相关项目

- **Collaboration**: `../collaboration/` - C++ 协同过滤
- **GraphEmbedding**: `../graphembedding/` - 图embedding
- **Hot**: `../hot/` - 热门推荐
- **Frontend**: `../frontend/` - 推荐接口

## 📞 更多信息

- **完整文档**: [doc/README.md](./doc/README.md)
- **改进总结**: [doc/系统改进总结-20241017.md](./doc/系统改进总结-20241017.md)
- **故障排查**: [doc/故障排查指南.md](./doc/故障排查指南.md)

---

**最后更新**: 2024-10-17  
**状态**: ✅ 生产就绪