# 离线任务快速启动指南

## 一、环境准备

### 1. 安装依赖

```bash
cd /home/tw/recommendation
pip install -r requirements.txt
```

### 2. 配置数据库和Redis

编辑配置文件 `offline_tasks/config/offline_config.py`，确保数据库和Redis连接信息正确：

```python
# 数据库配置
DB_CONFIG = {
    'host': 'your_db_host',
    'port': '9030',
    'database': 'datacenter',
    'username': 'readonly',
    'password': 'your_password'
}

# Redis配置
REDIS_CONFIG = {
    'host': 'your_redis_host',
    'port': 6379,
    'db': 0,
    'password': None
}
```

## 二、运行离线任务

### 方式1：运行所有任务（推荐）

```bash
cd /home/tw/recommendation/offline_tasks
python run_all.py --lookback_days 730 --top_n 50
```

这将依次运行：
1. Swing算法（i2i相似度）
2. Session Word2Vec（i2i相似度）
3. DeepWalk算法（i2i相似度）
4. 兴趣点聚合（多维度商品索引）

### 方式2：运行单个任务

#### 运行Swing算法

```bash
cd /home/tw/recommendation/offline_tasks
python scripts/i2i_swing.py --lookback_days 730 --top_n 50 --time_decay
```

#### 运行Session Word2Vec

```bash
python scripts/i2i_session_w2v.py --lookback_days 730 --top_n 50 --save_model
```

#### 运行DeepWalk

```bash
python scripts/i2i_deepwalk.py --lookback_days 730 --top_n 50 --save_model --save_graph
```

#### 运行兴趣点聚合

```bash
python scripts/interest_aggregation.py --lookback_days 730 --top_n 1000
```

## 三、将索引加载到Redis

任务运行完成后，将生成的索引加载到Redis：

```bash
cd /home/tw/recommendation/offline_tasks
python scripts/load_index_to_redis.py --redis-host localhost --redis-port 6379 --expire-days 7
```

参数说明：
- `--redis-host`: Redis服务器地址
- `--redis-port`: Redis端口
- `--redis-db`: Redis数据库编号（默认0）
- `--expire-days`: 索引过期天数（默认7天）

## 四、查看输出结果

所有输出文件都在 `offline_tasks/output/` 目录下：

```bash
cd /home/tw/recommendation/offline_tasks/output
ls -lh
```

输出文件示例：
```
i2i_swing_20251016.txt
i2i_session_w2v_20251016.txt
i2i_deepwalk_20251016.txt
interest_aggregation_hot_20251016.txt
interest_aggregation_cart_20251016.txt
interest_aggregation_new_20251016.txt
interest_aggregation_global_20251016.txt
```

## 五、查看日志

所有运行日志都在 `offline_tasks/logs/` 目录下：

```bash
cd /home/tw/recommendation/offline_tasks/logs
tail -f run_all_20251016.log
```

## 六、设置定时任务

### 使用crontab设置每天运行

```bash
# 编辑crontab
crontab -e

# 添加以下行（每天凌晨2点运行）
0 2 * * * cd /home/tw/recommendation/offline_tasks && /usr/bin/python3 run_all.py --lookback_days 730 --top_n 50 >> /home/tw/recommendation/offline_tasks/logs/cron.log 2>&1
```

### 运行后自动加载到Redis

可以在crontab中添加索引加载任务：

```bash
# 凌晨6点加载索引到Redis（假设离线任务在4小时内完成）
0 6 * * * cd /home/tw/recommendation/offline_tasks && /usr/bin/python3 scripts/load_index_to_redis.py >> /home/tw/recommendation/offline_tasks/logs/load_redis.log 2>&1
```

## 七、验证结果

### 查看文件内容

```bash
# 查看i2i相似度
head -n 5 output/i2i_swing_20251016.txt

# 查看兴趣点聚合
head -n 5 output/interest_aggregation_hot_20251016.txt
```

### 从Redis查询

```bash
# 使用redis-cli
redis-cli

# 查看i2i相似度
GET i2i:swing:123456

# 查看兴趣点索引
GET interest:hot:platform:PC
GET interest:global:country:US
```

## 八、常见问题

### Q1: 任务运行时间太长怎么办？

A: 可以尝试：
1. 减少 `--lookback_days` 参数（如改为365天）
2. 减少 `--top_n` 参数（如改为20）
3. 在更强大的机器上运行
4. 考虑分布式运行不同算法

### Q2: 内存不足怎么办？

A: 
1. Swing算法特别消耗内存，可以先跳过：`python run_all.py --skip-i2i`
2. 只运行DeepWalk或Session W2V
3. 对数据进行采样

### Q3: 数据库连接超时怎么办？

A:
1. 检查数据库配置是否正确
2. 检查网络连接
3. 增加SQL查询的超时时间
4. 分批查询数据

### Q4: 如何只更新特定维度的索引？

A: 修改 `interest_aggregation.py` 脚本，注释掉不需要的维度计算代码。

## 九、性能参考

在标准配置（730天数据，top_n=50）下的预估运行时间：

| 任务 | 数据量 | 预估时间 | 内存占用 |
|------|--------|---------|---------|
| Swing | 100万条行为 | 2-4小时 | 4-8GB |
| Session W2V | 100万条行为 | 30-60分钟 | 2-4GB |
| DeepWalk | 100万条行为 | 1-2小时 | 2-4GB |
| 兴趣点聚合 | 100万条行为 | 30-60分钟 | 2-4GB |

实际时间会因数据量和机器配置而异。

## 十、联系与支持

如有问题，请查看日志文件或联系开发团队。