# 内存监控功能更新

## 更新日期
2025-10-17

## 更新内容

### 1. ✅ 代码规范：移除 print，统一使用 logger

#### 检查结果
- ✅ `i2i_content_similar.py` - 已全部使用 logger
- ✅ `test_es_connection.py` - print用于测试工具输出（符合预期）
- ✅ 所有核心代码已使用 logger

### 2. ✅ run.sh 添加内存监控功能

#### 核心功能

**内存监控函数**:
```bash
check_memory() {
    local pid=$1
    local threshold_warn=25  # 25GB警告阈值
    local threshold_kill=30  # 30GB强制kill阈值
    
    while kill -0 $pid 2>/dev/null; do
        获取进程内存使用（MB）
        转换为GB
        
        if 内存 >= 30GB:
            打印错误日志到终端和文件
            强制kill进程
            break
        elif 内存 >= 25GB:
            打印警告日志到终端和文件
        
        sleep 10秒检查一次
    done
}
```

#### 监控特性

| 特性 | 说明 |
|------|------|
| **警告阈值** | 25GB - 打印警告但继续运行 |
| **终止阈值** | 30GB - 强制kill进程 |
| **检查频率** | 每10秒检查一次 |
| **日志输出** | 终端 + `logs/memory_monitor.log` |
| **自动清理** | 任务完成后自动终止监控 |

#### 日志格式

**警告日志**:
```
[2025-10-17 14:30:25] ⚠️  内存警告！当前使用: 26.45GB (>= 25GB), PID=12345
```

**强制终止日志**:
```
[2025-10-17 14:35:30] ❌ 内存超限！当前使用: 31.20GB (>= 30GB), 强制终止进程 PID=12345
```

### 3. ✅ 增强的运行流程

#### 更新后的执行流程

```bash
#!/bin/bash

1. 定义内存监控函数
2. 清理旧进程和输出
3. 创建logs目录
4. 显示开始信息（包含监控阈值）

# 调试模式
5. 启动调试任务（后台）
6. 启动内存监控（后台）
7. 等待任务完成
8. 终止监控进程
9. 检查退出码

# 生产模式
10. 启动生产任务（后台）
11. 启动内存监控（后台）
12. 等待任务完成
13. 终止监控进程
14. 检查退出码

# 加载Redis
15. 加载索引到Redis
16. 检查退出码

17. 显示完成信息
```

### 4. ✅ 新增文件

| 文件 | 说明 |
|------|------|
| `run.sh` | 更新：添加内存监控 |
| `RUN_SCRIPT_GUIDE.md` | 新增：运行脚本使用指南 |
| `test_memory_monitor.sh` | 新增：内存监控测试脚本 |
| `MEMORY_MONITORING_UPDATE.md` | 新增：本文档 |

## 使用指南

### 基本使用

```bash
# 1. 运行脚本（自动监控内存）
cd /home/tw/recommendation/offline_tasks
./run.sh

# 2. 查看监控日志
tail -f logs/memory_monitor.log

# 3. 查看系统内存
free -h
```

### 测试监控功能

```bash
# 运行测试脚本
./test_memory_monitor.sh
```

### 自定义阈值

编辑 `run.sh` 第8-9行：
```bash
local threshold_warn=25  # 修改警告阈值
local threshold_kill=30  # 修改强制kill阈值
```

## 技术细节

### 内存获取

```bash
# 获取进程内存（RSS，单位KB）
ps -p $pid -o rss=

# 转换为MB
mem_mb=$(ps -p $pid -o rss= | awk '{print int($1/1024)}')

# 转换为GB
mem_gb=$(echo "scale=2; $mem_mb/1024" | bc)
```

### 进程检查

```bash
# 检查进程是否存在
kill -0 $pid 2>/dev/null

# 返回值:
# 0 - 进程存在
# 非0 - 进程不存在
```

### 强制终止

```bash
# 发送SIGKILL信号
kill -9 $pid

# 特点:
# - 立即终止，不可捕获
# - 不执行清理代码
# - 确保进程被终止
```

## 输出示例

### 正常运行（内存未超限）

```
======================================================================
开始运行离线任务 - 2025-10-17 14:00:00
内存监控: 警告阈值=25GB, 强制终止阈值=30GB
======================================================================

>>> 步骤1: 调试模式运行（小数据量）
调试任务 PID: 12345
✓ 调试模式完成

>>> 步骤2: 生产模式运行（大数据量）
生产任务 PID: 12346
✓ 生产模式完成

>>> 步骤3: 加载到Redis
✓ Redis加载完成

======================================================================
所有任务完成 - 2025-10-17 16:30:00
======================================================================
```

### 内存警告（25GB-30GB）

```
>>> 步骤2: 生产模式运行（大数据量）
生产任务 PID: 12346
[2025-10-17 15:20:15] ⚠️  内存警告！当前使用: 26.45GB (>= 25GB), PID=12346
[2025-10-17 15:22:30] ⚠️  内存警告！当前使用: 27.80GB (>= 25GB), PID=12346
[2025-10-17 15:24:45] ⚠️  内存警告！当前使用: 28.95GB (>= 25GB), PID=12346
✓ 生产模式完成
```

### 内存超限（>=30GB）

```
>>> 步骤2: 生产模式运行（大数据量）
生产任务 PID: 12346
[2025-10-17 15:20:15] ⚠️  内存警告！当前使用: 26.45GB (>= 25GB), PID=12346
[2025-10-17 15:22:30] ⚠️  内存警告！当前使用: 28.80GB (>= 25GB), PID=12346
[2025-10-17 15:24:45] ❌ 内存超限！当前使用: 31.20GB (>= 30GB), 强制终止进程 PID=12346
✗ 生产模式失败，退出码: 137
```

## 监控日志示例

`logs/memory_monitor.log`:
```
[2025-10-17 15:20:15] ⚠️  内存警告！当前使用: 26.45GB (>= 25GB), PID=12346
[2025-10-17 15:22:30] ⚠️  内存警告！当前使用: 28.80GB (>= 25GB), PID=12346
[2025-10-17 15:24:45] ❌ 内存超限！当前使用: 31.20GB (>= 30GB), 强制终止进程 PID=12346
```

## 故障处理

### 内存持续增长

**现象**: 警告日志频繁出现，内存持续增长

**原因**:
- 数据量过大
- 内存泄漏
- 批处理大小不合理

**解决方案**:
1. 减小批处理大小
2. 增加垃圾回收频率
3. 优化算法减少内存占用
4. 考虑分批运行

### 进程被误杀

**现象**: 任务未完成就被终止

**原因**:
- 阈值设置过低
- 系统其他进程占用内存

**解决方案**:
1. 提高阈值（修改 run.sh）
2. 优化代码减少内存使用
3. 关闭不必要的系统进程

### 监控不生效

**检查清单**:
- [ ] `bc` 命令是否安装：`which bc`
- [ ] 脚本是否有执行权限：`ls -l run.sh`
- [ ] logs目录是否存在：`ls -ld logs/`
- [ ] 进程是否在后台运行：`ps aux | grep run_all`

## 性能影响

### 监控开销

| 项目 | 影响 |
|------|------|
| CPU | < 0.1% (每10秒运行一次ps命令) |
| 内存 | < 10MB (监控脚本本身) |
| 磁盘I/O | 极小 (仅写日志) |

### 建议

- ✅ 检查频率10秒合理，不建议小于5秒
- ✅ 警告阈值25GB为系统总内存的合理比例
- ✅ 终止阈值30GB留有5GB缓冲空间
- ⚠️ 根据实际情况调整阈值

## 最佳实践

### 1. 定期查看日志
```bash
# 每天检查
cat logs/memory_monitor.log

# 统计警告次数
grep "⚠️" logs/memory_monitor.log | wc -l

# 统计终止次数
grep "❌" logs/memory_monitor.log | wc -l
```

### 2. 设置定时任务
```bash
# 每周一凌晨2点运行
0 2 * * 1 /home/tw/recommendation/offline_tasks/run.sh >> /var/log/offline_tasks.log 2>&1
```

### 3. 配置告警
```bash
# 在 run.sh 末尾添加
if grep -q "❌" logs/memory_monitor.log; then
    echo "内存超限告警" | mail -s "[告警] 离线任务内存超限" admin@example.com
fi
```

### 4. 监控系统资源
```bash
# 安装监控工具
apt install htop sysstat

# 实时监控
htop -p $(pgrep -f run_all.py)

# 查看历史
sar -r 1 10  # 内存使用情况
```

## 对比

### 更新前
```bash
# 无内存监控
python3 run_all.py --lookback_days 730 --top_n 50

# 问题:
# - 内存可能无限增长
# - OOM导致系统崩溃
# - 无法及时发现问题
```

### 更新后
```bash
# 自动内存监控
./run.sh

# 优势:
# ✅ 25GB警告提醒
# ✅ 30GB自动终止
# ✅ 详细日志记录
# ✅ 保护系统稳定
```

## 总结

本次更新实现了：

1. ✅ **代码规范化**: 统一使用logger，移除print
2. ✅ **内存监控**: 25GB警告，30GB强制终止
3. ✅ **自动化运行**: 集成监控到运行流程
4. ✅ **日志记录**: 详细的监控日志
5. ✅ **测试工具**: 提供测试脚本验证功能
6. ✅ **完整文档**: 使用指南和故障处理

### 核心价值

- 🛡️ **保护系统**: 防止内存溢出导致系统崩溃
- 📊 **实时监控**: 每10秒检查一次内存使用
- 🔔 **及时告警**: 25GB警告，30GB终止
- 📝 **日志完整**: 所有监控事件都有记录
- 🔧 **易于调整**: 阈值和频率可轻松修改

---

**更新完成时间**: 2025-10-17  
**状态**: ✅ 已完成，可投入使用  
**建议**: 先在测试环境验证后再用于生产