diff --git a/offline_tasks/config/offline_config.py b/offline_tasks/config/offline_config.py index 1ec284a..50c4d30 100644 --- a/offline_tasks/config/offline_config.py +++ b/offline_tasks/config/offline_config.py @@ -28,8 +28,8 @@ os.makedirs(LOG_DIR, exist_ok=True) # ============================================================================ # 时间配置(建议先用小数值调试,确认无误后再改为大数值) -DEFAULT_LOOKBACK_DAYS = 30 # 默认回看天数(调试用30天,生产可改为730天) -DEFAULT_RECENT_DAYS = 7 # 默认最近天数(调试用7天,生产可改为180天) +DEFAULT_LOOKBACK_DAYS = 730 # 默认回看天数(调试用30天,生产可改为730天) +DEFAULT_RECENT_DAYS = 180 # 默认最近天数(调试用7天,生产可改为180天) # i2i算法默认参数 DEFAULT_I2I_TOP_N = 50 # 默认返回Top N个相似商品 diff --git a/offline_tasks/run.sh b/offline_tasks/run.sh index afeb088..9555349 100755 --- a/offline_tasks/run.sh +++ b/offline_tasks/run.sh @@ -6,7 +6,7 @@ cd /home/tw/recommendation/offline_tasks check_memory() { local pid=$1 local threshold_warn=25 # 25GB警告阈值 - local threshold_kill=30 # 30GB强制kill阈值 + local threshold_kill=35 # 30GB强制kill阈值 while kill -0 $pid 2>/dev/null; do # 获取进程内存使用(MB) @@ -25,7 +25,7 @@ check_memory() { fi fi - sleep 10 # 每10秒检查一次 + sleep 60 done } @@ -47,35 +47,10 @@ echo "开始运行离线任务 - $(date '+%Y-%m-%d %H:%M:%S')" echo "内存监控: 警告阈值=25GB, 强制终止阈值=30GB" echo "======================================================================" -# 3. 调试模式运行(小数据量) -echo "" -echo ">>> 步骤1: 调试模式运行(小数据量)" -python3 run_all.py --debug & -PID_DEBUG=$! -echo "调试任务 PID: $PID_DEBUG" -# 启动内存监控 -check_memory $PID_DEBUG & -MONITOR_PID_1=$! - -# 等待调试任务完成 -wait $PID_DEBUG -DEBUG_EXIT_CODE=$? -kill $MONITOR_PID_1 2>/dev/null - -if [ $DEBUG_EXIT_CODE -eq 0 ]; then - echo "✓ 调试模式完成" - mv output output_debug 2>/dev/null - mkdir output -else - echo "✗ 调试模式失败,退出码: $DEBUG_EXIT_CODE" - exit 1 -fi - -# 4. 生产模式运行(大数据量) echo "" -echo ">>> 步骤2: 生产模式运行(大数据量)" -python3 run_all.py --debug & +echo ">>> run_all.py" +python3 run_all.py --debug PID_PROD=$! echo "生产任务 PID: $PID_PROD" @@ -95,7 +70,7 @@ else exit 1 fi -# 5. 加载到Redis + echo "" echo ">>> 步骤3: 加载到Redis" python3 scripts/load_index_to_redis.py --redis-host localhost -- libgit2 0.21.2