# 电商数据爬虫工具集
  
  通过万邦API爬取电商平台（Shopee、Amazon）商品数据的工具集。
  
  ## 目录
  
  - [Shopee爬虫](#shopee爬虫)
  - [Amazon爬虫](#amazon爬虫)
  - [通用说明](#通用说明)
  
  ---
  
  # Shopee爬虫
  
  通过万邦API爬取Shopee商品数据的简化脚本。
  
  ## 文件说明
  
  ```
  data_crawling/
  ├── shopee_crawler.py       # 主爬虫脚本
  ├── test_crawler.py         # 测试脚本（爬取前5个）
  ├── queries.txt             # 查询词列表（5024个）
  ├── 万邦API_shopee.md       # API文档
  ├── shopee_results/         # 爬取结果目录
  └── test_results/           # 测试结果目录
  ```
  
  ## 快速开始
  
  ### 1. 安装依赖
  
  ```bash
  pip install requests
  ```
  
  ### 2. 测试运行（推荐先测试）
  
  ```bash
  cd /home/tw/SearchEngine/data_crawling
  python test_crawler.py
  ```
  
  这会爬取前5个查询词，结果保存在 `test_results/` 目录。
  
  ### 3. 完整运行
  
  ```bash
  python shopee_crawler.py
  ```
  
  爬取全部5024个查询词，结果保存在 `shopee_results/` 目录。
  
  ## 配置参数
  
  在脚本顶部可以修改：
  
  ```python
  COUNTRY = '.com.my'  # 站点: .vn, .co.th, .tw, .co.id, .sg, .com.my
  PAGE = 1             # 页码
  DELAY = 2            # 请求间隔（秒）
  MAX_RETRIES = 3      # 最大重试次数
  ```
  
  ## 输出结果
  
  ### 文件命名
  
  ```
  0001_Bohemian_Maxi_Dress_20231204_143025.json
  0002_Vintage_Denim_Jacket_20231204_143028.json
  ...
  ```
  
  ### JSON格式
  
  ```json
  {
    "items": {
      "keyword": "dress",
      "total_results": 5000,
      "item": [
        {
          "title": "商品标题",
          "pic_url": "图片URL",
          "price": 38.9,
          "sales": 293,
          "shop_id": "277113808",
          "detail_url": "商品链接"
        }
      ]
    },
    "error_code": "0000",
    "reason": "ok"
  }
  ```
  
  ### 摘要文件
  
  `summary.json` 包含爬取统计：
  
  ```json
  {
    "crawl_time": "2023-12-04T14:30:25",
    "total": 5024,
    "success": 5000,
    "fail": 24,
    "elapsed_seconds": 10248,
    "failed_queries": ["query1", "query2"]
  }
  ```
  
  ## 预估时间
  
  - 单个查询: ~4秒（含2秒延迟）
  - 全部5024个: ~5.6小时
  
  ## API信息
  
  - **地址**: `https://api-gw.onebound.cn/shopee/item_search`
  - **Key**: `t8618339029`
  - **Secret**: `9029f568`
  - **每日限额**: 10,000次
  
  ## 常用命令
  
  ```bash
  # 测试（前5个）
  python test_crawler.py
  
  # 完整爬取
  python shopee_crawler.py
  
  # 查看结果数量
  ls shopee_results/*.json | wc -l
  
  # 查看失败的查询
  cat shopee_results/failed_queries.txt
  
  # 查看摘要
  cat shopee_results/summary.json
  ```
  
  ## 注意事项
  
  1. **API限额**: 每日最多10,000次调用
  2. **请求间隔**: 建议保持2秒以上
  3. **网络稳定**: 需要稳定的网络连接
  4. **存储空间**: 确保有足够的磁盘空间（约2-3GB）
  
  ## 故障排除
  
  **问题**: API返回错误
  
  - 检查网络连接
  - 确认API配额未用完
  - 查看 `failed_queries.txt`
  
  **问题**: 文件编码错误
  
  - 脚本已使用UTF-8编码，无需额外设置
  
  **问题**: 中断后继续
  
  - 可以删除已爬取的JSON文件对应的查询词，重新运行
  
  ---
  
  # Amazon爬虫
  
  通过万邦API爬取Amazon商品数据的脚本。
  
  ## 快速开始
  
  ### 1. 配置API密钥
  
  #### 方法1：使用配置文件（推荐）
  
  ```bash
  cd /home/tw/SearchEngine/data_crawling
  cp config.example.py config.py
  # 编辑 config.py，填入你的API密钥
  ```
  
  #### 方法2：使用命令行参数
  
  ```bash
  python amazon_crawler_v2.py --key YOUR_KEY --secret YOUR_SECRET
  ```
  
  #### 方法3：使用环境变量
  
  ```bash
  export ONEBOUND_API_KEY="your_key_here"
  export ONEBOUND_API_SECRET="your_secret_here"
  ```
  
  ### 2. 测试API连接
  
  ```bash
  python test_api.py
  ```
  
  这会测试API连接是否正常，并显示配额信息。
  
  ### 3. 开始爬取
  
  #### 测试模式（前10个查询）
  
  ```bash
  python amazon_crawler_v2.py --max 10
  ```
  
  #### 完整爬取（全部5024个查询）
  
  ```bash
  python amazon_crawler_v2.py
  ```
  
  ## 脚本说明
  
  ### amazon_crawler.py
  基础版爬虫，需要在代码中配置API密钥。
  
  ### amazon_crawler_v2.py（推荐）
  增强版爬虫，支持：
  - 配置文件/命令行参数/环境变量
  - 详细的日志输出
  - 进度显示
  - 统计信息
  - 断点续爬
  
  ### test_api.py
  API连接测试工具，用于验证：
  - API密钥是否正确
  - 网络连接是否正常
  - API配额是否充足
  
  ### analyze_results.py
  结果分析工具，用于：
  - 统计爬取结果
  - 分析商品数据（价格、评分等）
  - 导出CSV格式
  
  ## 命令行参数
  
  ```bash
  python amazon_crawler_v2.py [选项]
  
  选项:
    --key KEY          API Key
    --secret SECRET    API Secret
    --queries FILE     查询文件路径（默认：queries.txt）
    --delay SECONDS    请求间隔（默认：2.0秒）
    --start INDEX      起始索引，用于断点续爬（默认：0）
    --max NUM          最大爬取数量（默认：全部）
    --output DIR       结果保存目录（默认：amazon_results）
  ```
  
  ## 使用示例
  
  ### 测试前10个查询
  
  ```bash
  python amazon_crawler_v2.py --max 10
  ```
  
  ### 从第100个查询继续爬取
  
  ```bash
  python amazon_crawler_v2.py --start 100
  ```
  
  ### 使用自定义延迟
  
  ```bash
  python amazon_crawler_v2.py --delay 1.5
  ```
  
  ### 分析爬取结果
  
  ```bash
  # 显示统计信息
  python analyze_results.py
  
  # 导出为CSV
  python analyze_results.py --csv
  
  # 指定结果目录
  python analyze_results.py --dir amazon_results
  ```
  
  ## 输出结果
  
  ### 文件命名
  
  ```
  0001_Bohemian_Maxi_Dress.json
  0002_Vintage_Denim_Jacket.json
  0003_Minimalist_Linen_Trousers.json
  ...
  ```
  
  ### JSON格式
  
  ```json
  {
    "items": {
      "item": [
        {
          "detail_url": "https://www.amazon.com/...",
          "num_iid": "B07F8S18D5",
          "pic_url": "https://...",
          "price": "9.99",
          "reviews": "53812",
          "sales": 10000,
          "stars": "4.7",
          "title": "商品标题"
        }
      ],
      "page": "1",
      "page_size": 100,
      "real_total_results": 700,
      "q": "搜索词"
    },
    "error_code": "0000",
    "reason": "ok"
  }
  ```
  
  ### 日志文件
  
  运行日志保存在 `amazon_crawler.log`：
  
  ```
  2025-01-07 10:00:00 - INFO - Amazon爬虫启动
  2025-01-07 10:00:01 - INFO - [1/5024] (0.0%) - Bohemian Maxi Dress
  2025-01-07 10:00:02 - INFO - ✓ 成功: Bohemian Maxi Dress - 获得 700 个结果
  ...
  ```
  
  ### 分析报告
  
  运行分析工具后生成 `analysis_report.json`：
  
  ```json
  {
    "total_files": 5024,
    "successful": 5000,
    "failed": 24,
    "success_rate": "99.5%",
    "total_items": 50000,
    "avg_items_per_query": 10.0
  }
  ```
  
  ## 预估时间
  
  - 单个查询: ~4秒（含2秒延迟）
  - 全部5024个: ~5.6小时
  
  ## 注意事项
  
  1. **API限额**: 请注意API的每日/每月配额限制
  2. **请求间隔**: 建议保持2秒以上的延迟
  3. **断点续爬**: 使用 `--start` 参数可以从指定位置继续
  4. **磁盘空间**: 确保有足够的存储空间（约2-3GB）
  
  ## 详细文档
  
  更多详细信息，请查看：
  - [Amazon爬虫详细文档](AMAZON_CRAWLER_README.md)
  - [API文档](万邦API_亚马逊.md)
  
  ---
  
  # 通用说明
  
  ## 文件结构
  
  ```
  data_crawling/
  ├── shopee_crawler.py          # Shopee爬虫
  ├── test_crawler.py            # Shopee测试脚本
  ├── amazon_crawler.py          # Amazon爬虫（基础版）
  ├── amazon_crawler_v2.py       # Amazon爬虫（增强版）
  ├── test_api.py                # API测试工具
  ├── analyze_results.py         # 结果分析工具
  ├── config.example.py          # 配置文件示例
  ├── queries.txt                # 查询词列表（5024个）
  ├── 万邦API_shopee.md          # Shopee API文档
  ├── 万邦API_亚马逊.md          # Amazon API文档
  ├── AMAZON_CRAWLER_README.md   # Amazon爬虫详细文档
  ├── shopee_results/            # Shopee结果目录
  ├── amazon_results/            # Amazon结果目录
  └── test_results/              # 测试结果目录
  ```
  
  ## 依赖安装
  
  ```bash
  pip install requests
  ```
  
  ## 常见问题
  
  ### 1. API密钥错误
  
  **错误**: `错误: 未配置API密钥！`
  
  **解决**: 
  - 检查配置文件是否正确
  - 使用 `test_api.py` 测试连接
  - 确认密钥没有多余的空格或引号
  
  ### 2. 请求超时
  
  **错误**: `请求失败: timeout`
  
  **解决**:
  - 检查网络连接
  - 尝试增加延迟时间
  - 检查API服务是否正常
  
  ### 3. API配额耗尽
  
  **错误**: `quota exceeded`
  
  **解决**:
  - 查看日志中的 `api_info` 字段
  - 等待配额重置
  - 使用 `--max` 参数限制爬取数量
  
  ### 4. 中断后继续爬取
  
  使用 `--start` 参数指定起始位置：
  
  ```bash
  # 从第1000个查询继续
  python amazon_crawler_v2.py --start 1000
  ```
  
  ## 许可证
  
  本项目仅供学习和研究使用。使用API时请遵守相应平台的服务条款。