Blame view

scripts/evaluation/ff.md 967 Bytes
1c5366f5   tangwang   query分析性能优化
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
  
  
  
  - R3 完全相关:该结果的核心意图被满足,标题/副标题/类目/属性不违背意图。
  - R2 部分相关:同品类或相近用途,但规格/材质/年龄段/场景等维度的要求有偏差。
  - R1 不相关:品类/用途不符,或明显错误/违禁/空结果。
  
  
  ## 指标说明
  
  - **相关性**:1=低,2=中,3=高。
  - **「仅 3 相关」**:只把打分 3 视为相关;**「2_3 相关」**:把 2 和 3 都视为相关。
  
  | 指标 | 含义 |
  |------|------|
  | **P@5, P@10, P@20, P@50** | 前 K 个结果中「仅 3 相关」的精确率 |
  | **P@5_2_3 ~ P@50_2_3** | 前 K 个结果中「2 和 3 都算相关」的精确率 |
  | **MAP_3** | 仅 3 相关时的 Average Precision(单 query) |
  | **MAP_2_3** | 2 和 3 都相关时的 Average Precision |
  | **AUC_3** | 仅 3 相关、1/2 不相关时,随机相关项排在随机不相关项前的概率 |
  | **AUC_2_3** | 2 和 3 相关、1 不相关时的同上 AUC |