Blame view

README_prompts.md 5.85 KB
46f8dd12   tangwang   1. add prod under...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
  
  graphRAG在商品搜索中如何使用?我想将他用于,对商品的模糊查询。
  离线输出处理端:
  我们的商品没有格式化的类别标签等字段,可以用大模型进行提取 风格 类别 标签 材质 功能特性 等,但是问题是:他们表达形式各异,如果要做成一个体系、做归一化,成本较高。
  在线端:用户的搜索可能是模糊搜索,比如,给我找找清新风格的裙子,那么通过关键词搜索是比较差的,基于graphrag的思想如果能够得到“清新”分隔的商品集合的一个概览,就很好,直到当前店铺的“清新”风格有哪些可供选择,有哪些重要的考虑点,再进一步匹配看有哪些适合我的。
  
  
  
  
  1. 现在,对于图片分析的分析,是通过工具调用(analyze_image_style),将工具说明注入了提示词,大模型根据是否有图片判断是否要调用工具,我希望简化提示词,当有图片的时候,主动调用analyze_image_style,将图片的说明(多模态大模型返回的结果),作为工具结果追加到对话,起到和工具调用一样的效果,但是相对当前的方式,不用每次都把analyze_image_style这个工具的说明写到提示词里面。
  
  图片分析结果,要和以前工具调用结果一样,工具调用的结果是怎么插入进去的,那么现在也要一样。
  
  
  2. 我希望参考analyze_image_style加上一个动态的图片分析,调用两轮大模型,第一轮的目的是让大模型根据对话历史分析要提取哪些信息,加载背景(时尚购物),加载对话历史,调用语言大模型,要求根据对话意图了解需要从图片中了解哪些信息,注意,图片中的具体内容、具体的产品、颜色、分隔、主要特性等等时尚领域的描述都要加上,根据对话上下文在这些通用的提取内容上加上特别要关注的内容,第二轮则是根据这些提取的需求调用多模态大模型。可以配置化,对于图片内容的分析调用analyze_image_style还是动态的分析,暂时使用analyze_image_style。
9ad88986   tangwang   up`
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
  
  
  
  
  
  
  
  
  
  
  
  系统提示词,要指导,根据搜索结果判断可以直接引用搜索结果呈现给用户还是需要修改query重新规划搜索。搜索也应该是一整套方案,可以发起多个query。
  搜索工具层面,对于搜索结果要调用LLM判断,分析top20条结果,为每条结果打标签,分三种层级:完美匹配、部分匹配、不相关,最后给出top20的一个总体的判断。
  彻底替代 extract_products_from_response,引入结果仓库(Result Registry),用于存储SearchResult,为可呈现的“引用包/搜索结果块”。
  引用应该是嵌套在文本中,比如:我为你挑选了xxx(引用的搜索结果块 页面上将呈现query和结果列表),考虑到xxx,也挑选了(引用的搜索结果块2),接下来你可以:xxx
  
  以上纯属示例,表示搜索结果块是可以在输出文本中被引用的。并且,提示词也要通用,不要为我的个例所影响,要考虑如何做到通用,适合各种电商品类。
  
  请深度思考如何让 最终 AI 消息 可以引用某次搜索的结果,而不是重新复述,并且废除extract_products_from_response这种方法。要规划一套健全的商品搜索结果的管理、和引用的方法。
  
1a7debb3   tangwang   引用商品进行追问
36
37
38
39
40
41
42
43
44
45
  
  
  
  
  
  
  
  
  
  
897b5ca9   tangwang   perf: 前端性能优化 + 搜索...
46
  请帮我补充一个功能:前端,对于渲染的每一个商品([SEARCH_RESULTS_REF:xxx]渲染的搜索结果),鼠标hover上去的时候,悬浮可供点击的两个东西:
1a7debb3   tangwang   引用商品进行追问
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
  1. Similar products: 点击后,从右侧拉出、覆盖大部分页面、保留部分背景(我不知道这种技术叫什么,实现类似效果即可)展现的内容是,以该商品未标题,发起商品搜索,页面展示搜索结果。
  2. 一个勾选框,点击后为勾选状态。可以勾选多个商品。
  下方也悬浮两个菜单,一个ask,一个compare。
  如果是点击了ask,那么,将引用这两个商品进行继续对话,如果点击了compare,那么,也是从右侧拉出一个页面,覆盖到上面,对这两个商品进行对比,页面内容为空,提示暂未实现即可)
  
  
  
  如果我要引用其中几款商品,进行对话,请给我一个后端(LLM、智能体交互方面)的方案
  前端,对话框里面,也要显示引用的商品,每个引用的商品右上角给一个删除号,下面正常聊天,点击发送后,后端要引用这几款商品进行对话。
  请深度思考、设计智能体如何支持这个 chat with的功能
  
  
  
  
  
  
  
  
  
  
  
  
897b5ca9   tangwang   perf: 前端性能优化 + 搜索...
69
  请帮我补充一个功能:前端,对于渲染的每一个商品([SEARCH_RESULTS_REF:xxx]渲染的搜索结果),鼠标hover上去的时候,悬浮可供点击的两个东西:
1a7debb3   tangwang   引用商品进行追问
70
71
72
73
  1. Similar products: 点击后,从右侧拉出、覆盖大部分页面、保留部分背景(我不知道这种技术叫什么,实现类似效果即可)展现的内容是,以该商品未标题,发起商品搜索,页面展示搜索结果。
  2. 一个勾选框,点击后为勾选状态。可以勾选多个商品。
  下方也悬浮两个菜单,一个ask,一个compare。
  如果是点击了ask,那么,将引用这两个商品进行继续对话,如果点击了compare,那么,也是从右侧拉出一个页面,覆盖到上面,对这两个商品进行对比,页面内容为空,提示暂未实现即可)
50fcfb9d   tangwang   up
74
75
76
77
78
79
80
81
82
83
84
85
86
  
  
  
  
  
  
  
  
  
  
  要持久化session,每一次对话都要保存起来,左侧例举出来,点击其中一个就可以继续进行对话。
  2. 现在用户的对话,和AI的回复,差别不明显,比如一个靠做一个靠右?请你思考一个简单的做法,然后 用户的发言,是可编辑的,也就是,之前的某个轮次,用户输入框的内容可以修改,修改后点击发送,则从这个地方开始对话、原来的这里之后的内容就清空(覆盖)掉了
  如何设计比较好