Blame view

README_prompts.md 3.33 KB
46f8dd12   tangwang   1. add prod under...
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
  
  graphRAG在商品搜索中如何使用?我想将他用于,对商品的模糊查询。
  离线输出处理端:
  我们的商品没有格式化的类别标签等字段,可以用大模型进行提取 风格 类别 标签 材质 功能特性 等,但是问题是:他们表达形式各异,如果要做成一个体系、做归一化,成本较高。
  在线端:用户的搜索可能是模糊搜索,比如,给我找找清新风格的裙子,那么通过关键词搜索是比较差的,基于graphrag的思想如果能够得到“清新”分隔的商品集合的一个概览,就很好,直到当前店铺的“清新”风格有哪些可供选择,有哪些重要的考虑点,再进一步匹配看有哪些适合我的。
  
  
  
  
  1. 现在,对于图片分析的分析,是通过工具调用(analyze_image_style),将工具说明注入了提示词,大模型根据是否有图片判断是否要调用工具,我希望简化提示词,当有图片的时候,主动调用analyze_image_style,将图片的说明(多模态大模型返回的结果),作为工具结果追加到对话,起到和工具调用一样的效果,但是相对当前的方式,不用每次都把analyze_image_style这个工具的说明写到提示词里面。
  
  图片分析结果,要和以前工具调用结果一样,工具调用的结果是怎么插入进去的,那么现在也要一样。
  
  
  2. 我希望参考analyze_image_style加上一个动态的图片分析,调用两轮大模型,第一轮的目的是让大模型根据对话历史分析要提取哪些信息,加载背景(时尚购物),加载对话历史,调用语言大模型,要求根据对话意图了解需要从图片中了解哪些信息,注意,图片中的具体内容、具体的产品、颜色、分隔、主要特性等等时尚领域的描述都要加上,根据对话上下文在这些通用的提取内容上加上特别要关注的内容,第二轮则是根据这些提取的需求调用多模态大模型。可以配置化,对于图片内容的分析调用analyze_image_style还是动态的分析,暂时使用analyze_image_style。
9ad88986   tangwang   up`
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
  
  
  
  
  
  
  
  
  
  
  
  系统提示词,要指导,根据搜索结果判断可以直接引用搜索结果呈现给用户还是需要修改query重新规划搜索。搜索也应该是一整套方案,可以发起多个query。
  搜索工具层面,对于搜索结果要调用LLM判断,分析top20条结果,为每条结果打标签,分三种层级:完美匹配、部分匹配、不相关,最后给出top20的一个总体的判断。
  彻底替代 extract_products_from_response,引入结果仓库(Result Registry),用于存储SearchResult,为可呈现的“引用包/搜索结果块”。
  引用应该是嵌套在文本中,比如:我为你挑选了xxx(引用的搜索结果块 页面上将呈现query和结果列表),考虑到xxx,也挑选了(引用的搜索结果块2),接下来你可以:xxx
  
  以上纯属示例,表示搜索结果块是可以在输出文本中被引用的。并且,提示词也要通用,不要为我的个例所影响,要考虑如何做到通用,适合各种电商品类。
  
  请深度思考如何让 最终 AI 消息 可以引用某次搜索的结果,而不是重新复述,并且废除extract_products_from_response这种方法。要规划一套健全的商品搜索结果的管理、和引用的方法。