graphRAG在商品搜索中如何使用?我想将他用于,对商品的模糊查询。 离线输出处理端: 我们的商品没有格式化的类别标签等字段,可以用大模型进行提取 风格 类别 标签 材质 功能特性 等,但是问题是:他们表达形式各异,如果要做成一个体系、做归一化,成本较高。 在线端:用户的搜索可能是模糊搜索,比如,给我找找清新风格的裙子,那么通过关键词搜索是比较差的,基于graphrag的思想如果能够得到“清新”分隔的商品集合的一个概览,就很好,直到当前店铺的“清新”风格有哪些可供选择,有哪些重要的考虑点,再进一步匹配看有哪些适合我的。
- 现在,对于图片分析的分析,是通过工具调用(analyze_image_style),将工具说明注入了提示词,大模型根据是否有图片判断是否要调用工具,我希望简化提示词,当有图片的时候,主动调用analyze_image_style,将图片的说明(多模态大模型返回的结果),作为工具结果追加到对话,起到和工具调用一样的效果,但是相对当前的方式,不用每次都把analyze_image_style这个工具的说明写到提示词里面。
图片分析结果,要和以前工具调用结果一样,工具调用的结果是怎么插入进去的,那么现在也要一样。
- 我希望参考analyze_image_style加上一个动态的图片分析,调用两轮大模型,第一轮的目的是让大模型根据对话历史分析要提取哪些信息,加载背景(时尚购物),加载对话历史,调用语言大模型,要求根据对话意图了解需要从图片中了解哪些信息,注意,图片中的具体内容、具体的产品、颜色、分隔、主要特性等等时尚领域的描述都要加上,根据对话上下文在这些通用的提取内容上加上特别要关注的内容,第二轮则是根据这些提取的需求调用多模态大模型。可以配置化,对于图片内容的分析调用analyze_image_style还是动态的分析,暂时使用analyze_image_style。
系统提示词,要指导,根据搜索结果判断可以直接引用搜索结果呈现给用户还是需要修改query重新规划搜索。搜索也应该是一整套方案,可以发起多个query。 搜索工具层面,对于搜索结果要调用LLM判断,分析top20条结果,为每条结果打标签,分三种层级:完美匹配、部分匹配、不相关,最后给出top20的一个总体的判断。 彻底替代 extract_products_from_response,引入结果仓库(Result Registry),用于存储SearchResult,为可呈现的“引用包/搜索结果块”。 引用应该是嵌套在文本中,比如:我为你挑选了xxx(引用的搜索结果块 页面上将呈现query和结果列表),考虑到xxx,也挑选了(引用的搜索结果块2),接下来你可以:xxx
以上纯属示例,表示搜索结果块是可以在输出文本中被引用的。并且,提示词也要通用,不要为我的个例所影响,要考虑如何做到通用,适合各种电商品类。
请深度思考如何让 最终 AI 消息 可以引用某次搜索的结果,而不是重新复述,并且废除extract_products_from_response这种方法。要规划一套健全的商品搜索结果的管理、和引用的方法。
请帮我补充一个功能:前端,对于渲染的每一个商品([SEARCH_RESULTS_REF:xxx]渲染的搜索结果),鼠标hover上去的时候,悬浮可供点击的两个东西:
- Similar products: 点击后,从右侧拉出、覆盖大部分页面、保留部分背景(我不知道这种技术叫什么,实现类似效果即可)展现的内容是,以该商品未标题,发起商品搜索,页面展示搜索结果。
- 一个勾选框,点击后为勾选状态。可以勾选多个商品。 下方也悬浮两个菜单,一个ask,一个compare。 如果是点击了ask,那么,将引用这两个商品进行继续对话,如果点击了compare,那么,也是从右侧拉出一个页面,覆盖到上面,对这两个商品进行对比,页面内容为空,提示暂未实现即可)
如果我要引用其中几款商品,进行对话,请给我一个后端(LLM、智能体交互方面)的方案 前端,对话框里面,也要显示引用的商品,每个引用的商品右上角给一个删除号,下面正常聊天,点击发送后,后端要引用这几款商品进行对话。 请深度思考、设计智能体如何支持这个 chat with的功能
请帮我补充一个功能:前端,对于渲染的每一个商品([SEARCH_RESULTS_REF:xxx]渲染的搜索结果),鼠标hover上去的时候,悬浮可供点击的两个东西:
- Similar products: 点击后,从右侧拉出、覆盖大部分页面、保留部分背景(我不知道这种技术叫什么,实现类似效果即可)展现的内容是,以该商品未标题,发起商品搜索,页面展示搜索结果。
- 一个勾选框,点击后为勾选状态。可以勾选多个商品。 下方也悬浮两个菜单,一个ask,一个compare。 如果是点击了ask,那么,将引用这两个商品进行继续对话,如果点击了compare,那么,也是从右侧拉出一个页面,覆盖到上面,对这两个商品进行对比,页面内容为空,提示暂未实现即可)
要持久化session,每一次对话都要保存起来,左侧例举出来,点击其中一个就可以继续进行对话。
- 现在用户的对话,和AI的回复,差别不明显,比如一个靠做一个靠右?请你思考一个简单的做法,然后 用户的发言,是可编辑的,也就是,之前的某个轮次,用户输入框的内容可以修改,修改后点击发送,则从这个地方开始对话、原来的这里之后的内容就清空(覆盖)掉了 如何设计比较好