46f8dd12
tangwang
1. add prod under...
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
graphRAG在商品搜索中如何使用?我想将他用于,对商品的模糊查询。
离线输出处理端:
我们的商品没有格式化的类别标签等字段,可以用大模型进行提取 风格 类别 标签 材质 功能特性 等,但是问题是:他们表达形式各异,如果要做成一个体系、做归一化,成本较高。
在线端:用户的搜索可能是模糊搜索,比如,给我找找清新风格的裙子,那么通过关键词搜索是比较差的,基于graphrag的思想如果能够得到“清新”分隔的商品集合的一个概览,就很好,直到当前店铺的“清新”风格有哪些可供选择,有哪些重要的考虑点,再进一步匹配看有哪些适合我的。
1. 现在,对于图片分析的分析,是通过工具调用(analyze_image_style),将工具说明注入了提示词,大模型根据是否有图片判断是否要调用工具,我希望简化提示词,当有图片的时候,主动调用analyze_image_style,将图片的说明(多模态大模型返回的结果),作为工具结果追加到对话,起到和工具调用一样的效果,但是相对当前的方式,不用每次都把analyze_image_style这个工具的说明写到提示词里面。
图片分析结果,要和以前工具调用结果一样,工具调用的结果是怎么插入进去的,那么现在也要一样。
2. 我希望参考analyze_image_style加上一个动态的图片分析,调用两轮大模型,第一轮的目的是让大模型根据对话历史分析要提取哪些信息,加载背景(时尚购物),加载对话历史,调用语言大模型,要求根据对话意图了解需要从图片中了解哪些信息,注意,图片中的具体内容、具体的产品、颜色、分隔、主要特性等等时尚领域的描述都要加上,根据对话上下文在这些通用的提取内容上加上特别要关注的内容,第二轮则是根据这些提取的需求调用多模态大模型。可以配置化,对于图片内容的分析调用analyze_image_style还是动态的分析,暂时使用analyze_image_style。
|