最近更新时间:2024.05.17 10:51:03
首次发布时间:2024.04.17 14:21:04
本节将说明如何基于一个已创建的知识库做在线检索与基于 LLM 进行问答。
说明
在知识库列表页选择对应的知识库,并点击「检索测试」按钮进入检索测试界面。
下图为检索测试界面。
左侧为检索测试的参数设置,右侧为检索和对话的界面。下表为各个参数的详细信息:
参数 | 作用 | 取值范围 |
---|---|---|
使用大语言模型生成回答 | 控制是否使用大模型总结背景知识回答问题。 | |
prompt 编排 | 当打开「使用大语言模型生成回答」时可设置。
在组织 prompt 时,您可以给大语言模型一些指示。以贴合您的使用场景。例如,让大语言模型使用检索到的文本作为背景信息回答问题,并在检索到的信息不能回答用户问题时转接人工客服,等等。 | |
返回文本片数量 | 控制最终检索返回的文本片数量。 | 如果没有打开重排模型:[1, 200] |
启用重排模型 | 控制是否使用重排模型对检索到的文本片进行重新排序。 | |
文本片内容 | 选择检索到的文本片会带有哪些信息:
除了上述四个系统预设的字段之外,如果在创建知识库时在知识库字段中设置了其他元信息字段,如作者、内容主题等信息,这些字段也会出现在文本片内容的选择框中,您可以选择打开相应字段开关,丰富文本片携带的信息。 | |
高级配置-召回数量(Top K) | 召回是指从海量的候选文本片中找出与问题最相关的 K 个文本片的过程。仅在打开了重排模型的时候可设置此项。建议设置召回数量略大于返回文本片数量,可提高检索性能。 | [1, 200] |
高级配置-Dense Weight | 在创建知识库时,如果选择的向量化模型和索引算法支持混合检索,则检索时系统会同时考虑问题与候选文本片的语义相关性和字面上的匹配程度,获得更准确的检索结果。 | [0.2, 1] |
高级配置-标量过滤 | 创建知识库页面中过滤字段未设置时,表示不做过滤,标量过滤没有可选择的字段名称。 | |
应用设置 | 当修改相关参数后,需要点击「应用设置」按钮使新设置生效。保存后,如果检索与对话区域存在历史对话,需要开启新的对话来应用设置。 | |
导出 API 参数 | 保存设置后,您可以点击「导出 API 参数」按钮获得 API 调用的请求体,便于您将调试好的设置嵌入您的应用当中。 |
在检索与对话界面,您可以提出您要检索的问题,如果没有打开「使用大语言模型生成回答」,则系统会返回与问题最相关的若干个文本片:
点击更多信息,可以查看这些文本片的召回分数和重排分数(如果打开重排模型)
如果打开了「使用大语言模型生成回答」,模型会将检索到的文本片组装到 prompt 编排区域的 prompt 中,再输入大语言模型,由大语言模型根据检索到的背景信息回答问题。
对话框下方显示参考文本片的来源文档。点击更多信息按钮可以查看检索到的文本片的召回分数和重排分数,下方可以看到 prompt 组装后最终的完整 prompt。
说明
大语言模型的输入字符数量有限制,为了避免超出限制,系统在组装 prompt 时会截断过长的文本片。请根据选用的大语言模型的输入窗口大小设置合理的返回文本片数量。
当前检索测试暂只支持单轮对话,即一次提问和检索(回答)。当系统返回结果后,需要点击「重新开始对话」按钮清空对话记录,再次进行检索测试。
接口详细说明请参考:search接口说明