本周工作总结:
-
增加 agent 管理与知识文件管理功能,支持再前端界面创建、查看、删除、重命名 agent。支持批量初始化agent,初始化过程会调用 INIT_MODEL 生成 50-100 条该 agent 可以回答的问题
-
增加前端预览功能,支持在模型回答界面直接预览文档内容,便于查看 agent 回答情况。
-
修改路由 agent 的提示词,使路由模型的回答时间缩短至平均三秒,最多不超过四秒。修改回答 agent 的系统提示词,将图片连同原markdown文件一同以系统提示词形式传入。
-
增加批量测试入口,同时支持批量测试用例的导入。同时支持批量运行与准确率模型自评估。
-
引入 Docling PDF 提取流程,使用模型将提取 PDF 重整理,初步实现较大文件拆分、提取。初步解决大文件直接输入模型时响应慢、上下文过长问题
问题与洞察:
-
为保证内容连贯性,部分 agent 的系统提示词中存在带有较多图片、上下文过长的问题,这些 agent 在回答过程中首字输出时间可能会到10s(包含路由时间),总回答时间达20秒
-
Docling 在处理带有图片文档、画面较复杂文档时,会导致导出文件内容错位,观赏性不佳,因此可能需要大模型辅助将原本内容进行调整,以尽量还原原文件情况
-
文件越大,模型响应时间越长,因此可能需要一定程度的拆分文件,但这可能导致模型过多,路由文件过长,此情况可能需要多级路由,同样会导致消耗更多时间
-
对于需要上下文辅助理解的复杂图片,即使在添加了图片说明的情况下,模型的识别结果可能仍不准确。
下周重点工作:
-
增加文件导入、一键拆分入口
-
完善批量测和评估系统,建立标准测试集,统计路由准确率、回答正确率、引用命中率和平均响应时间。