WAIC2024|大模型“已读乱回”怎么办？合合信息破局方案亮相

7月4日至7日，2024世界人工智能大会在上海拉开帷幕。现阶段，“百模大战”现象背后的中国大模型发展前景与堵点仍然是各界关注的焦点。如何帮助大模型在信息的海洋中快速找准航向，在数据的荒漠中找到高质量的“水源”？合合信息在本次大会上展示了大模型“加速器”解决方案。

据了解，在大模型训练的上游阶段，“加速器”中的文档解析引擎将助力大模型突破在书籍、论文、研报等文档中的版面解析障碍，从源头为模型训练与应用输送纯净的“燃料”，助力大模型跑得更快；“加速器”还加载了行业领先的acge文本向量化模型，助力大模型解决“已读乱回”的“幻觉”问题，让大模型在正确的航线上行驶得更远。

大模型发展需要“智慧燃料”

如果将大模型比喻为正在疾驰的科技列车，语料便是珍贵的“燃料”。对于中国的大模型企业而言，语料短缺问题更为严峻。当前大模型数据集主要为英文，中文语料占比较低；无线表、跨页表格、复杂公式等元素的处理仍是大模型语料处理中的另一个“拦路虎”。

文档解析技术是支撑大模型语料训练的关键技术之一，面临着从海量文档中高效提炼“智慧燃料”的艰巨任务。合合信息的文档解析引擎具备强大的“动能”，最快1.5秒可解析百页长文档中的文本、表格、图像等非结构化数据，也是当前市面上同类文档解析引擎中处理速度最快的产品之一；同时，引擎还具备优秀的文档“理解力”，可智能还原文档阅读顺序，加速了模型在预训练、开发、使用落地等多方面的流程。

图：大模型使用文档解析引擎之前（左框）和之后（右框）的效果对比。使用后大模型具备了更快速、优秀的文档要素分析、表格内容识别能力。

金融报表、行业报告等高知识密度的文档中，表格的含义是最精华的数据指标。失之毫厘差之千里，一个单元格的理解问题，可能导致整个表格的识别结果产生误差，所以表格的还原准确率，直接影响着模型问答的效果。在现场，参观者可选择物理、医学、金融、社会学等多个知识领域的文档，向大模型提问专业问题，例如对特定表格内容的总结、关键要素的分析等。对比测试结果显示，加载了文档解析引擎的大模型，在回答问题的速度、准确度上更胜一筹。

文档解析引擎帮大模型“读懂”图表

在文档解析范畴中，针对图表类素材的识别、内容理解是多数大模型亟待解决的障碍，合合信息大模型“加速器”则打通了这一堵点：引擎能够深度“洞察”图表内容，对研报、论文等文档中的柱状图、折线图、饼图、雷达图等十余种常见图表进行“还原”，巧妙转化大模型能够理解的markdown格式，使数据和图表的价值潜能充分释放。

在文档解析引擎的帮助下，大模型可以直接获取图表原始的结构化数据，高效地学习理解商业研报和学术论文等专业文档中的论证逻辑，提升语言理解、数据处理、知识推理分析的效率和准确性，满足更高价值的金融和学术等应用场景的需要。

在实际应用场景中，图表的呈现形式多样。受美术排版、内容风格影响，部分图表除坐标系区间外，不会显示具体的节点数值，给大模型的“认知”工作带来了困扰。值得关注的是，合合信息文档解析引擎已经能够做到在图表不显示具体数值的情况下，仅依据坐标轴区间估算具体数值，实现了行业级突破。

图：文档解析引擎基于坐标轴区间，对不显示具体数据的图表进行数值估算。

acge模型：为大模型穿越信息迷雾“导航”

如果说文档解析是为大模型加满油，acge模型则是为其配备了精准的“导航系统”。合合信息大模型“加速器”加载了acge_text_embedding模型（简称“acge模型”），如同“指南针”一般，引导大模型在信息的汪洋大海中准确定位目标，减少“幻觉”发生，提升回答问题的准确性和针对性。

acge模型通过对大量中文文本数据的深入学习，有效提取文本特征，帮助大模型快速在信息的海洋里“捞针”，其在分类和聚类任务中展现出高准确率，让大模型更准确地理解专业问题。模型不仅在信息检索和分类任务上展现了卓越的性能，更通过持续学习机制，克服了传统神经网络的遗忘难题，为各行各业大模型的智能化升级提供了强大的推动力。

与头部厂商共寻大模型专业化发展之路

在表格内容还原、复杂样本处理、多语言文档识别等方面，合合信息大模型“加速器”具备高准确性和稳定性，大幅提升了模型的理解力，并通过其强大的多语言识别、多类型支持能力，为多个行业提供了高效、准确、实用的文档解析服务。本次世界人工智能大会现场，合合信息与百川智能携手，穿透双栏、多栏、表格、图片等复杂的版式，从金融、社科等多领域文档图像中快速提取关键信息，精准地回答用户“刁钻”的专业问题，引起了业内人士的关注。

在大模型文档处理场景中，合合信息与百川共同探索技术应用新范式，破解困扰大模型产业已久的多文档元素识别、版面分析难题，将对百页文档的整体处理速率提升超过10倍。

百川智能表示，大模型技术应用到千行百业，除了模型底层技术能力提升，离不开与行业知识库的协作。大模型+知识库能解决大部分企业定制化需求，有效提升工作效率。例如文档解析是企业工作流中最常用到的，它的表现关乎数据输入准确性、信息提取的完整性及作用于应用场景的扩展，可以说深度铸就了广度。与合合信息等专业伙伴之间的紧密配合，可以共同克服这些技术和场景瓶颈，未来也希望能汇集各方力量，共同推动大模型落地行业应用的进步。

合合信息智能创新事业部总经理唐琪提到，目前，大模型“加速器”已被多家大模型厂商应用于金融、医学、财经、媒体等多领域的文档的解析中，助力大模型更顺利地接轨“专业课”，它不仅仅是一套技术工具，更是推动行业专业知识管理革新、提升业务效率的重要基石。未来，大模型加速器将陪伴更多行业级知识库的建立，让大模型的服务润泽社会各个角落，实现“智能触手可及”。

通讯员  何禾

校对 陶善工

编辑 : 徐晓风