大模型在银行业客服中心的应用浅析.docx

随着金融科技领域的不断发展，金融机构改变了传统方式，将更多服务从线下转移到线上，为了提升客户体验和效率，金融机构不断探索自然语言处理、机器学习等技术手段来优化客服服务，其中大模型技术被广泛应用，成为当前最热门的研究方向之一，是目前通往AGI的最佳实现方式.大模型最早的关注度源于N1.P领域，随着多模态能力的演进，CV领域及多模态通用大模型也逐渐成为市场发展主流.本报告主要针对当前最为热门的大模型进行研究和分析，重点关注了它们在自然语言处理领域中具有的突出表现以及客服中心未来的应用前景。同时本报告还探讨了目前大语百模型所面临的挑战和限制，并提出了相应的优化建议，旨在为银行业客服中心大模型研究提供参考。一、大模型发展背景(一)大语言模型诞生阶段 2017年谷歌推出用于处理自然语言任务的Transformer神经网络架构. 2018年OpenAI发布GPT-1.(二)大语言模型探索阶段 2019年OPenAI发布GPT-2部分开源模型. 2019年谷歌推出BERT模型. 2020年百度推出可理解语义的ERN1NE2.0. 2021年OPenAI推出能实现文本生成图像的DA1.1.-E模型. FaceBooK推出CUP模型.华为发布盘古大模型。 OpenAI推出Codex.(三)大语言模型爆发阶段 2022年OPenAl推出ChatGPT-3.5. 2023年OPenAl正式发布GPT-4预训练大模型，实现图像视频.相比于GPT-3.5性能表现显著提升，在一些专业和学术领域上已经达到了人类水平.GPT-4具有一定的多模态能力，能够接收图文结合的输入，并输出文本回宣,应用范围得到进一步拓展. 微软基于ChatGPT发布NewBing.微软宣布将GPT-4接入OffiCe全家桶. FaceBook发布1.1.aMA-13B. 谷歌更新Bard并推出PaIM2模型. 复旦团队发布MOSS.阿里发布大语言模型“通义千问"，具备多轮对话、文案创作、逻辑推理、多模态理解、多语言支持等功能，以及外部增强API目前钉钉、天猫精灵等产品已率先接入通义千问测试，高德地图、饿了么、念马、优酷、淘票票等产品也将有序接入通义干问大模型,阿里巴巴所有产品未来将接入大模型，同时将与0PP0、吉利、智己等企业展开合作.商汤发布"日日新SenSeNova"大模型体系，推出自然语言处理、内容生成、自动化数据标注、自定义模型训练等大模型及能力，包括语言大模型”商量SenseChaC和一系列生成式Al应用.华为推出的盘古大模型则聚焦AIforIndustry,赋能干行百业应用落地，有望推动人工四能开发从.作坊化"到"工业化"升级.自研MOdelArtS2.0Al开发平台、昇鹿910等算力芯片、兆海A5900-A系列等AI训练服务器.昇腾Al产业生态已发展20+家硬件合作伙伴，1000+家软件伙伴.腾讯混元Al大模型.HunYuan协同腾讯预训练研发力量，旨在打造业界领先的AI预训练大模型和解决方案.稿讯大模型可接入微信、游戏、短视频、广告、TOB端等优势业务，腾讯在SaaS加速器、微信等业务均有大星合作伙伴.百度“文心一言”中文理解能力强,并旦支持从文本生成图像、音频和视频，多模态能力。百度Rl大底座可提升千卡并行加速比90%以上,目前已发布36个大模型以及H个行业大模型，生态已凝聚500万开发者.二、大模型发展历程和架构(一)大模型发展历程从基于规则到基于人的意识，大型语言模型是技术进步的必然产物.自然语言处理发展到大型语言模型的历程可分为五个阶段：规则、统计机器学习、深度学习、预训练、大型语言模型.从1956年到1992年，基于规则的机器翻译系统在内部把各种功能的模块串到一起，由人先从数据中获取知识，归纳出规则后教给机器，然后由机器执行这套规则，该阶段为规则阶段；从1993年到2012年是统计机器学习阶段，机器蹈译系统可拆成语言模型和翻译模型，该阶段相比上一阶段突变性较高，由人转述知识变成机器自动从数据中学习知识，当时人工标注数据量在百万级左右；从2013到2018年，进入深度学习阶段，其相比于上一阶段突变性较低，从高散匹配发展到连续匹配，模型变得更大，标注数据最提升到千万级；预训练阶段存在于2018年到2022年，跟之前比较,最大变化是加入了N1.P自监饯学习，将可利用数据从标注数据拓展到了非标注数据.图-大模型发展阶段大模型阶段在数据标注、算法、人机关系三方面的性能均有踣越式提升.从2023年起开始进入大模型阶段，该阶段的突变性很高,已经从专用任务转向通用任务或是以自然语言人机接口的方式呈现，旨在让机器遵循人的主观意志。在数据标注方面，大模型已经从原来需要大盘标注数据进化到运用海JS非标注数据，越来越多数据被利用起来，人的介入越来越少，未来会有更多文本数据、更多其它形态的数据被模型运用.在算法方面，大模型的表达能力越来越强、规模越来越大，自主学习能力越来越强，从专用向通用趋势显著。（二）大模型技术路线大模型技术路线各有侧至.MaaS已成产业趋势.大型语言模型研究的发展有三条技术路线：Bert模式、GPT模式、混合模式.其中国内大多采用混合模式，多数主流大型语言模型走的是GPT技术路线,亘到2022年底在GPT-3.5的基础上产生了ChatGPT.到2019年后,Bert路线基本没有标志性的新模型更新，而GPT技术路线则趋于繁荣.从Bert往GPT演化的过程中，模型越来越大,所实现的性能也越来越通用.大模型未来发展将趋于通用化与专用化并行、平台化与简易化并进.同时，MaaS模式将成为AI应用的全新形式且快速发展，重构AI产业的商业化结构生态,激发新的产业缝分工和商业模式.未来，大模型将深入应用于用户生活和企业生产模式，释放创造力和生产力，活跃创造思维、电塑工作模式，助力企业的组织变革和经营效率，赋能产业变革.(三)大模型技术架构以ChatGPT背后技术为代表的人工智能大语言模型正在催生新一轮人工智能浪潮，在全球范围掀起人工智能大语言模型科技竞赛，科技巨头加快布局，生成式Al领域风起云涌.AI大模型的技术架构分为基础层、技术展、能力层、应用层.用户层五大板块，基础层涉及硬件基批设施和数据、凭力、算法模型三大核心要索.技术属主要涉及模型构建，目前Transformer架构在Al大模型领域占据主导地位，如BERT、GPT系列等。AI大模型包括N1.P大模型、CV大模型、多模态大模型等.能力层拥有了文字、音频、图像、视频、代码、策略、多模态生成等能力，应用于多个领域，为客户提供产品和服务，架构图如下所示。图-Al大模型技术架构三、大模型在客服中心应用大模型在客服中心研发应用需具备数据资源、算法和模型、资金和资源三要素.当前大模型在客服中心应用面临算力需求大、训练和推理成本高、数据质量不佳、跨场景适配效果弱，知识库构建成本高、隐私和安全问题等挑战,在客服中心应用主要存在如下问题：数据问题客服行业线上服务数据不足，数据的多样性无法保障；行业数据标注困难,限制了数据积累数量和质量.知识阵知识泛化，条数和质量不高.算法问题对于客服线上服务新场景，初期存在语料少，知识库欠缺等情况,模型能力需要积累项目上的经验，行业模型需要系统性提升.大模型考睑全栈大模型训练与研发能力，如数据管理经验、箔力基础设施私有化建设能力及工程化运营能力、底层系疣优化和算法设计能力等。遗辑推理问题豆杂、严连、灵活的逻担推理和自学能力仍然是目前大部分大语言模型面临的核心挑战.目前所知的大语言模型的涌现能力决定了大语言模型在逻辑推理等方面的基本表现、目前大部分大语言模型可以对人类情惑做出简单的判断,理解和情感需求的基础上创造内容是客服行业需求,在逻期推理之上理解人类情感是留能客服更高思考方式.当前多数理财顾问只能提供一些基础的产品介绍和推荐，缺乏对规模庞大、维度多样、瞬息万变的金融市场数据开展全面、深入、灵活、有效的分析，投研效率不商.时效性问题以ChatGPT为暴础模型，通常拓于历史数据迸行训练，并不具备实时获取和处理新数据的能力，难以即时更新模型中的知识储备。对于客户实时性较强的增新资讯或问题，模型可能会输出不准确或错误的信息，而要让训练数据囊括最新的客服信息，对训练的时间和成本消耗都非常大，更新速度会远慢于搜索引擎.四、大模型未来发展展望随着客户数量的不断增加，客户对客服中心服务的期望也会不断提高，银行客户服务中心如何交付功能强大的客户服务支持变得尤为由要，需要大规模深度学习和迁移学习在一定的场景下用来提升Al助手水平，并集成客服中心现有的自然语言处理、计算机视觉、智能语音、知识图谙等多个AI核心技术能力，打造银行业客服中心Al大语言模型能力体系.并健全完善生成式Al安全应用相关制度。面对科技伦理风睑,应通过建立有效的内容审核和监管机制，防止生成及传播不良和违法内容。强化大语言模型应用的技术监管和审查.探索大语言模型实际应用落地的具体风睑防范措施和手段.提升客服机器人意图理解能力.在客服中心大模型与专项数据结合，可提升客服机器人的意图理解能力，基于客服行业模型的意图解析，降低初期接入成本。利用大模型的知识图谱、自然语言处理技术和算法模型，将复杂的问题转化为简单易僮的指令，提供更准确的答案.提升视频/虚拟人交互能力。随着生成式AI与大语言模型的打通，视频/虚拟人制作周期将大大缩短,创作流程简化.同时，鉴于大模型在用户语言逐期理解上的深化，虚拟人在客服场景应用中的识别感知能力和分析决策能力将显著提高，提升沟通时的交互能力，更准确地满足用户个性化需求.