金融和大模型的“两层皮”问题

2023-09-20 09:04

脑极体

关注

几年前，我采访一位产业专家，他提到了一个高科技到产业落地的主要困惑：两层皮。

一些特别牛的技术成果在论文上发表了，这是一层皮。企业的技术人员，将这些成果产品化、商品化的时候，可能出于工程化的原因，会做一些简化，这是另一层皮。

两层皮之间，是有gap的，就像卖家秀和买家秀一样，并不是融合且一致的。

而往往是那些有技术人才、研发能力、转化意愿的企业，会先碰到“两层皮”的问题，产生对技术有效性、ROI回报率不明确的疑虑。

在冲入大模型热潮的各路人马中，金融机构可能是率先遭遇“两层皮”挑战的。

我们知道，金融产业一贯是新技术的早期采用者，在AI方面的尝试很早就开始了，可以说是产业AI化的“优等生”，更是有着良好的信息化、数字化基础。金融机构的前中后台各个场景中，都有被大模型降本增效的空间。因此，金融也被认为是大模型落地的首选场景。

作为大模型落地的先行者，金融领域如果解决不了“两层皮”的问题，意味着大模型在实际应用中还是存在卖家秀和买家秀的差距。

本文希望说清楚，究竟是哪些问题拉开了金融和大模型之间的gap？

问题一：以谁为主？

既然是做大模型，当然是由OpenAI/BAT这样的科技企业和技术公司为主导了，而这也是金融机构不想看到的事。

有个金融领域的专家告诉我们，这波大模型的热度起来之后，金融机构都特别焦虑，有一种FOMO（Fear of Missing Out害怕错过）情绪。

因为上一波技术浪潮，智能手机和移动互联网崛起，导致传统银行、券商的很多业务，被互联网金融公司分走了。在业内人看来，这种“史诗级的悲剧”绝不能重演。

在技术焦虑的驱动下，金融机构非常积极想跟上大模型的风口，几乎不需要科技厂商做太多市场教育，整个行业在接纳大模型这件事上表现极其良好。

同时，金融机构也非常重视将金融大模型的“核心筹码”牢牢掌握自己手里，强调“以我为主”。有银行业人士提出：只有适应银行的大模型，才是真正可以深度应用到场景里、业务流程中的大模型。具体怎么做呢？

一类是硬筹码。

对金融机构来说，数据安全隐私合规，是没有妥协的硬指标，有非常严格的要求。这也就导致，大模型落地金融更加需要本地化的搭建和私有化部署、运行。

本地部署的要求，对大模型厂商来说有利有弊。有利的地方是，相比其他行业直接调用API接口的MaaS模式，本地部署的客单价高、利润大，商业价值更高。不利的地方在于，私有部署需要在云化方案、数据处理、存储、模型训练、提示工程、运维服务等多方面，形成一套完整的解决方案，竞争焦点不仅是基座模型本身，这就增加了技术服务商的成本和难度。

另一类是软筹码。

金融大模型要表现良好，需要专有数据的精调、领域知识的引入、基于场景的反馈，而银行业本身的数字化基础非常好，数据积累深厚，这便成了掌握在手中的软筹码。

摩根斯坦利公司在研发生成式AI产品中，就结合超过10万份财务报告、内部资料和金融文献等，对OpenAI的基础模型进行微调。据透露，我国农业银行业也沉淀了2.6TB的高质量训练数据，用于大模型的训练。此外，基础大模型虽然通识能力很强，但“专业课”能力不足，缺少金融专业知识，加上金融场景业务复杂，初出茅庐的大模型，要形成高质量的服务能力，成为优秀的“AI副驾驶”，并不容易。

这就要求，大模型厂商和技术公司，改变“技术为中心”“我是来赋能/颠覆你的”的惯有思路，增强服务意识，与金融客户合作，以金融客户为主。

大模型落地金融绝不是，也不能是又一次“技术颠覆行业”。无论是通用大模型厂商还是ISV服务商集成商，都要在“客户为主”这条baseline（基线）上跳舞。

问题二：融合为什么难？

以金融机构为主，那科技公司岂不是成了“大模型施工队”，只能收点辛苦费，发挥不了技术创新性了？

大no特no。

一来，金融AI不是新事物。

金融机构，并不是大家想的那样，面对AI一窍不通。事实上，在所有行业里，金融领域的“含AI量”绝对是排名前列的。几年前我采访国内某985高校人工智能学院的院长，对方直言，AI方向的学生毕业后不去BAT、不去创业公司，去的是招商银行这类金融机构下面的信息中心/技术中心，搞金融的人工智能。

所以，金融AI的趋势其实早在几年前，就已经大幅开展了，这也是为什么今年大模型热度刚起，国內工行、平安、农行、招商银行、中信银行等一大波银行，能很快组建了自己的GPT大模型专项研究团队。银行能及时行动，靠的就是几年来投入AI的积累。所以，以金融机构为主，也做得好金融大模型。

二来，大模型是个新事物。

大模型究竟比这些“传统AI”强在哪里，能干什么？这是一个完全空白的新问题。

理论上讲，大模型可以贯穿银行全产业链的各个环节，每条业务线、每个智能都能找到LLM的应用场景。但现实中，全环节全面上马大模型，怎么跟业务结合都不清楚，意味着会有大量探索是失败的、浪费的。

要加速探索、减少成本、降低风险就必须金融机构和科技公司一起，让金融专家、算法科学家、工程师、测试员等坐在一起，一点一点地共同探索，深入洞察场景，对需求“去伪存真”。

有金融机构的负责人直言，今天金融业能够获取的智能化应用非常丰富，翻开AI企业的金融产品推介手册，可以看到上百个细分能力，但如何选取最合适的整合到自家机构的业务中，这个过程中会有大量的试错。

目前来看，业内基本已经达成共识，金融大模型，必须优选场景。有几个关键词：

1.高频次。在一些重点场景、重点应用上，尽快让大模型可以上岗解决问题，降低应用的门槛。比如智能客服、智能投顾等原本的劳动密集型岗位，可以很快带来显著的降本增效成果。

2.高价值。对于一些有社会价值、商业价值的领域，率先开始探索。比如普惠金融，就是目前从政府到民间都非常看中的金融服务，需要精准的数据洞察、更低成本、高可及性的服务能力，去综合降低中小微企业/商家的金融成本。其中，大模型的多模态表达能力、强大的理解分析能力都可以发挥很好的作用。

3.易部署。不少金融从业者，听到大模型的第一反应是，这事儿小模型能干吗？大模型对硬件基础设施的算力、稳定性等都提出了更高的要求，金融机构又在加速推进国产化硬件，各个业务线都部署大模型，带来的性能压力、成本压力、部署压力都是非常大的。所以，大模型压缩优化后或者同样效果的小模型，可以落地的业务场景，比如大模型生成银行理财产品推荐建议，大模型作为券商机构的研究助理，对这些已经在应用的传统AI，用大模型进行升级，不会增加过高的算力成本和工程量，是更易落地的渐进式场景。

正因为大模型是一层皮，实际应用是另一层皮，两层皮怎么融合，在哪些场景优先融合，是一条无人走过的路。金融机构和科技企业，都不能独行，唯有紧密配合，才能寻找到金融场景与大模型之间的最佳融合之路。

问题三：镣铐怎么这么多？

是不是找到场景，重点攻克，然后规模化复制，金融大模型就能突飞猛进了？

我们说金融机构“人多、钱多、技术多”，只是相对其他行业而言。现实中，金融机构也不可能拿出无限的预算、投入无限的人力、开放无限的场景，供大模型随意大显身手。而且，金融领域还存在大量的中小银行、券商，能负担的技术创新成本也是有限的。

一位银行从业者提到AIGC就说：竞争是加剧的，人员是有限的，人才是缺乏的，费用是紧张的。

可以说，带着镣铐跳舞，正是金融和大模型“两层皮”“卖家秀和买家秀”的关键原因。

比如算力的问题。国产化替代进程中，金融大模型要打破训练昂贵、算力成本高的桎梏，对模型厂商的硬件基础、自研能力、生态兼容能力、软件协同优化，提出了综合的考验。

目前，头部云厂商都下大力气在自研硬件上，比如百度的昆仑、阿里的倚天、华为的昇腾，以及配套的软件、生态，没有这些很难真正拿下金融大模型。

还有技术本身的限制。坦率来说，大模型技术本身还存在不少问题，尤其是在金融领域落地，必须解决幻觉问题，胡说八道对严谨的金融业务是不可接受的。模型黑箱性会导致AI智能决策不可信、不敢信，无法真正用于金融投顾、市场分析决策。

另外，金融机构也会衡量ROI投入产出比。但因为金融场景中，已经沉淀了大量的传统AI，比如智能客服，大家可能都接过机器人打来的产品推销电话、账单催收电话。

所以引入大模型后，究竟能给客户带来多少收益，回报产出比ROI怎么评估，哪些是大模型带来的提升，这些目前还没有一个明确的衡量标准。

无法量化大模型给业务带来的贡献，显然会导致大模型厂商的无序竞争，或者比拼客户关系，这也成为金融大模型效果不彰的一个隐忧。