深度银行大模型研发算力瓶颈如何破局
正文内容
深度银行大模型研发算力瓶颈如何破局
今年以来，越来越多国内银行积极拥抱大模型技术，并将其广泛应用在众多金融场景。与之同时，算力瓶颈正成为布局大模型技术的一大挑战。
“算力的基础，是先进的AI芯片。但由于美国限制对华出口先进的AI芯片（包括GPU芯片），国内银行在研发金融大模型方面普遍遇到算力瓶颈。”一位股份制银行IT部负责人向记者透露。
记者多方了解到，为了解决算力瓶颈挑战，众多银行各显神通。
具体而言，大型银行干脆直接自建算力，尽管这种做法的成本投入相当昂贵，但好处在于银行具有较高的自主性与安全性，还能根据自身业务需求“定制化”地研发金融大模型。
中小银行则纷纷试水算力混合部署，即他们先在公有云的基础上，调用大型互联网企业或电信设备服务商的大模型算力服务接口，再通过私有化部署的方式开展自有数据的大模型预训练。
“目前，中小银行已形成相对成熟的云+算力服务方案，主要是引入大型互联网企业与电信设备服务商的算力资源，解决前者的大模型数据预训练与调优工作。”一位中小银行信息科技部主管向记者透露。
在他看来，随着大模型迭代频率加快，加之AI Agent与多模态入参等新兴大模型业态的兴起，银行需要更强大的算力支持，才能赶上大模型技术的最新发展应用趋势。尤其在美国限制对华出口先进AI芯片的情况下，银行仍需寻找更具稳定性与安全性的算力解决方案。
记者多方了解到，目前部分银行已尝试通过分布式架构与算法优化，将美国先进AI芯片与国产AI芯片进行整合形成新的算力聚合，在解决算力瓶颈同时实现算力“自主化”。
此外，部分地方政府也在积极搭建“算力池”，为众多企业研发行业大模型提供“底层算力支持”。
“我们正密切关注地方政府的算力池具体使用规则，或许它是银行迭代金融大模型过程的新型算力解决方案。”上述中小银行信息科技部主管告诉记者。但在实际操作环节，这项工作仍面临诸多挑战，包括如何遵守“数据不出行”的合规操作要求，如何有效避开众多企业的算力资源争夺等。
部分中小银行IT部门人士建议，相关金融监管部门不妨建立一个面向银行等金融机构的算力池，供不同规模银行开展金融大模型数据预训练，如此既能解决众多银行普遍遭遇的“算力瓶颈”，又能尽可能缩小大模型技术所带来的银行之间金融服务“落差”。但是，谁来出资购买或租赁算力，如何做好算力分配，如何搭建匹配不同银行调入接口的底层基础设施，都面临一定的实际操作挑战。
不同规模银行的差异化解决方案
记者获悉，目前有能力自建算力的，主要是国有大型银行与部分股份制银行。
究其原因，这些银行已储备一定数量的先进AI芯片，广泛用于自身金融大模型数据预训练。
“考虑到单颗先进AI芯片价格相当昂贵，若要储备一定数量的芯片，将是一笔不小的开支，这也只有大型银行与部分股份制银行有能力做到。”前述中小银行信息科技部主管告诉记者。他还听说个别大型银行已将先进AI芯片作为重要的算力资源进行储备。
与此对应的是，大型银行在自研金融大模型方面的步伐更快。
一位大型银行IT部人士向记者透露，目前他们已建立了异构的GPU算力资源池，并基于云服务部署实现算力灵活调度。
“这让我们很快基于算力算法，构建了基础大模型、金融行业大模型与场景大模型。”他直言。目前这些大模型已广泛应用在智能客服、文本生成、辅助研发、智能投顾、智能催收、大数据风控等场景。
他坦言，受美国限制对华出口先进AI芯片影响，加之银行内部金融大模型迭代速度加快，他们也发现自身的GPU芯片正在快速“消耗”。因此他们也尝试与一些大型互联网企业开展算力合作——比如共同构建算力集群与计算网络存储等底层基础设施，进一步借助外部算力资源开展金融大模型的调优迭代工作。
一位股份制银行IT部人士对此感同身受。
他透露，银行此前储备的一批先进AI芯片主要用于搭建千亿参数级别大模型与图像识别NLP等领域，目前所剩的算力资源不多，但随着多模态入参与AI Agent等大模型新发展趋势的兴起，银行需要更强大的算力资源支持。因此他们也在尝试与大型互联网企业与电信设备服务商开展合作，引入他们的算力资源研发新的大模型技术。
相比而言，绝大多数中小银行基本采用算力租赁或算力混合部署等方式，解决自身研发大模型技术的算力瓶颈。
“目前，我们主要通过租赁大型互联网企业的算力资源（即通过云端部署调用后者的算力）开展银行内部数据的大模型预训练，但每年这项算力投入仍达到数百万元。”前述中小银行信息科技部主管向记者坦言。因此他每年需向银行高层证明大模型技术在智能客服、智能投顾、文本生成、辅助研发等场景发挥日益显著的降本增效作用，才能说服他们同意继续追加算力租赁投入。
他告诉记者，为了尽可能减轻算力成本投入，他们正考虑研发轻量级的大模型，即在第三方金融科技平台所研发的大模型产品基础上进行调
深度银行大模型研发算力瓶颈如何破局
深度银行大模型研发算力瓶颈如何破局