企业拥抱大模型，腾讯云为什么值得期待？

新的时代下，就会面临新的问题。

在产业全面拥抱大模型的浪潮中，更多实际性的问题浮出水面。

如果做大模型的鸿沟是数据、算力和成本等，那阻碍产业应用与大模型结合实践的高墙则更为具体。

有初创大模型公司希望拓宽大模型更多元的知识；有智能应用厂商在思考如何与大模型结合，给用户最好的体验；更多的人仍然还纠结于算力成本、推理加速、存储、安全部署等多重因素......

千人千面，不论是做大模型的厂商还是基于大模型深入探索智能应用落地的厂商，似乎在这条实践的路上充满挑战和荆棘。

在大模型ToB方向，云厂商或许可以开出这一剂良方。

基于云，企业可以更好地调用模型API、获取算力，也可以完成私有化大模型的部署，同时还能进行数据清洗、存储、挖掘等等，充分释放其大模型能力，在满足企业数字化底层建设需求的同时，还能激发更多服务客户智能应用场景的可能性，让落地变得容易。

而作为被期待的云厂商之一，腾讯云率先给出解法。

在腾讯数字生态大会互联网AIGC应用专场，腾讯云邀请国内多家一线大模型厂商、产品应用实践负责人共同探讨当下大模型建设及AI应用场景的落地空间与实践。

那么，作为组局者，腾讯云有哪些值得期待？它能否在大模型与行业应用之间探索过程的不确定性中间给予支撑，让企业真正将大模型用起来呢？

01

什么才是阻碍大模型

与产业结合的高墙？

为什么我训练的大模型大力却没出奇迹，幻觉频出？

嵌入的数据越来越多，推理过程越来越慢？

推理过程中断了如何检测和恢复？

明明拥有同样品质的GPU卡，使用率怎么才不到50%？

单单一个智能客服场景，还没有开始商业化，前期准备成本却如此之高？

还有哪些智能应用场景是通过大模型加持的......

过去大家只是强调做大模型需要具备数据、算力、算法这些重要的基础条件，却从来没有人可以细致地说清具体该如何很好地运用起来。

那些不论是自研大模型的厂商还是基于开源模型做微调进行智能应用研发的厂商，在过去半年的实际操作过程中，诸如以上的诸多细节问题全都暴露无遗。

积极拥抱和布局大模型，可能并没有想象中那么简单。

「ToB行业头条」观察到，阻碍大模型与产业结合的高墙，使大模型能力无法完全释放的因素主要在以下几个方面。

首先是训练环节，大模型训练集群规模及算力增长需求暴增（据统计transformer类模型，训练算力平均每2年翻750倍），但很多大模型创业企业GPU算力却利用率不足50%甚至更低，造成极大的成本浪费。

比如由于众多企业对算力调度灵活性差，容易出现算力不足或算力闲置浪费的情况，有些企业会接到不同的项目，其对算力的需求往往是弹性伸缩的，如果自己创建算力中心，当遇到大的项目时，就可能会面临着扩展性不足、算力不足问题；当只接到小项目时，面临的是多余的算力被闲置了，利用率低，成本变得更高了。

也因此怎么将有限的算力用好，怎样提升集群的有效算力？怎样将GPU的利用率提升？等等问题都会成为企业在拥抱大模型中必须解决的阻碍。

其次是随着模型参数变得越来越大（本质是训练的数据越来越多），推理过程越来越慢。从过去TB级升级到PB级，甚至更大规模。大规模数据量的收集、清洗与处理的能力及处理的效果，直接影响后续的模型表现。

此外，在微调和强化学习阶段，高质量的标注数据对模型微调的效果更是会引起数量级维度的影响。

从这里可以看出，很多模型之所以大力并不能出奇迹的原因，归根结底是后面一系列系统工程并没有很好的跟上，数据虽然很重要，但如何合理的运用数据更为紧急。

三是如何持续降低推理成本的问题。如刚刚上述所言，模型的复杂度提升，推理速度变慢，为满足业务性能要求，模型推理的GPU算力性能也会变得异常的高，整个推理过程极大的提升了推理成本，同时由于算力资源利用率低的问题，再一次加重了使用成本。

由于服务成本过高，也因此可以看到当下的企业只能将大模型的能力赋予高价值的用户场景，根本做不到让这台充满魔力的引擎得到充分利用。

此外，不同行业对大模型的需求虽然也有共通之处，比如基础的对话、多模态能力等。但更多的情况下，每个行业的基础数字能力、乃至安全需求、时延需求、运维需求都不相同，再下沉到具体的智能应用环节，更是变化万千。

这也意味着，如今企业若想打好以AI技术为主的数字底座，首先要认知到如何用有限的资金，在自身能力缺乏的情况下，以多元化的方式获得更多的算力资源、算法、网络、存储等技术支撑。

最经济最合适的做法当然是采取租赁的方式获取资源。而当前被认为最靠谱的方式则自然就是寻求拥有数据、人才、算力、算法等多方面优势的云服务大厂合作。

02

为模型层提供强有力的

“基础设施”支撑

市面上绝大多数大模型厂商都不会选择通过自研去补齐自身在建设底层基础设施的短板，而是把它交给有实力的厂商去做，而自己则在擅长的部分发挥。

专注于研发大模型技术，自研出全新的GLM（通用语言模型）路径，一边做技术研发，一边做行业落地，与云厂商合作解决算力需求，这便是早已得到业内广泛认可的智谱AI做出的最优解。

通过腾讯云自研的星脉网络，为每台GPU服务器提供了3.2T的交互宽带，保证了智谱AI对超强算力的需求，相较于过去，腾讯云新一代集群的算力性能较前代提升3倍。

整体应用效果显示，其集群通信效率达90%以上，通信时延降低40%，提升20%GPU利用率，节省30%-60%的训练成本。

而专注于视频/图像生成方向的AI科技公司右脑科技也同样选择了与腾讯云合作。

一方面通过腾讯云高性价比的GPU、CFS Turbo高性能存储以及GooseFS加速能力，快速支撑起右脑科技数十亿参数图像/视频生成模型多机训练，整体降低40%算力成本，推理加速提高超过30%。

另一方面针对安全需求，腾讯云解决方案有效的解决了网站被攻击停服，网站漏洞注入，网站恶意注册等挑战。

这样的例子也仅仅是大模型企业与腾讯云合作的缩影，除了推理加速、算力支持以外，腾讯云打造了从基础设施层+加速层+TI-ONE机器学习平台层等相结合的AIGC全栈解决方案。

比如，在第一块的基础设施层面，拥有训练大模型能力的HCC高性能计算集群、星脉高性能计算网络、向量数据库的等等基础设施，可以提供可有大模型训练需求，但在软、硬件能力有所缺失的客户。

此外，在加速层、训练场景方案方面，腾讯云训练框架向下深度适配，兼容主流开源的DeepSpeed Megatron框架。经实测在A100 40G上相比Deepspeed容纳模型规模提升95%，模型性能提升了44%，并且拥有更好的扩展性。

在推理方面，通过异步调度、KV cache、算子融合等方式，相比行业常用方案，整体性能提升超过30%。如针对LLAMA2系列，优化后性能提升77%，SD场景平均提升了50%的性能。

最后是TI-ONE，一个覆盖大模型开发全流程的机器学习平台。从数据标注到交互式建模，从大规模训练的集群管理到任务提交，从在线服务的部署到模型资产的管理，腾讯云都提供了丰富的资源视角和任务视角，用户可以有效地管理数据集、镜像、代码、模型和任务。

同时，TI-ONE MaaS目前已支持20多个主流如Llama、Falcom、DOlly等等的开源模型。企业可以结合自有数据进行一键启动精调训练，每次精调完成后，都会有任务版本并记录超参快照，方便算法工程师进行调参及结果分析。最后可以挑选最佳指标模型，进行模型发布与部署。

可以看到，腾讯云底层基础设施能力和加速层，解决了用户对不同场景里大模型的需求和灵活配置问题。而TI-ONE平台，则进一步降低了用户使用大模型的门槛。

也正是基于过去在人工智能领域以及云服务领域的深厚积累，腾讯云从多个角度解决B端客户对大模型层的各类需求，设计出一条完整的商业链路。

03

应用层百花齐放

谁在落地最佳实践？

除了模型层外，整个大模型产业链中最热闹的一环，也是被认为最有价值的一侧——智能应用层，也正在ToB领域生根发芽。

人事系统、财务系统、客户管理系统、设计工具、协同办公工具、营销工具......几乎涵盖所有ToB类企服软件都在应用创新之路上争分夺秒。

腾讯云行业架构副总监李想表示，AIGC的出现加速了SaaS从流程化往智能化方向的发展，腾讯云的图像生成、视频生成、语音转文字、内容合规等AI原生能力，能够为互联网企业服务应用在内容创作、智能问答、推荐系统、智能总结等场景下的不断创新提供技术支撑。

在腾讯云SaaS+AIGC场景化解决方案中，腾讯云都有针对性地在不同业务范畴不同应用场景提供不同的能力，以试图更好地嵌入业务场景，助力ToB企业创新发展。

作为中国最大的营销与销售SaaS解决方案服务平台的珍岛集团Marketingforce便是与腾讯云深度合作共创智能应用的例子。

基于AIGC的底层能力，针对不同客群自动生成不同风格的营销内容从而触达潜在客户实现最终的营销增长目标成为企业营销的重点，珍岛集团设计了“AIGC+智能圈选人群”，“AIGC+智能营销画布策略生成”的产品方案，并通过“AI+数智人”的技术融合解决了企业在短视频与直播模式下的营销难题。

此外，在线设计工具领域，腾讯云还助力国内AI创意设计与视觉传播SaaS平台——创客贴，快速迭代AICG文生图业务，基于腾讯云Stable Diffusion 云原生部署方案，支持创客贴AI能力2周内快速上线，极大的保障了创客贴AIGC产品的快速迭代。

同样在CRM领域，销售易借助大模型让其智能客服机器人进入了互动新时代，不仅能够对客户意图进行识别，还能进行上下文解析，并开展多轮对话，引导用户逐步、有针对性地解决问题（通过大模型+向量数据库的方式提升了回答准确率的问题），彻底告别了传统的用户选择式互动，为用户提供了沉浸式、互动式的全新体验。

可以看出，当下的腾讯云正在与不同领域的ToB厂商在智能应用方面碰撞出不同的火花，也带来了诸多最佳实践（更多不同领域的不同应用场景实践内容，已收录进腾讯云与艾瑞咨询联合发布的《互联网企业服务行业技术实践指引2.0》白皮书中）。

企业服务重磅干货

写在最后

从根据大模型产业链条上不同层面给出的有针对性的解决方案来看，腾讯云要做的，是希望在大模型的每一层，比如算力层、数据层、模型层、应用层等，都能提供对应的产品。

并通过过去在每个不同场景每个行业对大模型的使用需求洞察中，不断完善其自身的工具链，让每个企业都拥有了趁手的工具，从而加速整个大模型时代的产业发展进程。

可以预见，随着大模型在产业内扎根越深，腾讯云更多关于实用主义的探索也势必会在其中发挥不可忽视的作用，届时或许人人都可以简单便捷地部署和使用大模型与应用，那么属于大模型的时代才会真正到来。