今日报丨微软崔宏禹：GPT-4以后，不建议再用微调进行模型适配

5月26日，微软（中国）有限公司创新技术总经理崔宏禹在上海举行的向星力·未来数据技术峰会（FDTC）上回应了当下一个广泛被提及的问题，即如何用自己的数据训练自己的模型，将私域数据与GPT的能力相融合。

崔宏禹解答道，“一般来说，我们推荐两种方式。一种是微调（在不改动预训练模型的基础上，在模型顶层增加分类器或一些特征映射，使微调后的模型能够更贴合实际使用场景），但在GPT-4以后，我们已经不建议或者已经不让大家使用微调的方式了。我们更推荐的是嵌入（将一个内容实体映射为低维向量，从而可以获得内容之间的相似度）的方式。”

(资料图片)

在会上，崔宏禹谈起微软跟OpenAI合作背后的故事，以及合作以后微软的变化和思考逻辑。

以下为澎湃科技（www.thepaper.cn）整理的演讲实录，有删减：

我想讲一讲背后的一些故事，我们为什么选择和OpenAI合作，选择跟OpenAI合作以后，微软有一些什么样的变化和思考。

大家知道微软投了OpenAI，而且是和OpenAI独家合作，为什么当时有这样的决策？是因为我们已经看到这个技术对未来的产品、服务起到的加速作用。当然，这个决策过程是非常纠结的。

大家知道，微软在2019年给了OpenAI第一笔投资，实际上在2018年，我们内部就在做要不要投OpenAI的决策，那个时候CFO（艾米·胡德）是反对的，她觉得微软有这么多做人工智能的团队，为什么还要去投一个初创公司，微软自己也有团队在做大模型，为什么还要投初创公司？当时CEO（萨提亚·纳德拉）没有办法说服CFO向OpenAI投资，他就利用他的老关系，把GPU交给OpenAI去做测试和训练。因为这个原因，所以才有了后面的合作。

在这个基础之上，和OpenAI合作以后，要么“all in”，要么“走人”。为什么这么说？大家可以发现，最近微软的产品更新换代特别快，这不是我们以前心目中对微软产品发布的印象。比如GPT-4刚出来两个礼拜，我们就宣布在大家最熟悉的微软Office中加一个Copilot，背后由GPT-4模型支持。再加上前天的微软技术大会，我们正式宣布在下一个版本的Windows中也要加入Copilot，背后也是有GPT-4的加持。也就是说，我们所有的产品都会“all in”，如果不这样做，就“走人”。

这给了我们一个启示，在现阶段，尤其是在目前人工智能的阶段，要积极地拥抱新技术，要敢于去尝试，只有当你去尝试的时候，才会发现中间的很多问题，才知道这个事情的关键在什么地方。

目前OpenAI全部的产品线和服务在微软的公有云平台上都有体现，为什么要这样做？OpenAI为什么自己不能提供这些服务？

背后的逻辑是这样的，OpenAI和微软的合作首先要解决商业化问题。因为OpenAI是一个初创公司，专注在其产品线的开发上，但在商业领域还有很多要解决的问题，比如数据的合规性、安全性、隐私性，服务水平、解决方案的全面程度等，而OpenAI作为初创公司，它的现金流可能不放在这里，跟微软合作恰恰能解决这些问题。最近ChatGPT在意大利被禁止使用，就是因为存在数据隐私和安全的问题。OpanAI希望通过跟微软的合作，利用微软在安全合规、隐私解决方案方面的能力来帮它解决。

现在有一个问题，如何用自己的数据训练自己的模型，把私域的数据融合到GPT能力里？也就是说对特定领域的数据进行模型适配。

一般来说，我们推荐两种方式。一种是微调（fine-tune，在不改动预训练模型的基础上，在模型顶层增加分类器或一些特征映射，使微调后的模型能够更贴合实际使用场景），但在GPT-4以后，我们已经不建议或者已经不让大家使用微调的方式了。因为我们不认为外面的一个组织、一个公司通过微调方式训练出的模型，比这家公司自己训练出来的能力还要好。我们更推荐的是嵌入式（embedding，将一个内容实体映射为低维向量，从而可以获得内容之间的相似度）的方式。嵌入式方式的原理很简单，把企业内的私有数据和文档做向量化或矢量化（嵌入向量可以捕获单词、短语或文本的语义信息，使得它们可以在数学上进行比较和计算），然后去做匹配（两个向量之间的距离用于测量它们之间的相关性，较小距离表示高相关性，较大距离表示低相关性），相似度在0.3以下就认为这个信息的检索已经非常准确。

在大模型应用中有一个叫嵌入式应用，实际上就是Copilot，即驾驶辅助的角色。这个模型非常简单，在底层基础能力的加持下，在中间这层AI编排的机制下，再往上走，就可以提供一个Copilot服务，再加上插件的应用，就可以应用在现有的系统，只要有插件就可以方便地把数据接入进来，相当于在原有的系统之外构建了一个辅助驾驶。

微软的系统为什么发展得这么快？就是利用了这套架构。当然也有插件，我们觉得OpenAI的插件系统未来会改变商业模式和游戏规则。如果你们用过微软最新的必应搜索就可以发现，在对话过程中它可以跟网站交互获取大量实时数据。以后必应会改变整个应用的生态和游戏规则。

在此基础之上，我们怎么看这个世界？

第一，GPT背后，一部分是技术的加持，另一部分是人才、资源、文化。这一点说明我们离不开企业非常优秀的数据，离不开这些技术模型。但同时，我特别想强调一点，如果我们这个公司的人没有开放的心态去拥抱新技术、拥抱新产品，那这个事情可能也做不了。ChatGPT之所以成功，它是源自于这三方面的成果。这一点，我想，对很多企业可能有一定思考价值。有了最新的技术，有了非常良好的数据，但如果企业没有这样的文化，可能也是有问题的。

第二，大模型要实现平民化。OpenAI就是想让AI真正Open，让边际成本急剧降低。2012年以后，人工智能兴起，深度学习兴起，但那时候每一个SKU（最小存货单位Stock Keeping Unit，比如销量数据都是以SKU为单位收集，建立预测模型就要为每个SKU单独训练一个模型）都要单独去做训练，我们做了太多的项目都是这样，成本很高。但是新的AIGC（人工智能生成内容）的模型是通用化的模型，降低再训练的成本，实际上是把边际成本急剧降低。只有当大家都能用的时候，才能说这是人工智能时代，如果只有少数人在用，那不叫一个时代。

微软也是这么做的，M365（Microsoft 365，基于Microsoft Office 办公室套件的云端办公室方案）就是用这个方法来实现的。在原来微软的Office加了一个Copilot，左下角有一个Graph（存储了电子邮件、文件会议、聊天和日历笔记等office办公软件集合的所有内容），相当于M365下的知识库，通过中间的Copilot能够迅速构建知识库和文档之间的合作关系。这样可以实现，在Windows文档中输入几句话，比如简要概述一下研究报告的核心思想，就可以把报告总结成5页PPT。等它正式上线以后，大家可以体会一下，会急剧提高生产力。

最根本来说，它就是把人不擅长的事情机器化了。我们知道人在面对自己解决不了的问题时，一定要求助于工具，生活中是这样，IT行业也是这样，让人类教会机器来做人类不擅长的事情。我想引用管理学大师德鲁克先生（彼得·德鲁克）的一句话，动荡时代的最大风险不是动荡本身，而是企图以昨天的逻辑来应对动荡。

关键词：