【华为】详解**大模型的三层架构

2023-06-13 志旋说

华为**大模型概况

**大模型主要由五个模型组成：机器视觉（CV），自然语言处理（NLP），多模态、科学计算、语音。

当前大家热议ChatGPT是在NLP领域，百度文心一言和它相似，但和**大模型不同。**大模型的初衷主要是服务B端客户，聚焦比较成熟的CV领域。在NLP领域还比较薄弱。最多能做封闭场景下的客服，语义理解相关的，可以做些舆情管控、法律司法文书理解、**文书理解。

公司能够找到的高价值数字化赋能的场景，主要以视觉为主，**大模型更多的研发项目主要围绕视觉，NLP力度不大，商业驱动力不足。

大模型的成本

大模型的训练成本确实很高，GPT-3训练1次成本1200万人民币，GPT-3出现之后也给业界很大的启示，是否继续**美学地走下去。现在学界有些观点，大模型现在的参数基础上，指数级增加对模型的性能边际效应已经减弱，需要降本方法。

Open AI团队做的比较好的是，精准高质量的标注（RLHF）。专家所在的公司重要发展方向是做小样本训练，通过自监督的方法，更少的标注数据进行训练。

**大模型的三层架构，能在结构上实现降本。L0层是通识性的大模型，具备鲁棒性和泛化性；L1是行业大模型（例如煤矿、电网）；L2是针对具体场景的自动化工作流的部署模型。成本大模型训练好后，不用再重复训练，只需在L1和L2做适应性训练，成本关系是上一层的5-10%。

大模型适用的领域

华为认为应用场景比较成熟和丰富的领域，值得为其开发L1，例如电力行业（无人机输电线巡检）、制造业的质检（机器替代人眼质检）、铁路故障隐患的监测等。

机器视觉，相对封闭的场景，纯参数驱动，标注数据成本不高。目前**大模型的工业质检主要应用在消费电子领域，最早应用在公司的南方工厂。未来如果大幅降本，那么对行业将产生更大的颠覆。

华为AI研发状态

华为目前AI研发，主要包括HIAI、EI。华为能做到端到端，硬件到软件，场景到营销，特别大的合作商没有。半导体供应链战投好几家公司，帮助公司补足半导体先进制程的一些能力。公司在算力支撑等方面需要一些合作。

华为软件产品在行业化溢出的时候，有几种类型的公司是比较重要的。软件开发的外包公司，华为开发力度、开发工作量比较大的环节，用大量外包。

行业数字化的EI，华为之前释放Meta ERP，外包交付的汉德、赛意能力，华为不具备，通过这些公司的生态完成业务。核心商业逻辑，很多毛细血管级别的交付，华为需要依靠生态链完成，半导体生态上，需要与这些生态中的供应商侧的公司供货给华为。

ChatGPT落地后华为发展进度

回看过去，华为其实在新的趋势很快就能追上来，公司发展30多年基本没有先发。任何领域都属于后发制人，手机、云、汽车。

ChatGPT更多是To C端。目前华为正在研究，但这是集团级的项目，通常做出决定会比较缓慢，1-2年不会出来。

华为在AI商业化研究一直持续存在，公司以前一直非常不看好，尽力完成AI工程化、AI产品化，商业化不得不走的路线，如果采用高度项目制，一切项目制用AI做，成本高，不容易挣钱，人力成本非常高，项目制不可**。

ChatGPT发布后，商业化带来很多思考，天生商业化属性非常高。To B直接卖API，To C因为生产内容直接嵌套，我国人擅长的商业化路径，可以编辑广告、电商。但华为不会立马进入ChatGPT类的AIGC细分赛道，战略研究都才刚刚开始。

真正要做到商业化闭环或者商业成功，核心需要支持相对封闭的单场景，成功率高，训练和维护成本需要进一步的压低。

后进入者难度

现在难度已经非常大，ChatGPT发布后，GPT4.0，数据源头很广，数据前期标注质量非常好，现在已经是多模态多语种、优势大。

国内现在赶出来的产品不行。OpenAI产品边用边学，接受越来越多全球使用者的反馈，通过人类反馈，帮助提升和进步。

但ChatGPT局限性在于完整的做到某些场景的商业化闭环。ChatGPT 的信息生产模式是 generated content，信息不准确，事实基础不可信、不可靠，很难在一些需要事实基础比较准确的商业产品完成闭环。

ChatGPT领先属性，前后文连续，根据前后文聊天，每个问题不是**存在，有关联。但bug是前后文的逻辑关系没有能够很好的连接。逻辑问题可能出错。

公司现在判断ChatGPT未来立马改变场景，企服软件，未来ChatGPT也许会重新定义生产力、办公、工作相关的企服场景，公司现在分析未来是不是所有的企服软件都会基于 ChatGPT开发，ChatGPT能不能重构企服软件的交付模式。

风险揭示：本信息不构成任何投资建议，投资者需自主作出投资决策并**承担投资风险。

股票资讯