大模型训练将耗尽人类语言?AIGC暴露潜在瓶颈 合成数据成“救星”

2023-04-30 科创板

《科创板》3月8日讯(编辑 宋子乔)我国***科技监管局姚前日前在《我国金融》**撰文称,建议重点发展基于AIGC技术的合成数据产业。以更高效率、更低成本、更高质量为数据要素市场“增量扩容”,助力打造面向人工智能未来发展的数据优势。

那么,究竟什么是合成数据?它又为什么可以为数据要素市场“增量扩容”呢?

其实,从字面上并不难理解,“合成数据”是运用计算机模拟生成的人造数据,它的用途——就是用来模拟现实世界的观察与观测。简言之,合成数据是计算机“举一反三”制造的模拟数据,为训练、测试、验证AI模型和算法而生,相当于为AI模型打造一片“题海”。

以ChatGPT为代表的AIGC应用基于大模型,即由庞大数据集训练而成。OpenAI透露,ChatGPT的训练使用了45TB的数据、近1万亿个单词,大概是1351万本牛津词典所包含的单词数量。随着AIGC应用端不断丰富,更智能的工具需要更多的数据进行训练。

来自阿伯丁大学、麻省理工大学、图宾根大学的Pablo Villalobos等6位计算机科学家就预测,到2026年,ChatGPT等大型语言模型的训练就将耗尽互联网上的可用文本数据,届时将没有新的训练数据可供使用。

人工智能新时代的发展离不开可靠、海量的数据。而真实世界的数据总归是有限的,其收集和处理是个昂贵且缓慢的过程,合成数据或成**难题的**选择。

▌面对潜在数据瓶颈 合成数据成真实数据“平替”

作为真实数据的“廉价替代品”,如果处理得当,合成数据可以高效、廉价的方式并在不侵犯隐私的情况下获取大量训练数据。MIT科技评论将AI合成数据列为2022年10大突破性技术之一;Gartner也预测称,到2030年合成数据将彻底取代真实数据,成为训练AI的主要数据来源。

与真实数据相比,合成数据主要具有三大优势:

节省成本:合成数据可大大节省数据采集成本,且比“真实”数据获取更快。比如,基于同一个人的不同发型、眼镜、头部姿势等来训练模型的识别能力,还能进一步改变肤色、种族特征、骨骼结构、雀斑等特征创造出不同的面孔,实现“一鱼多吃”。

保护隐私:合成数据是虚拟的,故不涉及个人隐私和公共权益,且数据可信度及质量较高,更适合在全球作为数据产品进行流通,更容易成为数据市场交易的对象。从某种程度上来说,这为数据交易所的发展提供了契机。

确保数据多样性、公平性:理论上合成数据可以涵盖所有数据,包括现实世界中难以采集或几乎不存在于现实中的极端案例,最大化地提高模型的精准度,纠正历史数据中的偏见、消除算法歧视。

不过,高质量的合成数据虽然可以化身“虚拟教练”替代真实数据,但毕竟与真实数据存在偏差,且计算机可能会生成不合逻辑的、非自然的数据。另外,合成数据仍然涉及隐私泄露问题,已经有最新研究结果表明,可以通过合成的数据反向推断出原始训练样本。

▌合成数据产业将成数据要素新赛道?

合成数据对人工智能的巨大助力有望促使其成为数据要素新赛道。自动驾驶、医疗保健等行业已经率先使用该技术。

对于自动驾驶来说,让汽车通过实际道路测试来穷尽其在道路上可能遇到的每一个场景是不现实的,故大量的合成数据可以用于模拟各种驾驶场景,从而提高算法的鲁棒性。在这种情况下,合成数据可能占据训练数据的很大一部分,甚至高达90%以上。

科技巨头们也已经在多个场景探索合成数据的应用。

如英伟达的元宇宙平台Omniverse拥有合成数据能力omniverse replicator;亚马逊使用合成数据来训练、调试其虚拟助手Alexa,以避免用户隐私问题;微软的Azure云服务推出了airSIM平台,可以创建高**的的3D虚拟环境来训练、测试AI驱动的自主飞行器……

国内,**、阿里巴巴、百度走在前列。**自动驾驶实验室开发的自动驾驶****TADSim可以自动生成无需标注的各种交通场景数据;阿里巴巴自研的语音合成技术KAN-TTS可将合成语音与原始音频录音的接近程度提高到97%以上;百度也发布了多个数据合成与半自动标注工具。

据《科创板》不完全统计,多家A股等公司也公开表示自己有相关技术储备,如:

海天瑞声(688787)为从事虚拟人相关领域的客户提供相关训练数据产品或服务,如同时包括表情、动作、声音的多模态数据集、富含多种性格的语音合成数据集等。该公司的主营业务为AI训练数据的研发设计、生产及销售,在我国语音类基础数据服务行业的市场份额排名前五;

浩瀚深度(688292)的数据合成和内容还原**获得北京市新技术新产品证书,该**由话单采集软件、统计数据采集软件、信令采集软件、图片文件还原软件等组成,可完成数据深度解析、信令**、连接统计、信息预关联,采集网络访问的全面信息,并形成有效的数据记录。浩瀚深度2022年登录科创板,据其招股说明书,2019-2021年,数据合成和内容还原**是其网络智能化应用**的营收支柱,营收占比超40%;

汉仪股份(301270)的主营业务包括字体设计、字库软件开发和授权、提供字库类技术服务和视觉设计服务,以及以IP赋能方式开展的IP产品化业务,该公司自主研发了彩色位图字体自动生成技术,支持多线程合成数据,提高数据合成的效率。不过汉仪股份的核心产品字库软件属于标准格式软件,具有易于**和传播的特点,存在版权保护措施难以全面执行、版权保护成本较高和版权保护覆盖度较低等问题。


001299美能能源估值分析及打新申购建议

一 公司基本情况速览总股本:1.879亿 总发行量 :4690万 发行**:10.69元 募资总额:5.01亿发行市盈率:20.42倍 行业市盈率:19.12倍所属行业:燃气生产和供应 所属区域:陕西

美能能源(001299)12月6日主力资金净买入1125.28万元

截至2022年12月6日收盘,美能能源(001299)报收于27.53元,上涨2.92%,换手率39.8%,成交量18.67万手,成交额5.05亿元。12月6日的资金流向数据方面,主力资金净流入112

美能能源11月8日主力资金净卖出3991.53万元

截至2022年11月8日收盘,美能能源(001299)报收于22.69元,上涨3.18%,换手率71.38%,成交量33.48万手,成交额7.75亿元。资金流向数据方面,11月8日主力资金净流出399

专访美能能源董事长晏立群:紧随绿色低碳能源**大潮 捕捉清洁能源发展新商机

90年代初,****前沿的深圳还处在草莽创业的时期,那时候,深圳吸引了一批又一批来自全国各地的年轻人,晏立群就是其中之一。从外出闯荡到回乡扎根,从推销液化气灶具到推广应用天然气,从“打工人”到创业者,

美能能源(001299)7月20日股东户数2万户,较上期减少6.82%

近日美能能源披露,截至2023年7月20日公司股东户数为2.0万户,较7月10日减少1465.0户,减幅为6.82%。户均持股数量由上期的8731.0股增加至9370.0股,户均持股市值为15.18万

美能能源股东户数下降13.59%,户均持股3.53万元

美能能源2023年3月22日在深交所互动易中披露,截至2023年3月20日公司股东户数为2.27万户,较上期(2023年2月10日)减少3573户,减幅为13.59%。美能能源股东户数低于行业平均水平

美能能源最新股东户数下降6.82% **趋向集中

美能能源7月24日在交易所互动平台中披露,截至7月20日公司股东户数为20020户,较上期(7月10日)减少1465户,环比降幅为6.82%。证券时报•数据宝统计,截至发稿,美能能源收盘价为16.20

天然气供应商美能能源上市首日涨停,三季报业绩增收不增利

记者 | 陈慧东编辑 | 10月31日上市首日,美能能源(001299.SZ)高开后一路上涨,两次触及涨停**,于10时01分许封上涨停板。截至收盘,该股股价上涨43.97%,报15.39元/股,成交

美能能源股东户数增加59户,户均持股3.64万元

美能能源2023年7月18日在深交所互动易中披露,截至2023年7月10日公司股东户数为2.15万户,较上期(2023年6月30日)增加59户,增幅为0.28%。美能能源股东户数低于行业平均水平。根据

多主力现身**榜,美能能源换手率达67.90%(11-24)

深交所2022年11月24日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收22.57元,涨跌幅为-1.53%,换手率67.90%,振幅10.43%,成交额7.

多主力现身**榜,美能能源换手率达47.30%(11-23)

深交所2022年11月23日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收22.92元,涨跌幅为9.98%,换手率47.30%,振幅12.57%,成交额4.9

11月30日美能能源(001299)**榜数据:机构净买入6.49万元

沪深交易所2022年11月30日公布的交易***息显示,美能能源(001299)因日换手率达到20%的前5只证券登上**榜。此次是近5个交易日内第5次上榜。截至2022年11月30日收盘,美能能源(0

美能能源将开启申购:上半年增收不增利,预计上市时市值20亿元

10月17日,陕西美能清洁能源集团股份有限公司(下称“美能能源”,SZ:001299)披露发行公告,并将于2022年10月18日开启申购。本次上市,美能能源的发行价为10.69元/股,发行市盈率20.

美能能源(001299)11月15日主力资金净卖出2095.05万元

截至2022年11月15日收盘,美能能源(001299)报收于20.1元,下跌1.03%,换手率21.43%,成交量10.05万手,成交额2.01亿元。11月15日的资金流向数据方面,主力资金净流出2

美能能源**深交所,实力营业部现身**榜(10-31)

深交所2022年10月31日交易***息显示,美能能源因属于无**涨跌幅**的证券而登上**榜。美能能源当收15.39元,涨跌幅为43.97%,换手率7.15%,振幅23.95%,成交额5142.

陕西又一城燃公司IPO过会,美能能源“内生式增长”成效几何?

华夏时报(www.chinatimes.net.cn)记者 苗诗雨 陆肖肖 北京报道继陕天然气(002267.SZ)后,陕西第二家区域性城燃公司即将于近日上市发售。天然气资源和油气资源丰富的陕西地区,

加码新能源领域投资 美能能源拟投建集团总部暨西安智慧能源研究院

本报记者 殷高峰11月14日,美能能源发布公告称,公司与西安高新区管委会拟签订《美能能源总部暨西安智慧能源研究院建设项目协议书》,公司计划在西安高新区上市企业园建设美能能源总部暨西安智慧能源研究院,总

多主力现身**榜,美能能源换手率达55.10%(11-25)

深交所2022年11月25日交易***息显示,美能能源因属于连续三个交易日内收盘**涨幅偏离值累计20%、当日换手率达到20%的证券而登上**榜。美能能源当收24.83元,涨跌幅为10.01%,换

多主力现身**榜,美能能源换手率达32.22%(05-29)

深交所2023年5月29日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收18.72元,涨跌幅为3.43%,换手率32.22%,振幅12.43%,成交额2.73

11月7日美能能源(001299)**榜数据:机构净卖出1216.39万元

沪深交易所2022年11月7日公布的交易***息显示,美能能源(001299)因日换手率达到20%的前5只证券登上**榜。此次是近5个交易日内第3次上榜。截至2022年11月7日收盘,美能能源(001

AD
更多相关文章