AI之下如何安全？
演讲者：唐家渝 瑞莱智慧RealAI 副总裁
大家下午好，很高兴能有这个机会跟大家分享一下我们在AI时代发现的一些安全的问题和相应的解决方案的探索。
人工智能时代大家都说有三大主要的支撑，算力、算法、数据。因为有了大数据，所以我们才能去不断训练出更好的算法。在这个数据支撑的时代，有非常多的安全风险，这里我们举个例子，比如这两张图，在人看起来都是雪山，这里是阿尔卑斯山的一角，但是在机器看来，会把右边这张图认为是一只狗的图像，这是因为我们在图上加上人眼不可见的噪声以后，模型在提取特征以后，把它识别错了。这样的问题不仅出现在数字世界图像上，在线时生活中也会出现，例如我们曾经在2019年时就把手机的人脸识别解锁功能攻破，到今年我们利用一副面孔攻破了多个品牌的几十部手机。不仅是人脸识别这样的算法，目标检测就是我们常常用到的安防的场景上同样有这样的问题，这里展示到的是我们在不同的光纤角度包括一些运动的情况下，对于安防**攻击的演示，只要在特定的车、人身上有特定的干扰图像后，我们的监控算法就实效了。这一类问题我们称之为对抗样本攻击问题，另外一类问题叫模型后门攻击问题，其实就是攻击者通过对训练数据的修改，在这个其中植入了后门。这里我们举到的例子，比如日常生活中我们用的很多的内容审核的模型，左边这张图，大家会认为它是一个爆恐的图片，能进行正常的审核，右边因为有一个植入的后门黄**块，就会认为这是个正常的图片，逃过了审核。这样的问题在当前主流的深度学习的模型中是一直存在的。比如这里是通过在标识牌上粘贴黑**像，把限速标识识别成了停车标识。
前面可能大家比较好奇这些问题是如何产生的，这里我们用一个比较浅显的例子跟大家介绍一下基本的原理。比如大家知道深度学习是通过自动化发现和学习这些数据中的特征，去学习相关的分界或者人脸识别相关的功能。机器学习通过学习这些数据，会自动学习出一个模型的边界，可能在模型的边界一侧它认为是A类，另一侧认为是B类，因为它看到的数据不够多，或者它本身学习到的特征并不够准确，跟真实的分界可能是有偏差的。当有一个新的样本出现时，我们只需要在这个样本上添加一些可能人看起来并不会特别明显或者看不到的色差以后，它就会是这个样本落在这个模型分界的右边以及真实分界的左边，这个模型就将它识别出错了。如果这些训练出的数据里被投入了一些有意的误导的特征，举个例子，比如这里要去识别分类这些图像是什么东西，比如在花个类别所有的左下角都加了一个紫色的色块，当一个新的图像出现时，这个模型就会认为紫色的色块是花非常显著的特征，在任何一个图像的时候就会把它认为是花，这就是被成功植入了后门。
以上是大概原理，不仅是从模型本身，因为深度学习的可解释性和黑盒性带来的问题，同时我们在使用AI的过程中，因为要用到大量的数据，会引出数据泄露的风险。比如今年315，大量门店在不经用户同意的情况下采集了大量的人脸照片，这些人脸照片或多或少已经在黑产上流出了。黑产上有什么用，比如这里我们拿到一张图像，可以利用这张图像去驱动它生成各种各样的动作的**，相信看到这个**大家也比较熟悉，比如我们在网上进行开户、刷脸支付，需要做这样的动作，这样确实会造成实际的金融安全的风险。右边这个例子也是我们跟一家金融客户去沟通时对他们实际的业务**构造的攻击的案例。
AI安全的风险远不止此，前面说的是大家平时能接触到的或者相对来说风险比较大的点。无论从数据训练的阶段到模型训练出以后在线运行的阶段，运行过程中产生的各种数据的阶段，都会造成各种各样的问题。这些问题我们每一个点都需要进行一个深入的研究，包括前面360的同事也提到，包括软硬件的基础设施都会有各种各样的问题。
AI的安全可控一直受到国内外高度关注，早在2016年时，清华大学的张博院士提出要发展下一代的人工智能，不可能只从数据中学习到相关的东西，要充分结合现在已有的东西，去发展安全可信可扩展的下一代的人工智能，2018年美国也同样提出发展下一代人工智能的想法，同样提出我们要提供AI**的可靠性、安全性和可解释性。在今年我们的*****会议上，提到****战略，首次把人工智能安全作为一个单独的点提出来，可见大家对人工智能安全的重视也是越来越多了。
以上主要是介绍了人工智能安全实际的问题和大家对它的关注，我们瑞莱智慧对这一块做了比较多的研究和解决方案的输出。我们整体的目标还是希望去发展安全可控的人工智能，大体的目标进行拆解，我们希望人工智能的**它的功能是稳健可靠的，我们运用的数据是可控可信的，决策是公平公正的整个业务逻辑具有可解释性，一旦发生安全事件可以追溯，以及人工智能的应用是合法合规的。基于这个大的愿景，我们目前做了三件事情。一是让现在现有的人工智能**更加安全，基于对方的技术，打造防火墙，抵抗AI**的攻击。另外一方面，比如刚才提到的伪造的音**用于**，用于金融**的攻破，我们为防止这样的AI技术被滥用，我们也研究了包括AI合成内容的检测，包括隐私计算的技术。另外我们也基于清华大学人工智能研究院的研究成功，发展第三代人工智能，从根本上提供一些更加安全可解释的AI解决方案。
这一页是我们对AI安全整体解决方案的概览，从底层我们自主打造了人工智能安全的开发框架。以上我们从攻击和防御两个方面去研究了诸多的技术，覆盖模型安全的领域、数据安全的领域以及应用安全的领域，这些领域相关的技术我们向上输出，丰富了多个应用场景。概括来说，主要是对AI**的安全性进行评测以及加固，以及对AI进行治理。
除了这些底层的技术和解决方案的研发以外，我们也积极参与国家的包括行业的一些安全标准的制定，后面我也会做简单介绍。这些解决方案的背后我们有许多标准化产品的支撑，第一个介绍的是我们在去年年初就发布的业内首个企业级人工智能安全检测平台，到目前为止也是唯一的一个，主要是通过业界主流的以及我们自己研发的多种的对抗技术，自动化检测AI**的安全性。举个具体的例子，比如前面提到有对抗样本攻击的风险，我们这里就可以对AI**的对抗样本攻击的能力进行自动化的测评，主要是利用11种业界最主流的以及我们独有的非常领先的攻击算法，去模拟攻击AI**，测评完成后输出一个详尽的比分报告。整个测评方式我们也发表在了CVPR上，得到了学术界广泛的认可。我们对后门也做了自动化检测，覆盖的领域不仅是人脸识别，包括图像分类等等，我们都可以进行检测。最主要的特点是我们首创了业界黑盒的方法，被测模型和被测**对我们来说是不可见的，我们不了解内部的数据和结构的情况下，对它进行充分的测试，充分保障被测方的知识产权。另外一方面，整个测试过程完全是全界面化的，被测的用户不用知道相关的理论知识甚至编程代码的*作。
我们针对目前应用最广泛的人脸识别的**提供的人脸安全防火墙，主要是针对一些新型的攻击。比如大家听说了像**检测，防假体攻击，主要是防照片这样的东西绕过人脸识别。我们对于人脸识别的防范更近一步，进一步扩展到针对AI模型本身的理论上的攻击，包括对抗样本的攻击，以及现在AI越来越生成逼真的深度伪造的**检测。整个技术我们目前已经应用在多个场地，从落地的情况来看，攻击拒绝率达到98%以上，整个技术还是非常领先的。
第三块是前面介绍的应用可控的问题，提到数据安全的问题，我们相应推出了全景式的数据安全和隐私保护的计算平台，实现数据的可用和不可见。整体方案有多个优势，包括实施非常简易，有业界先进的运算性能，计算过程透明安全。这里尤其要提到的是打造的自动化编译的引擎，比如像现在大家使用联邦学习的框架，需要把传统的机器学习算法进行人工改写，改写成联邦环境下可以使用的，我们基于底层的改造，把所有的过程完全的自动化，我并不需要专有的知识，可以把以前的机器学习模型自动化编译为在联邦环境下可以使用的模型，大大降低了应用的成本。
第四块是我们近期推出的业界首个实战化、体系化AI攻防演习的平台，我们的AI安全靶场。这个靶场顾名思义就是我们构造现实的AI的应用场景对应的多个场景的模型，去开展AI攻击与防御有效性的评估和对抗攻防的演习，非常直观，在对抗演习的过程中，大家可以以练代学，在这个过程中提升相关人员的AI安全能力。在对战过程过程中，大家可以通过实战检测到安全状态，对目前已有的安全漏洞进行弥补，改进现有**的安全性。这里的靶场我们综合了我们的研究成果以及清华大**合研发的AI对抗攻防基准这样的成果，去提升白盒攻击、黑盒攻击在这上面的能力。
这里是几个前面介绍产品落地的案例，首先是跟头部支付厂商合作的案例，我们利用了我们领先的AI对抗的攻击算法，发觉现有支付的算法中人脸识别中存在的安全漏洞，发觉以后提供相应的安全性提升的方案，助力他们去发展更加安全的大家平时用到的刷脸支付。另外一块是跟国家电网集团合作的案例，电网会利用自动化的模型去识别郊外的场景是不是有危险品出现，比如烟火、吊车等，这些可能会干扰高压线安全的。利用我们的平台去对他们的模型进行安全性测评以后，发现他们的模型漏洞还是非常大的，像这里展示的一张图，可能我们看动图没有任何变化，但实际上它加入了人眼不可见的噪声，使这个模型识别出错了，检测不出危险情况。另外一块，后续通过对抗训练等方式，帮助他提升这个模型的鲁棒性。
我们提供的AI安全能力还是得到了业界的广泛认可的，从最顶层的学术**，得到了多个图灵奖得主的引用，包括在国际国内AI安全的竞赛中都获得了几乎都是冠军。在开源生态领域我们也积极去建设，我们也办了多届AI安全对抗的比赛。我们的代表性客户，包括蚂蚁金服、华为、国家电网。AI安全是非常新的东西，也是国家层面非常关注的东西，我们也积极参与***多个AI项目。
AI安全是个非常新的领域，相关领域的标准还是比较缺乏的，我们也积极参与了AI安全评测标准的制定，包括去年工信部的揭榜挂帅测评的工作，我们也负责算法安全标准制定的部分，针对百度、**、商汤人脸识别等头部的厂商进行产品算法安全性的测试和择优。
以上成果都基于我们有一个业务领先和技术领先的团队，最后简单介绍一下我们团队的情况。我们的团队是孵化自清华大学人工智能研究院的，是作为清华大学官方的产学研落地的企业孵化出来的，在2018年6月，清华成立了人工智能研究院，在同年第二个月就孵化了我们公司。目前已经在政务、金融、能源等多个领域进行了落地，提供金融风控、智慧理财、人脸识别**性的安全性检测提升的多种解决方案。整个团队目前也吸纳了头部公司多个获得过多种奖项的比较头部的同事和同学，整个团队目前接近200人，有大概一半的同事具有硕士和博士以上的学历，大概三分之一的同事是来自于清华和北大的同学。核心团队深耕技术领域数十年，整个团队发表了百余篇顶刊的**。从产业落地方向来看，我们获得了包括政府、产业和市场广泛的认可，我们累计获得的荣誉接近80余项，值得一提的是，今年的世界互联网大会上我们也获得了世界互联网领先科技成果，当时全世界只有14家，我们是唯一一家创业公司，同期的领先成果包括华为的鸿蒙、北斗、高通的5G等等。
以上是我们对AI安全做的一些探索和思考以及我们持续发力的一些方向点，也欢迎大家关注我们，持续跟我们进行互动，使AI安全整个生态做得更好。以上是我的分享，谢谢大家。
当前，以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中，你首先想到的会是哪几企业？答案有很多，但“中科系”的提及率绝对很高。作为国家战略科技力量，“中科系”旗下
21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞，英特尔CEO帕特·基辛格（Pat Gelsinger）正在带领英特尔加速奔跑。当地时间9月19日，2023英特尔on技术创新大会于美国加利
财联社9月19日讯（记者 唐植潇）近日有消息称，OPPO将会重启芯片业务，并且“有部分员工已经回流，加入到了车载业务之中”。记者就此事向OPPO方面进行核实，对方表示“不予置评”。特百惠（我国）数字与
600亿颗芯片！我国巨头正式宣布，美媒：**也没料到制裁这么快
我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场，拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长，包括智能手机、电视、电脑和各种智能设备等，这些设备都需要高性能的芯
最新手机芯片天梯图：A17、华为麒麟9000S，排在什么位置？
近日，最火的两颗芯片分别是苹果的3nm芯片A17 Pro，虽然很多人吐槽它较上一代提升不明显，但论性能，可以碾压任何安卓芯片，甚至是领先2代的。另外一款芯片，则是华为麒麟9000S，当然，这颗芯片工艺
韩国芯片连续13个月暴跌，尹锡悦指责我国不采购，外媒：自食其果
据韩国媒体称，韩国的半导体出口额已经连续暴跌13个月了，比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国，话里话外都是指责，他认为韩国半导体卖不出竟是我国的原因，我国应该帮助
我国突破芯片瓶颈将影响全球秩序？美国很担心，指出我国关键弱点
我国在芯片半导体领域一直深受美国的**，通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档，不过随着我国科技企业近几年的突破，目前我国已经在芯片制造方面取得了重大的成果
前几天，华为一声不响的上线了mate60系列，带着麒麟芯片9000s强势回归，吸引了全世界的目光。而华为麒麟芯片**背后，我们不该忘记这位老人—张汝京。我国半导体之父，为回**造芯片，被开除**户籍，
【有车以后 资讯】“未来汽车对传统汽车的颠覆性，使传统零部件体系的50%以上都面临重构。”12月16日，在全球智能汽车产业峰会(GIV2022)上，我国电动汽车百人会理事长陈清泰指出，智能汽车的价值链
投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计，一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车，如F1赛车等，其**零部件的数量可达到2万个
全球最大的10家汽车零部件供应商 都是世界500强 无我国企业
【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜，是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中，汽车制造商和零部件厂商共占据33席（除去大型工程车辆企业），
汽车零部件企业哪家强？除了博世**还有这些名字你一定耳熟能详
文：懂车帝原创 李德喆[懂车帝原创 行业]9月18日，由《我国汽车报》主办，罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中，博世、**、电装位列2019全球汽车零部件
行业现状（Reference：产业运行 | 2021年汽车工业经济运行情况）中汽协预测：2022年我国汽车销量达到2700万辆，新能源销量超过550万辆（Reference：乘用车市场信息联席会）以乘
全球十大汽车零部件供应商，核心技术都被他们垄断，自主遗憾缺席
提到电影，我们会想到张艺谋、冯小刚，而很少会想到幕后的制作人；提起流行乐，我们会想到周杰伦、萧敬腾，而很少会想到背后的作词人。台前台后，一幕之别，知名度往往相差甚远。车界又何尝不是如此，知名车企我们都
来源：环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后，全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日，由全球移动通信**协会（GSMA）主办的20
近日华为、苹果争相推出手机卫星通信功能，成为一大亮点，不少手机厂商也将目光投到卫星通信。放眼未来，手机直连卫星的卫星通信服务将是大势所趋，也是6G时代的重要标志。华为以“北斗三号”为依托，率先把“卫星
国内企业在光通信产品的参数测试过程中，通常使用国外的先进测试设备。然而，这些测试仪器之间往往是孤立存在的，需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错，而且测试效率低下。
龙头20cm涨停，7天股价翻倍！一文看懂卫星通信前世今生及产业链
卫星通信概念股华力创通今日再度强势拉升，截至发稿，该股股价20cm涨停，7个交易日累计涨幅近113%，现报23.52元续刷阶段新高，总市值155.9亿元。消息上，有媒体从供应链获悉，Mate 60 P
工信部：目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件
针对网友提出的“电话号码归属地更改”建议，工信部近日给出了官方回复。此前，有网友在人民网留言板向工信部留言称，“现在电话都是实名制，电话号绑定的***及一些主流的软件较多，更换号码后造成一系列问题
