MLOps最全的资料合集:书籍、课程与博文
MLOps并不是那么简单,尤其是在当今MLOps不断变化的环境中。MLOps存在许多挑战——构建、集成、测试、发布、部署和基础架构管理,您需要经常关注最新的MLOps实践并且知道如何适应这些挑战。
如果你不学习和发展自己的知识,你就会被圈子淘汰。正确的资源可以帮助您遵循**实践、发现有用的提示并了解最新趋势。
我们已经为您整理了一系列干货资料,便于你了解最新趋势以及MLOps实践。这些资料包括书籍、文章、课程等。
MLOps书籍
1. 《Introducing MLOps》
《Introducing MLOps》是由MarkTreveil和Dataiku团队撰写的一本书。它介绍了MLOps的关键概念,展示了如何随着时间的推移维护和改进机器学习模型,并提出了应对MLOps挑战的解决方案。
这本书是专门为数据分析和IT运维团队的经理编写的——他们直接面临生产中的大规模机器学习的任务。这本书是成功创建MLOps环境的指南,从组织到所涉及的技术挑战。本书分为3个部分:
(1)第一部分是MLOps介绍,它是如何以及为什么发展成为一门学科的,需要谁参与才能成功执行MLOps,以及需要哪些组件。
(2)第2部分遵循机器学习模型的生命周期,包括开发模型、准备生产、部署、监控和治理的章节。
(3)第3部分提供了市面上企业中MLOps的实际案例,以便读者了解实践中的设置及意义。
2. 《What Is MLOps?》
MarkTreveil和LynnHeidmann的《What Is MLOps ?》是一份详尽的报告,面向希望了解并学习MLOps的商业领袖,这些商业领袖将MLOps作为一个产生长期价值同时降低数据科学、机器学习和人工智能项目相关风险的过程。以下是这份报告包括的内容:
(1)机器学习模型构建的详细组件,包括业务洞察如何为技术团队提供价值;
(2)人工智能项目生命周期中的监控和迭代步骤,以及业务在这两个过程中扮演的角色;
(3)现代人工智能治理策略的组成部分如何与MLOps融合在一起;
(4)为了开始启动MLOps所需要的协调人员、定义流程和组装的技术指南。
3. 《Practical MLOps》
Noahgift和AlfredoDez所著《Practical MLOps》一书是一本富有洞察力的指南,它将带您了解MLOps是什么,它与DevOps的区别,并向您展示如何将其付诸实践来*作您的机器学习模型。你将从书中学到:
(1)将DevOps的**实践应用于机器学习;
(2)构建用于生产的机器学习**并维护它们;
(3)监控、配置、负载测试和*作机器学习**;
(4)为给定的机器学习任务选择正确的MLOps工具;
(5)在各种平台和设备上运行机器学习模型,包括手机和专用硬件。
这是GitHub上的免费版本。该链接存储了《Practical MLOps》一书的代码示例。
4. 《Reliable Machine Learning》
无论您是小型初创公司还是全球大型企业,这本实用书都会向数据科学家、网站可靠性工程师和企业负责人展示如何在您的组织内可靠、有效和负责任地运行机器学习。您将深入了解以下所有内容:如何在生产中进行模型监控,如何在产品团队中经营一个良好的模型开发团队。
通过将网站可靠性工程师的思维方式应用于机器学习,作者和工程专业人士Cathy Chen、Kranti Parisa、Niall Richard Murphy、D.Sculley、Todd Underwood和特邀嘉宾向您展示了如何运行高效的机器学习**。无论您是想增加收入、优化决策、解决问题,还是了解和影响客户行为,您都将学到如何执行日常机器学习任务,同时牢记大局。
具体来说,您将学习到以下内容:
(1)什么是机器学习:它如何运作以及它依赖于什么?
(2)理解清楚机器学习工作流的概念框架。
(3)有效的“生产化”,以及如何使其易于监控、部署和*作。
(4)为什么机器学习**会使生产故障排除变得更加困难,以及如何绕过它们?
(5)机器学习、产品和生产团队如何有效沟通?
5. 《Designing Machine Learning Systems》
机器学习**既复杂又独特。复杂是因为它们由许多不同的组件组成并涉及许多不同的利益相关者。独特是因为它们依赖于数据,数据从一个用例到下一个用例变化很大。
在本书中,您将学习一种整体方法来设计可靠、可扩展、可维护并能适应不断变化的环境和业务需求的机器学习**。
ClaypotAI的联合创始人Chip Huyen考虑了每个设计决策——例如为了帮助您的**作为一个整体实现其目标,如何处理和创建训练数据、使用哪些功能、重新训练模型的频率以及监控什么。本书中的迭代框架使用的是由大量参考文献支持的实际研究案例。
本书将有助于您处理以下场景:
(1)策划处理数据并选择正确的指标来解决业务问题;
(2)自动化持续开发、评估、部署和更新模型的过程;
(3)开发监控**以快速检测和解决模型在生产中可能遇到的问题;
(4)构建跨用例服务的机器学习平台;
(5)开发可靠的机器学习**。
6. 《Machine Learning Engineering》
“如果你打算使用机器学习来大规模解决业务问题,我很高兴你能接触到这本书。”——谷歌首席决策科学家Cassie Kozyrkov。
这本书因其专注于实际机器学习中非常重要的主题而受到了几位工业巨头的引人注目的评价。它很好地讨论并解决了以下问题:
l 概述了监控的重要性;
l 如何进行模型维护;
l 出现问题时该怎么办;
l 对于那些你无法预料的错误,如何考虑后备策略;
l 如何对付试图利用你**的对手;
l 如何管理用户的期望。
它提供了对机器学习工程**实践和设计模式的全面回顾,因此,如果您希望更好地安排自己的工作,或者寻找与可重复性、可扩展性和模型版本控制相关的解决方案,那么这本书适合您。
MLOps课程
1. DeepLearning.AI的MLOps specialization课程
本课程由人工智能先驱Andrew NG(吴恩达)策划的,他是世界上最有影响力的计算机科学家之一,与他人共同创立了Google Brain和Coursera,并在百度了人工智能研究,他的机器学习专业课程至仍然被认为是最适合初学者的商业课程。
The Machine Learning Engineering for Production(MLOps) Specialization专项课程涵盖如何构思、构建和维护在生产中持续运行的集成**。与标准机器学习建模形成鲜明对比的是,生产**需要处理不断变化的数据,此外,生产**必须以最低成本不间断运行,同时产生最高性能。在这个专项课程中:
(1)您将学习如何使用成熟的工具和方法有效地完成所有这些工作;
(2)您将熟悉机器学习工程在生产中的功能、挑战和结果;
(3)最后,您将准备好运用新的生产就绪(production-ready)的技能参与前沿人工智能技术的开发,以解决现实世界的问题。
2. GoogleCloud提供的MLOps Fundamentals
如果您希望围绕某个平台(例如Google Cloud Platform谷歌云平台)建立您的MLOps专业知识,那么这可能是适合您的课程。本课程向参与者介绍在谷歌云上部署、评估、监控和*作生产机器学习**的MLOps工具和**实践。本课程主要受众有:
(1)希望快速从用于生产的机器学习原型到产生商业影响的数据科学家;
(2)希望发展机器学习工程技能的软件工程师;
(3)希望在其机器学习生产项目中采用谷歌云的机器学习工程师。
您将学到:
(1)识别并使用可支持MLOps的核心技术;
(2)在机器学习**环境中应用持续集成/持续部署的**实践;
(3)为可靠且有效的MLOps环境配置谷歌云架构;
(4)实施可靠且可重复的训练和推理工作流程。
3. 斯坦福大学的MLSys研讨会系列
斯坦福大学的MLSys研讨会是一系列专注于机器学习和机器学习**的研讨会——关于工具和用于编程机器学习模型的所有技术。
该课程于2020年秋季开始,每个演讲都在这个研讨会系列中直播,美国时间每周四在油管上更新1-2节,你可以在实时聊天中提问。会谈的**回放也可以在油管上找到。本课程的目标是协助整理机器学习**中出色工作的课程,以帮助将研究重点引向有趣的问题上。
MLOps社区
1. Slack上的MLOps.community
这绝对是**的MLOps社区(https://mlops.community/)。几乎10,000名从业者**在这个地方,提出问题、分享知识,并就MLOps的所有事情互相交谈。
虽然MLOps与DevOps有很多共同点,但它们的不同之处与相似之处一样大。我们需要一个专注于解决我们每天在构建生产人工智能/机器学习工作流时面临的独特挑战的社区。加入这个对所有人**的社区吧,与我们一起学习、分享知识、问问题、得到答案,一起解决那些挑战。
2. CDF特别兴趣小组–MLOps
为了应对机器学习中的持续集成/持续部署挑战,由持续部署基金会管理的MLOps SIG已成立,其目标如下:
l MLOps定义和路线图:为MLOps创建愿景和路线图,说明它的含义以及它在持续集成/持续部署生态**中的作用。
l 参考架构和设计模式:为MLOps创建参考架构、设计模式、实现以及流程。
l AI治理和风险管理:围绕族系**、元数据收集、实验**、数据版本控制、ETL*作等定义架构和指南,在这里典型的数据和机器学习管道应支持道德人工智能的可用性。
您可以在Slack社区上加入#sig-mlops频道。
MLOps播客
1. Neptune.ai的MLOps直播
这是由Neptune.ai经营的节目/播客。它是一个双周问答,一些在合理的规模下邀请机器学习的从业者回答其他机器学习从业者的问题。做这个节目的初衷是因为在与许多机器学习团队交谈后,意识到他们都想更多地了解像他们这样的团队如何解决他们的问题,而找到这种资源并不容易,所以节目组织者认为可以尝试改变这一点。
Podcasts(播客)是一种非常实际的方式。为什么不用PPT呢?当然,PPT很棒,但有时您几乎想立即跳到问答部分,永远没有足够的时间,对吧?这通常是谈话中最有趣的部分。所以组织者决定让整个事情成为现场问答。每一集都关注与生产机器学习相关的不同主题,并且充满了有趣的内容,这些内容在博客文章中是找不到的,是只有从业者问同行才能得到的东西。
2. MLOps.community播客
MLOps.community是由Demetrios Brinkmann主持的播客。它每周一次谈话的所有内容都与DevOps应用于机器学习 (又名MLOps,Machine Learning Operations)有关。
这个播客中包括采访、与有趣的人的对话、提示、关于挑战与趋势等的讨论。
3. TWIML播客
This Week的播客是人工智能和机器学习领域的领军话题,下载量超过700万次,拥有大量用户参与的社区。通过其播客,它旨在将来自机器学习和人工智能世界的顶尖思想和想法带到一个由机器学习/人工智能研究人员、数据科学家、工程师以及精通技术的商业和IT者组成的广泛而有影响力的社区。
TWIMLAI播客由广受欢迎的行业分析师、演讲者、评论员和思想领袖Sam Charrington主持。Sam的研究重点是机器学习和人工智能的商业和消费者应用,将人工智能驱动的产品推向市场,以及支持人工智能的技术平台。
4. ZenML的Pipeline Conversations ML播客
Pipeline Conversations是一个每两周一次的播客,为您带来与行业者、**技术专业人士和其他人的访谈和讨论。它讨论了机器学习、深度学习和人工智能的最新发展,特别关注MLOps以及如何在生产中使用经过训练的模型。
它于2021年11月首次播出,迄今已播出15集,涵盖从生产机器学习模型到监控模型的各种主题。
它可在许多平台上使用,例如亚马逊音乐、谷歌播客、Overcast、Spotify和Stitcher。
MLOps会议
1. MLOps World
MLOps World是一个由实践者组成的国际社区团体,旨在更好地了解将机器学习模型部署到实时生产环境中的科学性。该团体组织年度会议、活动和聚会,参与者有机会参与各种研讨会,并听取来自微软、亚马逊、Lyft等领先科技公司的机器学习高管的意见。
该计划由多伦多机器学习学会(TMLS)创建,旨在团结和支持更广泛的人工智能生态**、公司、从业者、学者和开源社区的贡献者。他们的活动包括但不限于:
l 定期举行社交聚会;
l 知识共享和职业发展;
l 确定将模型部署到实时生产环境中的机会和有效实践、方法和原则;
l 独特的本地和全球合作伙伴关系;
l 招聘和人才培养;
l 多元化和包容性团队的成长。
2. Tecton的apply()
“我们去年推出了apply()活动系列,以满足在生产中部署机器学习的MLOps团队对更多实用知识的需求”–Mike Del Balso,Tecton的CEO。
apply()是Tecton针对应用机器学习的数据工程计划的一系列活动。这一系列活动中的最新活动是apply(conf),这是一个以从业者为中心的会议,讨论机器学习工程师在构建和部署机器学习模型时面临的挑战,主题包括:
l **实践开发模式;
l 选择的工具和基础设施;
l 管理标签工作流;
l 实时转换和提供功能;
l 大规模服务。
他们的活动包括研讨会和面对面的社交活动,以最大限度地提高学习和交流机会,您可以加入他们的slack社区,以**他们即将举行的聚会和会议。
其他MLOps资源
1. ML-Ops.org和Awesome MLOps
ML-ops.or**站作为MLOps的指南,解释了各种概念,例如其背后的原理、构成MLOps的组件、用于管理的各种工具和框架等等。凭借高质量的图形和精心策划的内容,对于希望开始使用MLOps的任何人来说,它都是一个宝贵的资源。本网站上列出的大量参考文献使其更加有用。
Awesome MLOps是由ml-ops.org背后的人创建的MLOps参考列表。它是指向众多资源的链接列表,从书籍、文章、社区等等开始。总而言之,它包含您可能读到的有关MLOps的所有信息。目录包括:MLOps**、关于MLOps的讨论、现有的机器学习**、机器学习、机器学习/人工智能的软件工程产品管理、机器学习/人工智能的经济学、模型治理、伦理、负责任的人工智能。
需要注意的是,如果您想浏览所有链接,这可能是一本艰难而漫长的阅读,但如果您想了解有关MLOps的所有信息,它是**的资源之一。
2. 谷歌云
MLOps: Continuous delivery and automation pipelines in machine learning,这份资料是谷歌的一份文档,其中“讨论了用于机器学习(ML)**的实现和自动化持续集成(CI)、持续交付(CD)和持续训练(CT)的技术”。
如果您是MLOps的新手,本文档可能是一个很好的知识来源,因为它涉及一些基本概念;如果您是MLOps资深人士,您也会发现刷新和巩固您的知识很有帮助。它还可以帮助您可靠地大规模构建和运行机器学习**。
3. Azure的MLOps
如果您希望开始使用Azure上的MLOps,这是一个很好的资源。它有点类似于谷歌云提供的资源,但它不是一门课程,它更像是一个自己动手做的项目。该项目旨在:
(1) 让您了解Azure提供的许多资产管理和编排服务,以帮助您管理模型训练和部署工作流的生命周期;
(2) 关于使用Microsoft Azure训练和*作模型的**实践;
(3) 提供真实世界的示例以帮助您着手使用相同的示例。
4. MLOps**
如果您喜欢直接从源代码中阅读任何内容,那么这里有一个对您非常有用的链接,它包含自2015年以来有关机器学习*作的所有学术届和工业届的研究**,用正确的方式讨论了从技术债务(technical debt)到工程整个机器学习**的所有内容。
当前,以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中,你首先想到的会是哪几企业?答案有很多,但“中科系”的提及率绝对很高。作为国家战略科技力量,“中科系”旗下
21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞,英特尔CEO帕特·基辛格(Pat Gelsinger)正在带领英特尔加速奔跑。当地时间9月19日,2023英特尔on技术创新大会于美国加利
财联社9月19日讯(记者 唐植潇)近日有消息称,OPPO将会重启芯片业务,并且“有部分员工已经回流,加入到了车载业务之中”。记者就此事向OPPO方面进行核实,对方表示“不予置评”。特百惠(我国)数字与
600亿颗芯片!我国巨头正式宣布,美媒:**也没料到制裁这么快
我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场,拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长,包括智能手机、电视、电脑和各种智能设备等,这些设备都需要高性能的芯
最新手机芯片天梯图:A17、华为麒麟9000S,排在什么位置?
近日,最火的两颗芯片分别是苹果的3nm芯片A17 Pro,虽然很多人吐槽它较上一代提升不明显,但论性能,可以碾压任何安卓芯片,甚至是领先2代的。另外一款芯片,则是华为麒麟9000S,当然,这颗芯片工艺
韩国芯片连续13个月暴跌,尹锡悦指责我国不采购,外媒:自食其果
据韩国媒体称,韩国的半导体出口额已经连续暴跌13个月了,比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国,话里话外都是指责,他认为韩国半导体卖不出竟是我国的原因,我国应该帮助
我国突破芯片瓶颈将影响全球秩序?美国很担心,指出我国关键弱点
我国在芯片半导体领域一直深受美国的**,通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档,不过随着我国科技企业近几年的突破,目前我国已经在芯片制造方面取得了重大的成果
前几天,华为一声不响的上线了mate60系列,带着麒麟芯片9000s强势回归,吸引了全世界的目光。而华为麒麟芯片**背后,我们不该忘记这位老人—张汝京。我国半导体之父,为回**造芯片,被开除**户籍,
【有车以后 资讯】“未来汽车对传统汽车的颠覆性,使传统零部件体系的50%以上都面临重构。”12月16日,在全球智能汽车产业峰会(GIV2022)上,我国电动汽车百人会理事长陈清泰指出,智能汽车的价值链
投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计,一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车,如F1赛车等,其**零部件的数量可达到2万个
全球最大的10家汽车零部件供应商 都是世界500强 无我国企业
【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜,是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中,汽车制造商和零部件厂商共占据33席(除去大型工程车辆企业),
汽车零部件企业哪家强?除了博世**还有这些名字你一定耳熟能详
文:懂车帝原创 李德喆[懂车帝原创 行业]9月18日,由《我国汽车报》主办,罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中,博世、**、电装位列2019全球汽车零部件
行业现状(Reference:产业运行 | 2021年汽车工业经济运行情况)中汽协预测:2022年我国汽车销量达到2700万辆,新能源销量超过550万辆(Reference:乘用车市场信息联席会)以乘
全球十大汽车零部件供应商,核心技术都被他们垄断,自主遗憾缺席
提到电影,我们会想到张艺谋、冯小刚,而很少会想到幕后的制作人;提起流行乐,我们会想到周杰伦、萧敬腾,而很少会想到背后的作词人。台前台后,一幕之别,知名度往往相差甚远。车界又何尝不是如此,知名车企我们都
来源:环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后,全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日,由全球移动通信**协会(GSMA)主办的20
近日华为、苹果争相推出手机卫星通信功能,成为一大亮点,不少手机厂商也将目光投到卫星通信。放眼未来,手机直连卫星的卫星通信服务将是大势所趋,也是6G时代的重要标志。华为以“北斗三号”为依托,率先把“卫星
国内企业在光通信产品的参数测试过程中,通常使用国外的先进测试设备。然而,这些测试仪器之间往往是孤立存在的,需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错,而且测试效率低下。
龙头20cm涨停,7天股价翻倍!一文看懂卫星通信前世今生及产业链
卫星通信概念股华力创通今日再度强势拉升,截至发稿,该股股价20cm涨停,7个交易日累计涨幅近113%,现报23.52元续刷阶段新高,总市值155.9亿元。消息上,有媒体从供应链获悉,Mate 60 P
工信部:目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件
针对网友提出的“电话号码归属地更改”建议,工信部近日给出了官方回复。此前,有网友在人民网留言板向工信部留言称,“现在电话都是实名制,电话号绑定的***及一些主流的软件较多,更换号码后造成一系列问题