小哥给GPT4装上“眼睛”让它看到家里的物品,真成机器人保姆了?
“最强AI”GPT-4推出后,全球网民把它玩出了花。
有人用它建网站,有人靠它**,还有人让它设计理财方案。
以上这些都发生在电脑上,意味着GPT-4的真身只存在于赛博空间里。
但外国小哥麦凯·瑞克利(Mckay Wrigley)不走寻常路。他想给GPT-4一双“眼睛”,让它自己看到现实空间里的一切,成为他的家庭生活助手。
也就是说,把GPT-4从赛博空间带到现实空间。
从结果看,他做得很成功……
瑞克利是一个自学成才的程序员,码龄不过四年。
虽然经验尚浅,但靠着热情和好奇心,他在不久前做出“GPT之眼”。
这个名字听上去高端大气,但用他的话说,“不过是一堆东西拼凑在一起,根本不复杂”(当然也可能是谦虚)。
想要让GPT-4看到家里的一切,需要经历两个步骤,一个是拍摄,一个是视觉分析。
首先,瑞克利用苹果手机拍摄**,**直播到电脑上。
接着,他使用电脑上的视觉模型YOLOv8来检测目标。为了确保准确性,他需要先将房间内所有物品的图像输入进去,形成自己的数据集。
这是任务的核心,还好繁重的工作都由YOLOv8完成。
瑞克利说他只看了20分钟的油管教程**,就搞定了一切。
为了让“家庭助手”的工作风格更自然,瑞克利选择用语音和它对话。
他使用OpenAI公司的语音自动识别**Whisper,将它安装到电脑上。
Whisper对英语识别的准确性和人类差不多,检测到话语后,它会转成文字输入给GPT-4。
与此同时,**上的物体由YOLOv8识别,输入给GPT-4。
GPT-4写出来的文字,会由AI语音生成器自动读出来。
就这样,GPT-4的耳朵、眼睛和嘴巴都有了。
“一切都唾手可得,简直非常简单。” 瑞克利兴奋地写道,“这就是世界未来的样子!”
光看文字,可能感觉不到科幻之处,
但看**就有点毛骨悚然了……
“请记住,眼前这个AI没有任何先验知识,它只能通过**头拍到的物品来获得信息。” 瑞克利在**开头说,“大家可以看到,屏幕上有很多框,这就是它在识别物品。”
“除此外,它还可以在网上搜索关于物品的信息。”
瑞克利按下运行按钮,GPT-4用专业的女声说:“我有什么能帮您的吗?”
瑞克利问:“生酮饮食是什么东西?”
GPT-4说:“让我找找……生酮饮食是一种低碳水化合物、高脂肪的饮食。它可以降低血糖和胰岛素,在远离碳水食用脂肪的过程中,改变身体的新陈代谢。”
瑞克利问:“好的。我想知道,如果我给你看一些食物,你能告诉我哪些属于生酮食物吗?”
GPT-4说:“当然。给我看看你的食物,我能告诉你哪些是生酮食物。”
瑞克利打开冰箱,用很快的速度拍摄牛油果、牛排、果汁、橙子、柠檬、酱料等食物。
在他拍的时候,这些物品都被框了起来。
他拍得相当草率,每个食物在镜头上停留的时间可能不到一秒。
之后,他关上冰箱,对观众们解释:“当我离开冰箱的时候,它就明白我不想继续展示了。冰箱门一关,它开始处理信息,整个识别过程很快。”
过了几秒钟,GPT-4说:“看起来,你家里有牛排、菠菜、黄油、牛油果和柠檬。这些都是很棒的生酮食物。”
瑞克利举了个大拇指说:“干得好,这就是我想让你做的。接下来我要你去网上搜菜谱,看看我能用这些食物做什么晚餐。”
GPT-4回答:“让我看看……我搜到一个叫‘15分钟柠檬大蒜黄油牛排配菠菜’的食谱。它用到了你有的食材。”
它给出了网页的链接,瑞克利向它表示感谢。双方客套了一下,然后GPT-4关闭了。
点进GPT-4给的菜谱网页,瑞克利发现不是很完美,因为里面也用到了他没有的食材。
“不过我觉得挺不错的了。你们看,它还不是一个完整的产品,只是一个演示。现在的效果已经很令人印象深刻了。”
瑞克利说,他非常期待苹果公司将在今年夏天推出的AR眼镜。搭配上GPT-4还未正式推出的图像输入功能,效果会非常**。
想一想,戴着眼镜随处看,就能让GPT-4对你的生活了如指掌……
这不就是机器人管家走进现实吗?
瑞克利用到的技术不算复杂,但让GPT-4直接和现实交互,有点未来世界的样子。
推特评论区里,很多人已经等不及要试了,瑞克利鼓励大家“它做起来比看起来容易100倍”。
上个月,瑞克利做过“GPT之眼”简易版,效果也很不错。
他拿着可乐,问GPT-4这是什么,它很快回答“这是一罐可乐”。
接着,他问里面有多少卡路里。虽然光线模糊,距离也不算近,GPT-4看出来(准确地说是视觉模型看出来)这是健怡可乐,回答“它不含有任何卡路里”。
GPT-4还搜索出这款可乐的成分,给出网站链接。
瑞克利又拿出自己的牙刷,问它这是什么,同时要求它找到在亚马逊上的购买链接。
GPT-4回答“这根牙刷售价6.66美元,有14712人留下评分,星级评分为4.7”。
接着,它给出购买链接。瑞克利点进去后发现犯了点小错,GPT-4给的不是原价,而是折后价,大概是因为它登录了自己的亚马逊账号。
在最后的测试,瑞克利拿出一张电影海报,问GPT-4这个男人是谁,给出关于他的信息。
GPT-4很快找到他是约翰·维克,《疾速追杀》里的角色。
“约翰·维克是基努·里维斯在一部新黑色动作惊悚片中扮演的角色。约翰是一名传奇**。在一群人闯入他的家,偷走他的车,杀掉他已故妻子送的小狗后,他寻求复仇,重新回到犯罪的地下世界。这使他和曾经所属的国际**组织产生的冲突。”
****的链接也贴心附上了。
现在,瑞克利在兴奋地期待AR眼镜,把它和GPT-4结合后,整个人就像生活在科幻小说里。
而这仅仅只是开始。
也许机器人管家会普及化,
也许人们会找出更神奇的功能,做出更不可思议的产品,
算是AI降生后给人的小小期盼吧……
一 公司基本情况速览总股本:1.879亿 总发行量 :4690万 发行**:10.69元 募资总额:5.01亿发行市盈率:20.42倍 行业市盈率:19.12倍所属行业:燃气生产和供应 所属区域:陕西
美能能源(001299)12月6日主力资金净买入1125.28万元
截至2022年12月6日收盘,美能能源(001299)报收于27.53元,上涨2.92%,换手率39.8%,成交量18.67万手,成交额5.05亿元。12月6日的资金流向数据方面,主力资金净流入112
截至2022年11月8日收盘,美能能源(001299)报收于22.69元,上涨3.18%,换手率71.38%,成交量33.48万手,成交额7.75亿元。资金流向数据方面,11月8日主力资金净流出399
专访美能能源董事长晏立群:紧随绿色低碳能源**大潮 捕捉清洁能源发展新商机
90年代初,****前沿的深圳还处在草莽创业的时期,那时候,深圳吸引了一批又一批来自全国各地的年轻人,晏立群就是其中之一。从外出闯荡到回乡扎根,从推销液化气灶具到推广应用天然气,从“打工人”到创业者,
美能能源(001299)7月20日股东户数2万户,较上期减少6.82%
近日美能能源披露,截至2023年7月20日公司股东户数为2.0万户,较7月10日减少1465.0户,减幅为6.82%。户均持股数量由上期的8731.0股增加至9370.0股,户均持股市值为15.18万
美能能源2023年3月22日在深交所互动易中披露,截至2023年3月20日公司股东户数为2.27万户,较上期(2023年2月10日)减少3573户,减幅为13.59%。美能能源股东户数低于行业平均水平
美能能源7月24日在交易所互动平台中披露,截至7月20日公司股东户数为20020户,较上期(7月10日)减少1465户,环比降幅为6.82%。证券时报•数据宝统计,截至发稿,美能能源收盘价为16.20
记者 | 陈慧东编辑 | 10月31日上市首日,美能能源(001299.SZ)高开后一路上涨,两次触及涨停**,于10时01分许封上涨停板。截至收盘,该股股价上涨43.97%,报15.39元/股,成交
美能能源2023年7月18日在深交所互动易中披露,截至2023年7月10日公司股东户数为2.15万户,较上期(2023年6月30日)增加59户,增幅为0.28%。美能能源股东户数低于行业平均水平。根据
多主力现身**榜,美能能源换手率达67.90%(11-24)
深交所2022年11月24日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收22.57元,涨跌幅为-1.53%,换手率67.90%,振幅10.43%,成交额7.
多主力现身**榜,美能能源换手率达47.30%(11-23)
深交所2022年11月23日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收22.92元,涨跌幅为9.98%,换手率47.30%,振幅12.57%,成交额4.9
11月30日美能能源(001299)**榜数据:机构净买入6.49万元
沪深交易所2022年11月30日公布的交易***息显示,美能能源(001299)因日换手率达到20%的前5只证券登上**榜。此次是近5个交易日内第5次上榜。截至2022年11月30日收盘,美能能源(0
美能能源将开启申购:上半年增收不增利,预计上市时市值20亿元
10月17日,陕西美能清洁能源集团股份有限公司(下称“美能能源”,SZ:001299)披露发行公告,并将于2022年10月18日开启申购。本次上市,美能能源的发行价为10.69元/股,发行市盈率20.
美能能源(001299)11月15日主力资金净卖出2095.05万元
截至2022年11月15日收盘,美能能源(001299)报收于20.1元,下跌1.03%,换手率21.43%,成交量10.05万手,成交额2.01亿元。11月15日的资金流向数据方面,主力资金净流出2
深交所2022年10月31日交易***息显示,美能能源因属于无**涨跌幅**的证券而登上**榜。美能能源当收15.39元,涨跌幅为43.97%,换手率7.15%,振幅23.95%,成交额5142.
陕西又一城燃公司IPO过会,美能能源“内生式增长”成效几何?
华夏时报(www.chinatimes.net.cn)记者 苗诗雨 陆肖肖 北京报道继陕天然气(002267.SZ)后,陕西第二家区域性城燃公司即将于近日上市发售。天然气资源和油气资源丰富的陕西地区,
加码新能源领域投资 美能能源拟投建集团总部暨西安智慧能源研究院
本报记者 殷高峰11月14日,美能能源发布公告称,公司与西安高新区管委会拟签订《美能能源总部暨西安智慧能源研究院建设项目协议书》,公司计划在西安高新区上市企业园建设美能能源总部暨西安智慧能源研究院,总
多主力现身**榜,美能能源换手率达55.10%(11-25)
深交所2022年11月25日交易***息显示,美能能源因属于连续三个交易日内收盘**涨幅偏离值累计20%、当日换手率达到20%的证券而登上**榜。美能能源当收24.83元,涨跌幅为10.01%,换
多主力现身**榜,美能能源换手率达32.22%(05-29)
深交所2023年5月29日交易***息显示,美能能源因属于当日换手率达到20%的证券而登上**榜。美能能源当收18.72元,涨跌幅为3.43%,换手率32.22%,振幅12.43%,成交额2.73
11月7日美能能源(001299)**榜数据:机构净卖出1216.39万元
沪深交易所2022年11月7日公布的交易***息显示,美能能源(001299)因日换手率达到20%的前5只证券登上**榜。此次是近5个交易日内第3次上榜。截至2022年11月7日收盘,美能能源(001