ChatGPT能看图帮人修自行车了

时间:2024-09-18 编辑: 浏览:(160)

来源:果壳

ChatGPT4已经很强了,现在,他们用又一次更新证明自己还能更强。

9月25日,OpenAI宣布,ChatGPT将增加多模态功能——现在的ChatGPT不仅可以文字对话,还可以看、听、说。据说,这一功能会在两周内向Plus用户和企业用户开放,并在未来免费开放给所有用户(尽管脸黑如我,等到现在也没等到更新)。

能看能说的ChatGPT无异于给本就强大的主脑装上了眼睛和耳朵,根据OpenAI的演示,多模态功能可以把ChatGPT的用途扩展到一个前所未有的广度。

01 ChatGPT的眼力

更新后,ChatGPT可以读图了。

只要拍张照给它,它就能帮你修微波炉、修自行车、翻菜谱,甚至分析复杂的商业报表。OpenAI表示,如果你有触摸屏,还可以在图片上圈出来希望它特别关注的部分。

在演示视频里,用户给了ChatGPT一张自行车的照片,问它怎么调车座高度。

GPT说,要在座椅下面找高度调节杆,但这辆车没有调节杆,只有调节螺栓,用户在照片中圈出了螺栓之后,GPT立刻更新了螺栓的使用方法。

之后,用户还上传了工具箱和自行车说明书,GPT给出了详细的工具名称、位置以及使用方法。

不会修自行车,没问题,问ChatGPT就可以

和一般的识图搜索相比,ChatGPT可以同时处理图文,还能识别多张图片,效果简直就像一个修车老师傅视频连线指导。

另一位用户发了一张披萨照片给ChatGPT,问它披萨烤好了没有,ChatGPT通过图片中焦脆的披萨边和融化后发棕的奶酪,判定这披萨应该能吃了,然后还给了万无一失的检查指南——把披萨拿出来看看,如果披萨底已经烤脆了,表面也是烫的,那就说明披萨真的能吃了。

效果简直就像一个意大利厨子视频连线指导

当然,也可以利用这个功能在游戏里作弊。

《威利在哪里?》可能是英文世界最家喻户晓的图片游戏,威利身穿红白条纹衣服,戴绒球帽和黑框眼镜,藏在一片人山人海里,从各种乱七八糟的环境里找出威利是不少人的美好童年回忆。

你小时候可能也见过这个急死人的小瘦子

但ChatGPT一秒就能毁了这个游戏。它不仅瞬间找出威利,还能告诉你威利在沙滩的中间偏右侧,跟一帮打着蓝色遮阳伞的人混在一起。

不仅如此,它还装模作样地告诉你:在这样一张图里找出威利是个很有意思的挑战。

谢谢你,ChatGPT,你毁了这个游戏

但是也有用上了新版本的网友表示,ChatGPT识图的功能也没有想象中那么强大——至少它还看不懂谐音梗。这张谐音梗图画了贝多芬的献爱丽丝(Für Elise),但写着出租(For Lease),ChatGPT没认出乐谱,也没看懂这个笑话,胡诌了一个解释出来。

够努力的,但是不行

如此强大的图像识别引发了人们关于隐私方面的担忧——在搜索个人信息时,图像识别很容易会成为帮凶。OpenAI承诺,公司会限制ChatGPT对于人物形象进行识别和个人信息查找的功能,从而最大程度上的保护每个人的个人隐私。

02 能说会道的GPT

增强版的ChatGPT还有了聊天功能。

OpenAI的语音识别模型名为Whisper model,用户可以说出自己的问题,模型会把语音转化为文本,再把答案通过语音合成系统转化为语音输出。

语音合成模型这次放出了五种语音样本,有感情克制、声音平淡的女声,也有抑扬顿挫的热心大妈女声。这五种声音区分度很高,情感自然,吐字清晰,比以往的语音合成又优秀了一点。

五个角色任你挑

虽然这次只放出了五种声音样本,但这个模型的潜力不止于此——OpenAI曾与Spotify合作,将播客转译为其他语言,同时可以最大程度的保留播主的音质。如果愿意的话,这个语音合成系统大概可以模拟地球上任何一个人的声音。

目前,语音版ChatGPT还只能在App上用。

03 能看能听,一定是好事吗?

ChatGPT是强大了,然而代价呢?

曾经,最有效的大规模区分人和机器的方法是验证码,ChatGPT的识图能力一度让人们担忧,验证码可能再也困不住AI了。

有人给ChatGPT发了下面这个经典测试题:在16张图中分别找出吉娃娃和蓝莓小蛋糕,结果ChatGPT完美地解决了问题。

但最常见的验证码,新ChatGPT还是没法识别。

这道题需要ChatGPT在图中选出所有的信号灯,它给的答案错误率高达50。

不过,面对自己认不出的验证码,ChatGPT4仍有办法解决。在这件事上,它是有前科的。

今年3月27日,OpenAI发布的GPT-4技术报告指出,在面对无法识别的验证码时,GPT-4另辟蹊径,前往TaskRabbit(一个国外零工平台)发布任务,骗对面的人类自己有视觉障碍,需要别人帮忙识别验证码。

在某些情况下,ChatGPT有可能主动欺骗人类,这是一个非常危险的方向。还好,公开版本的GPT-4已经被砍掉了这个功能。

2022年11月30日,ChatGPT初次面世,不到一年的时间里,它的能力突飞猛进,似乎已经在挑战人类的道德伦理边界。这次新功能的上线,又让我们开始担忧,越来越强大的ChatGPT会变成笼中猛兽,总有一天会挣脱牢笼伤害每个人。而我们准备好迎接那天的到来了吗?

最新 更多 >
  • 1 美国证券交易委员会可能会在币安诉讼中搁置Solana是证券的指控

    Solana、Cardano和Polygon都可以暂时松一口气——根据一份新的法庭文件,美国证券交易委员会(SEC)希望在针对加密货币交易所Binance的诉讼中提出其关于它们是未注册证券的指控。 美国证券交易委员会在周二早些时候提交的一份联合状态报告中写道,该委员会希望修改其币安诉讼,搁置对“第三方加密资产”的指控。但SOL、ADA和MATIC还没有完全走出困境。 该修正案与美国证券交易委员会撤

  • 2 价值前景领先Web3行业:在42 DAO生态 低成本地开启躺赚模式

    42DAO是Web3世界最具成长性的DAO组织,基于更灵活的机制、更坚实的技术、更多元的生态以及更强劲的共识,目前已经开启了用户规模的裂变模式,社区体量也在持续暴增。在这一利好形势下,42 DAO得到了BCH生态基金会的投资和孵化,并且开始需要更多主流资本的关注。那么,普通用户如何从42 DAO的发展浪潮中分的一杯羹呢?这得从42 DAO生态中孵化的算法稳定币BLC(Balance Coin)说起

  • 3 双子座的Cameron Winklevoss表示,Kamala Harris重置加密货币关系的举动可能是一个大失误

    加密货币交易所Gemini联合创始人Cameron Winklevoss不相信副总统卡玛拉·哈里斯和她的民主党决心修复与数字资产行业的关系。 上周末,有消息称,哈里斯的阵营与该国领先的加密货币公司建立了联系,试图重置她所在政党此前对该行业的敌对立场。 但Winklevoss并不买账总统候选人修补数字资产行业的举动。 在社交媒体平台X上的一条帖子中,Winklevoss提醒Harris,拜登政府在过

  • 4 为什么美国35万亿美元的国债“对比特币有利”

    美国联邦政府的未偿还借款现已达到惊人的35万亿美元。 在过去和其他国家,不断上升的国债导致了通胀压力的增加,并削弱了人们对传统法定货币的信心。 然而,与历史上的其他时期不同,主权国家和投资者都有机会购买加密货币,以对冲这些压力,交易公司GSR的联合创始人Rich Rosenblum告诉Decrypt。 Rosenblum说:“世界上大部分地区的债务不断膨胀,可以说处于‘债务陷阱’中,这一事实对比特

  • 5 Syscoin高管被指控未经授权创建1亿个新的SYS代币

    Syscoin是世界上最古老的区块链平台之一,被指控持续阴谋操纵SYS代币供应,并涉嫌通过Syscoin基金会欺骗投资者。 该项目始于2014年,表示希望结合比特币和以太坊的最佳功能。它承诺为去中心化应用提供一个坚实的平台。2018年,它成立了Syscoin基金会来支持和开发该平台。 Syscoin被控欺诈 根据Dogecoin基金会提交的一份新报告,Syscoin基金和SYS Labs Hold

  • 6 专家认为比特币在击败68007美元阻力位后进入香蕉区

    在经历了三周高点后的持续整合中,比特币继续在分析师中获得积极情绪。 在最近的一项分析中,Pal的图表突出了经典的杯形和手柄形成,表明成功突破他指定的阻力位可能会将比特币推到新的高点。 根据图表,这种模式从2019年到2021年底开始显著上升,在2023年之前的下降和复苏过程中形成了底部圆润的“杯子”。 在此之后,从2024年初到现在,一个较小的整合或“手柄”已经形成。阻力位约为68

  • 7 Fibonacci Web3 Summer 区块链大会在杭成功举办

    2024 年 7 月 27 日,Fibonacci Web3 Summer 区块链大会于杭州圆满落幕。本次大会由 Fibonacci 主办,BUDAO LABS 联合主办,吸引众多业内专家与资本关注,实际到场逾 1500 人次,场面盛大。大会现场设有多个创新展位,并邀多位重量级嘉宾作精彩主题演讲。此次大会成功举办,为行业发展注入新动力,亦预示未来杭州在 WEB3 领域将占据重要地位。

  • 8 Polymarket突破10亿美元大关-最新加密货币新闻

    著名的加密货币平台Polymarket的交易量已经超过了10亿美元的里程碑,其中超过三分之一的交易量是在上个月内产生的。根据Dune Analytics的数据,截至7月30日,该平台的预测量为3.43亿美元,相较于6月的1.11亿美元和5月的6300万美元有了显著增长。 内容隐藏1为什么Polymarket获得牵引力?2广阔的市场范围3用户的关键见解4展望未来 为什么Polymarket获得牵引

  • 9 比特币分析师表示,在积累阶段,ADA将大幅飙升至9.5美元

    根据最近的一项分析,卡尔达诺(ADA)显示出进入新的看涨阶段的迹象,价格目标预计将上涨2257%。 ADA继续跟随大盘走势,最近交易价格在0.408美元至0.430美元之间。在当前市场的不确定性中,著名比特币分析师SpartaBTC最近在TradingView上发布了一份分析报告,预测Cardano的价格将大幅上涨。 卡尔达诺前期积累阶段 在他的分析中,SpartaBTC强调了ADA的关键历史价格

  • 10 斯洛文尼亚发行欧洲首只数字主权债券

    斯洛文尼亚成为第一个发行主权数字链上债券的欧盟国家。 7月25日发行的3000万欧元或3250万美元债券是欧洲央行批发中央银行货币(CeBM)计划实验计划的一部分。和解是通过法国银行的代币化现金解决方案进行的,由法国巴黎银行协调。 斯洛文尼亚的数字债券为投资者带来了3.65%的利差回报,即债券的息票减去短期借款的利息成本。它已经设定了11月25日的最终到期利率。 对于加密货币来说,这是欧洲激动人心