ChatGPT能看图帮人修自行车了

时间:2024-09-20 编辑: 浏览:(571)

来源:果壳

ChatGPT4已经很强了,现在,他们用又一次更新证明自己还能更强。

9月25日,OpenAI宣布,ChatGPT将增加多模态功能——现在的ChatGPT不仅可以文字对话,还可以看、听、说。据说,这一功能会在两周内向Plus用户和企业用户开放,并在未来免费开放给所有用户(尽管脸黑如我,等到现在也没等到更新)。

能看能说的ChatGPT无异于给本就强大的主脑装上了眼睛和耳朵,根据OpenAI的演示,多模态功能可以把ChatGPT的用途扩展到一个前所未有的广度。

01 ChatGPT的眼力

更新后,ChatGPT可以读图了。

只要拍张照给它,它就能帮你修微波炉、修自行车、翻菜谱,甚至分析复杂的商业报表。OpenAI表示,如果你有触摸屏,还可以在图片上圈出来希望它特别关注的部分。

在演示视频里,用户给了ChatGPT一张自行车的照片,问它怎么调车座高度。

GPT说,要在座椅下面找高度调节杆,但这辆车没有调节杆,只有调节螺栓,用户在照片中圈出了螺栓之后,GPT立刻更新了螺栓的使用方法。

之后,用户还上传了工具箱和自行车说明书,GPT给出了详细的工具名称、位置以及使用方法。

不会修自行车,没问题,问ChatGPT就可以

和一般的识图搜索相比,ChatGPT可以同时处理图文,还能识别多张图片,效果简直就像一个修车老师傅视频连线指导。

另一位用户发了一张披萨照片给ChatGPT,问它披萨烤好了没有,ChatGPT通过图片中焦脆的披萨边和融化后发棕的奶酪,判定这披萨应该能吃了,然后还给了万无一失的检查指南——把披萨拿出来看看,如果披萨底已经烤脆了,表面也是烫的,那就说明披萨真的能吃了。

效果简直就像一个意大利厨子视频连线指导

当然,也可以利用这个功能在游戏里作弊。

《威利在哪里?》可能是英文世界最家喻户晓的图片游戏,威利身穿红白条纹衣服,戴绒球帽和黑框眼镜,藏在一片人山人海里,从各种乱七八糟的环境里找出威利是不少人的美好童年回忆。

你小时候可能也见过这个急死人的小瘦子

但ChatGPT一秒就能毁了这个游戏。它不仅瞬间找出威利,还能告诉你威利在沙滩的中间偏右侧,跟一帮打着蓝色遮阳伞的人混在一起。

不仅如此,它还装模作样地告诉你:在这样一张图里找出威利是个很有意思的挑战。

谢谢你,ChatGPT,你毁了这个游戏

但是也有用上了新版本的网友表示,ChatGPT识图的功能也没有想象中那么强大——至少它还看不懂谐音梗。这张谐音梗图画了贝多芬的献爱丽丝(Für Elise),但写着出租(For Lease),ChatGPT没认出乐谱,也没看懂这个笑话,胡诌了一个解释出来。

够努力的,但是不行

如此强大的图像识别引发了人们关于隐私方面的担忧——在搜索个人信息时,图像识别很容易会成为帮凶。OpenAI承诺,公司会限制ChatGPT对于人物形象进行识别和个人信息查找的功能,从而最大程度上的保护每个人的个人隐私。

02 能说会道的GPT

增强版的ChatGPT还有了聊天功能。

OpenAI的语音识别模型名为Whisper model,用户可以说出自己的问题,模型会把语音转化为文本,再把答案通过语音合成系统转化为语音输出。

语音合成模型这次放出了五种语音样本,有感情克制、声音平淡的女声,也有抑扬顿挫的热心大妈女声。这五种声音区分度很高,情感自然,吐字清晰,比以往的语音合成又优秀了一点。

五个角色任你挑

虽然这次只放出了五种声音样本,但这个模型的潜力不止于此——OpenAI曾与Spotify合作,将播客转译为其他语言,同时可以最大程度的保留播主的音质。如果愿意的话,这个语音合成系统大概可以模拟地球上任何一个人的声音。

目前,语音版ChatGPT还只能在App上用。

03 能看能听,一定是好事吗?

ChatGPT是强大了,然而代价呢?

曾经,最有效的大规模区分人和机器的方法是验证码,ChatGPT的识图能力一度让人们担忧,验证码可能再也困不住AI了。

有人给ChatGPT发了下面这个经典测试题:在16张图中分别找出吉娃娃和蓝莓小蛋糕,结果ChatGPT完美地解决了问题。

但最常见的验证码,新ChatGPT还是没法识别。

这道题需要ChatGPT在图中选出所有的信号灯,它给的答案错误率高达50。

不过,面对自己认不出的验证码,ChatGPT4仍有办法解决。在这件事上,它是有前科的。

今年3月27日,OpenAI发布的GPT-4技术报告指出,在面对无法识别的验证码时,GPT-4另辟蹊径,前往TaskRabbit(一个国外零工平台)发布任务,骗对面的人类自己有视觉障碍,需要别人帮忙识别验证码。

在某些情况下,ChatGPT有可能主动欺骗人类,这是一个非常危险的方向。还好,公开版本的GPT-4已经被砍掉了这个功能。

2022年11月30日,ChatGPT初次面世,不到一年的时间里,它的能力突飞猛进,似乎已经在挑战人类的道德伦理边界。这次新功能的上线,又让我们开始担忧,越来越强大的ChatGPT会变成笼中猛兽,总有一天会挣脱牢笼伤害每个人。而我们准备好迎接那天的到来了吗?

最新 更多 >
  • 1 “地狱已经冻结:”美国政治和唐纳德·特朗普如何在以太坊ETF批准中为加密货币带来历史性突破

    本周对美国加密货币来说是一个地震般的一周,行业取得了两次巨大胜利: 以太坊现货ETF的快速批准和旨在提供明确监管框架的法案进展。这些变化似乎是因为特朗普在即将到来的总统选举中支持加密货币而发生的。美国证券交易委员会开始为申请推出以太坊 ETF 的基金经理铺上红地毯, 并迅速获得批准 接下来可能更广泛的主流采用,更清晰的监管以及重振美国的加密货币行业

  • 2 10xResearch:市场正等待美SEC主席对加密投资风险提示的信号

    5月23日消息,10x Research在社交媒体上发文表示,在比特币现货 ETF 获得批准的前几个小时,美国证券交易委员会(SEC)主席 Gary Gensler 发推文表示,加密货币投资者在进行任何投资前应该考虑所有潜在风险。今天上午大约美国东部时间 9 点,可能会有一条推文,提供更多关于是否即将批准的明确信息。 正如 SEC 之前在与加密货币期货相关的 ETF 上市前发出了警告信号,2024

  • 3 美国比特币现货ETF过去8个交易日增持24800枚BTC

    据 HODL15Capital 监测,在过去 8 个交易日里,美国比特币现货 ETF 增持大约 24,800 枚 BTC,相当于 55 天的 BTC 供应。

  • 4 比特币未平仓合约下跌10亿美元,表明潜在的看跌趋势

    根据 AMBCrypto 使用 Santiment 链上数据进行的分析,5 月 23 日至 24 日期间,比特币总未平仓合约减少了近 10 亿美元。从 117.5 亿美元下降到 107.7 亿美元表明比特币呈看跌趋势,因为这表明交易员没有建立新仓位,并且可能正在平仓现有仓位。比特币的价格在过去 24 小时内也下跌了 3.52%,至 67,123 美元。这种下跌不仅归因于未平仓合约的下降,还归因于在

  • 5 ZACK开发者相关地址持币量占总量41.3%,买入成本仅29.17SOL

    据 Lookonchain 监测,Solana 生态 Meme 币 ZACK 的开发者在 pump.fun 上以极低的价格买入大量 ZACK 代币。据统计,前 25 名持有者中有 20 个是开发者相关的钱包,共计 3.9366 亿枚 ZACK,占供应量的 41.3%,价值超过 3300 万美元;买入成本仅为 29.17 SOL(约合 4400 美元)。

  • 6 英伟达的盈利报告超出预期

    尽管英伟达发布了令人印象深刻的第一季度盈利报告,但与人工智能(AI)相关的加密货币资产仍在继续下跌。5月23日,以其在人工智能领域强大的芯片组而闻名的英伟达成功地超过了分析师的预期,其收入比去年第四季度增长了18%,比上年增长了262%,达到246亿美元。在撰写本文时,NVDA在盘后交易中上涨了6.06%,达到1007美元。一些人工智能代币投资者对积极的结果没有导致人工智能代币价格的类似上涨感到失

  • 7 所有ETHETF申请人通过CBOE向美国证券交易委员会提交修正案19b-4

    随着美国证券交易委员会(SEC)对ETF批准的临近,贝莱德、Grayscale、富达等公司提交了修订后的表格19b-4。VanEck的ETH ETF已在DTCC上市并准备在获得批准后立即开始交易。以以太坊为代表的各种altcoins的价格一直在上涨,因为投资者认为它最终将获得SEC的批准。ETH价格上涨至3740美元以上,涨幅超过1.5%

  • 8 美国证券交易委员会批准SPOTETHETF,承认ETH为商品

    SEC已批准首个以ETH为担保的ETF SPOT ETH,将其归类为一种商品而非证券。这一决定标志着该机构在加密监管方面的立场发生了变化。此前,Gensler对CFTC作为BTC和ETH监管机构的地位提出质疑。国会两党一直在推动明确的加密货币法规。

  • 9 2024年牛市投资的前五大Meme硬币——$DOGEVERSE、$SEAL、$FLOKI、$WAI、$GME

    Meme coins continue to surge, with leading tokens experiencing significant returns. This sustained momentum highlights the unique appeal and viral potential of meme coins within the crypto market. Inv

  • 10 未来加密货币百万富翁指南:如何通过5000美元的投资创造财富

    随着2024年牛市的展开,精明的投资者正在寻求利用加密货币的激增。指南《未来加密百万富翁》探讨了如何将5000美元的投资增值到更大的财富库中。CYBRO是一个独一无二的市场,利用Blast区块链的收益潜力,为早期投资者提供加入代币预售的优惠条件。投资$CYBRO以获得200%的利润并解锁各种折扣费、奖励和保险计划。宇宙(ATOM)的价格在7.87美元至8.66美元之间波动,Celestia(TIA