谷歌重磅发布Gemini 1.5 Pro:能自动写影评,理解视频!

时间:2024-10-02 编辑: 浏览:(244)

文章来源:AIGC开放社区

图片来源:由无界AI生成

4月10日凌晨,谷歌在官网正式发布了Gemini 1.5 Pro,现在可在180多个国家/地区使用。

除了能生成创意文本、代码之外,Gemini 1.5 Pro最大的特色是能根据用户输入的文本提示,理解、总结上传的视频、音频内容进行深度总结,并且支持100万tokens上下文。

目前,可以在Google AI Studio开发平台中免费试用Gemini 1.5 Pro,支持中文进行提示。

此外,谷歌还对Gemini API进行了性能优化,包括系统指令、JSON模式以及函数调用优化,可显著提升模型的稳定性和输出能力。

视频理解展示

「AIGC开放社区」通过Google AI Studio开发平台第一时间体验了一下最新的Gemini 1.5 Pro的多模态理解能力。使用方法非常简单便捷,以下是教程示例。

1)登录https://aistudio.google.com/app/prompts/new_chat然后选择模型Gemini 1.5 Pro,以及上方的Video功能。

2)点击Video后,选择Upload上传视频。

3)由于模型对上传视频的解析速度过慢,所以,这里直接使用了谷歌内置的视频示例。需要注意的是,上传视频不要超过100万tokens。

4)我们使用内置视频示例,然后用中文提问:“介绍一下这部影片讲述了哪些内容。”

5)Gemini 1.5 Pro正在解析,通常只需要几十秒就能完成。

结果已经出来了,这是一部由BusterKeaton 于 1924 年主演并导演的电影《福尔摩斯二世》。

6)我们继续发问,“你能用这个视频写一段600字的影评吗?”大概几十秒后,Gemini 1.5 Pro便生成了影评。

虽然生成的内容无法与顶级影评人的作品媲美。但整体的文章架构、叙述方法以及词汇的准确度是超过很多小白、中级影评人的水平。只需要在这个基础之上进行稍加修改,就是一篇不错的内容。

值得一提的是,用户可以一次性上传多个视频一起解读,这对于视频媒体行业来说很有帮助,可以快速理解长视频内容节省时间。

音频理解展示

我们再试试音频,基本操作与视频差不多。这里我们上传一份英文阅读ESL Podcast的课程。

然后上传MP3格式文件

2)音频比视频解析快了很多很多,这里我们上传的音频有大约12万tokens。

3)开始发问,“总结一下这个音频的内容。”

4)Gemini 1.5 Pro已经精准解读出来了,这个音频是 ESL Podcast 系列课程“Jeff 的一天”的第一课,旨在帮助学习者掌握日常英语词汇。

比较意外的是,Gemini 1.5 Pro还把整个可成的结构、故事内容和学习目标全部都解读了出来,看来Gemini 1.5 Pro还是更懂英文数据内容。

Gemini 1.5 Pro的音频理解,同样支持多个文件一起解读。

Gemini API改进

为了帮助开发人员更好地控制Gemini模型,谷歌对API进行了三个优化。

系统指令:目前可以在Google AI Studio 和 Gemini API 中使用系统指令功能,可指导模型的响应输出。能让用户根据其特定需求和用例控制模型的行为。

在设置系统指令时,用户需要为模型提供额外的上下文来了解任务、提供自定义程度更高的响应,并在用户与模型的整个互动过程中遵循特定准则。

而开发者通过系统指令能定义角色、格式、目标和规则,以引导模型在特定用例中的各种行为。

JSON模式:现在Gemini API 提供了一个配置参数,用于请求 JSON 格式的响应。可以帮助开发者从文本或图像中提取结构化数据。

函数调用优化:开发者可以使用自定义函数并将其提供给AI模型,但模型不会直接调用这些函数,而是生成指定函数名称和建议的参数的结构化数据输出。

该输出支持调用外部 API,然后生成的 API 输出可以重新合并到模型中,从而帮助开发者实现更全面的查询响应。

目前,Gemini 1.5 Pro已经全面开放使用了,有兴趣的小伙伴赶紧去试试吧。

本文素材来源谷歌官网,如有侵权请联系删除

最新 更多 >
  • 1 HashKey Global的交易量超过Coinbase International

    百慕大,百慕大,2024年6月6日,Chainware HashKey Global《2024年5月月报》发布,日交易额达到3.48亿美元,环比增长173%。Launchpool的第一阶段收益率高达37.68%,对市场产生了显著影响。 Launchpool向市场推出高APR 第一个Launchpool以高APR震惊了市场,吸引了超过2157名用户在第一天锁定资产。质押总额达到1.09亿美元,第一

  • 2 BNB价格创下715美元历史新高,估值超过索拉纳1000亿美元

    2024年6月5日,星期三,BNB价格突破700美元大关,自2021年11月以来首次创下历史新高;随着多头准备获利回吐,BNB似乎面临重大调整阶段的风险。 BNB价格创下715美元历史新高 币安是世界上最大的加密货币交易所,在过去两年中一直受到广泛的监管压力。在与中国、尼日利亚和菲律宾等国的禁令作斗争的同时,币安还与美国当局陷入了46亿美元的和解诉讼。 币安对其整个生态系统产生了不利影响。交易所的

  • 3 独家报道:捷克监管机构声称道具贸易公司“可能受到MiFID的约束”

    捷克国家银行独家告诉Finance Magnates:“从事道具交易(技术资助的交易员服务)的公司使用的商业模式可以采取各种形式,其中一些可能受到MiFID监管框架的约束。”在这种情况下,值得一提的是,顶级道具交易公司之一FTMO位于捷克共和国。 专用外汇云解决方案,具有稳定快速的跨境连接,能够满足高需求场景。阿里云帮助外汇交易员在全球范围内安全运营。点击了解更多! “在这些情况下”,监管机构补

  • 4 人性化AI引脚内爆?销售不佳、火灾风险和潜在收购

    “人道AI”大头针很火——用各种错误的方式。 在大肆宣传之后,Humane AI售价700美元的AI Pin遭到了一波严厉的评论。在销售不佳的情况下,该设备现在正与一个有故障的配件作斗争。周三,Humane AI警告用户“立即停止使用和充电”AI Pin的可选充电盒,因为“存在消防安全风险” 该公司表示:“在收到使用第三方USB-C电缆和第三方电源时出现充电问题的单一报告后,我们发现您的充电盒附件

  • 5 Ripple:XRP形成一个倒置的锤子:以下是它将达到0.75美元的时间

    加密货币领域正在遭遇牛市浪潮,领先的代币正在充分利用这一浪潮。然而,尽管市场开始蓬勃发展,Ripple(XRP)尚未接受这一利润丰厚的市场发展,迫使代币适应低迷的价格步伐。 随着Ripple SEC案件的出现,XRP尚未预测出市场迫切希望的惊人的牛市突破。然而,几位加密货币分析师领先雷达一步,发布了新的预测,这为XRP的迅速回归增添了希望。 另请阅读:六个月预测:Ripple的XRP会达到2美元的

  • 6 坚持否认将XRP预测为10000美元

    领先的支持XRP的美国交易所Uphold澄清了其首席执行官Simon McLoughlin据称预测XRP将达到10000美元的新说法。 几小时前,在著名的XRP社区人物Crypto-Eri提请注意一份大胆声称McLoughlin预测XRP将达到1万美元的报告后,Uphold的官方X账户做出了这一澄清。 在寻求澄清的同时,Eri表示不相信这种投机主张可能会出现在像Uphold这样信誉良好的交易所。

  • 7 美国大选前比特币将触及10万美元:渣打银行

    渣打银行外汇和数字资产研究主管杰弗里·肯德里克表示,比特币(BTC)可能在今年晚些时候的美国大选前飙升至10万美元。从目前的价格水平达到10万美元将转化为约40.24%的增长。 此外,肯德里克认为,如果唐纳德·特朗普赢得选举并重返美国总统宝座,到今年年底,原始加密货币将达到15万美元。特朗普在竞选活动中一直非常支持加密货币。这位美国前总统还为他的竞选活动提供了加密货币捐款。 另请阅读:泰国开放首只

  • 8 超级特朗普价格预测:这款新的Solana Meme硬币突破300万美元,STRUMP暴跌23%

    截至美国东部时间凌晨01:13,超级特朗普的价格在过去24小时内下跌了23%,交易价格为0.01769美元,交易量飙升了10%。 超级特朗普硬币的沉寂可能归因于最近美国总统竞选活动中对加密货币缺乏关注,尤其是共和党人唐纳德·特朗普。 特朗普此前曾表示,加密货币可以用于向他的竞选活动捐款,这引起了轩然大波。 尽管如此,X上的交易员Crypto Rover表示,STRUMP在6月份是一个很好的持有,具

  • 9 Shiba Inu:2头鲸鱼在价格下跌中购买价值3500万美元的SHIB

    根据加密货币分析公司LookOnChain的数据,两只Shiba Inu(SHIB)鲸鱼花费3520万美元购买了1.356万亿SHIB代币。鲸鱼用九个不同的钱包分别以每枚0.00002596美元的价格进行购买。 另请阅读:Shiba Inu:早期投资者购买380万美元SHIB,价格上涨10% 尽管进行了大规模收购,但SHIB的价格在鲸鱼以3520万美元收购后有所下跌。流行的以狗为主题的加密货币在

  • 10 胡尔克霍根真的抽倒了索拉纳纪念币吗?

    在名人凯特琳·詹纳(Caitlyn Jenner)和伊吉·阿扎利亚(Iggy Azalea。 但在这枚硬币以牺牲投资者为代价迅速“坚固”后,霍根在Instagram上敦促粉丝们不要理会来自他的推特账户的任何加密帖子。 霍根在Instagram上分享道:“请不要注意今天发布的任何帖子。”。“它们不是我的,将立即被移除。” 事实上,霍根的官方推特账户上没有所谓加密货币骗局的迹象。事实上,他的订阅源上什