谷歌重磅发布Gemini 1.5 Pro:能自动写影评,理解视频!

时间:2024-09-25 编辑: 浏览:(424)

文章来源:AIGC开放社区

图片来源:由无界AI生成

4月10日凌晨,谷歌在官网正式发布了Gemini 1.5 Pro,现在可在180多个国家/地区使用。

除了能生成创意文本、代码之外,Gemini 1.5 Pro最大的特色是能根据用户输入的文本提示,理解、总结上传的视频、音频内容进行深度总结,并且支持100万tokens上下文。

目前,可以在Google AI Studio开发平台中免费试用Gemini 1.5 Pro,支持中文进行提示。

此外,谷歌还对Gemini API进行了性能优化,包括系统指令、JSON模式以及函数调用优化,可显著提升模型的稳定性和输出能力。

视频理解展示

「AIGC开放社区」通过Google AI Studio开发平台第一时间体验了一下最新的Gemini 1.5 Pro的多模态理解能力。使用方法非常简单便捷,以下是教程示例。

1)登录https://aistudio.google.com/app/prompts/new_chat然后选择模型Gemini 1.5 Pro,以及上方的Video功能。

2)点击Video后,选择Upload上传视频。

3)由于模型对上传视频的解析速度过慢,所以,这里直接使用了谷歌内置的视频示例。需要注意的是,上传视频不要超过100万tokens。

4)我们使用内置视频示例,然后用中文提问:“介绍一下这部影片讲述了哪些内容。”

5)Gemini 1.5 Pro正在解析,通常只需要几十秒就能完成。

结果已经出来了,这是一部由BusterKeaton 于 1924 年主演并导演的电影《福尔摩斯二世》。

6)我们继续发问,“你能用这个视频写一段600字的影评吗?”大概几十秒后,Gemini 1.5 Pro便生成了影评。

虽然生成的内容无法与顶级影评人的作品媲美。但整体的文章架构、叙述方法以及词汇的准确度是超过很多小白、中级影评人的水平。只需要在这个基础之上进行稍加修改,就是一篇不错的内容。

值得一提的是,用户可以一次性上传多个视频一起解读,这对于视频媒体行业来说很有帮助,可以快速理解长视频内容节省时间。

音频理解展示

我们再试试音频,基本操作与视频差不多。这里我们上传一份英文阅读ESL Podcast的课程。

然后上传MP3格式文件

2)音频比视频解析快了很多很多,这里我们上传的音频有大约12万tokens。

3)开始发问,“总结一下这个音频的内容。”

4)Gemini 1.5 Pro已经精准解读出来了,这个音频是 ESL Podcast 系列课程“Jeff 的一天”的第一课,旨在帮助学习者掌握日常英语词汇。

比较意外的是,Gemini 1.5 Pro还把整个可成的结构、故事内容和学习目标全部都解读了出来,看来Gemini 1.5 Pro还是更懂英文数据内容。

Gemini 1.5 Pro的音频理解,同样支持多个文件一起解读。

Gemini API改进

为了帮助开发人员更好地控制Gemini模型,谷歌对API进行了三个优化。

系统指令:目前可以在Google AI Studio 和 Gemini API 中使用系统指令功能,可指导模型的响应输出。能让用户根据其特定需求和用例控制模型的行为。

在设置系统指令时,用户需要为模型提供额外的上下文来了解任务、提供自定义程度更高的响应,并在用户与模型的整个互动过程中遵循特定准则。

而开发者通过系统指令能定义角色、格式、目标和规则,以引导模型在特定用例中的各种行为。

JSON模式:现在Gemini API 提供了一个配置参数,用于请求 JSON 格式的响应。可以帮助开发者从文本或图像中提取结构化数据。

函数调用优化:开发者可以使用自定义函数并将其提供给AI模型,但模型不会直接调用这些函数,而是生成指定函数名称和建议的参数的结构化数据输出。

该输出支持调用外部 API,然后生成的 API 输出可以重新合并到模型中,从而帮助开发者实现更全面的查询响应。

目前,Gemini 1.5 Pro已经全面开放使用了,有兴趣的小伙伴赶紧去试试吧。

本文素材来源谷歌官网,如有侵权请联系删除

最新 更多 >
  • 1 SCC币最高的时候是多少钱?

    SCC币最高时价值曾达到900元!SCC币是全球领先的数字资产交易平台——币安最近上线的一种新型区块链数字货币。自2018年5月份上线以来,SCC币为投资者带来了丰厚的投资收益。而SCC币的最高价则是在2021年5月份创出的历史新高。据币安数据统计,SCC币的最高价是在2021年5月7日达到了900元的历史高位。随后,SCC币价格出现了小幅波动,之后在短暂时间内呈现了上扬态势。这一数字让许多SCC

  • 2 SAFELIGHT币最高的时候是多少钱?

    SAFELIGHT币最高的时候是多少钱?SAFELIGHT币(SAFELIGHT)作为一种新型的数字货币,在不断发展壮大。自问世以来,SAFELIGHT价格经过数十次波动,经历了起起伏伏。那么,SAFELIGHT币最高的时候是多少钱呢?在2021年的2月19日,SAFELIGHT币创下了历史新高,价格水平一度达到0.0000008746 美元。对于大多数投资者来说,这个价格是一个令人兴奋的标志,也

  • 3 SCOOT币最高的时候是多少钱?

    SCOOT币最高的时候是多少钱?SCOOT币是一种新兴的加密货币,其在市场上的表现备受关注。许多金融专家和投资者都参与了对SCOOT币的投资,以赚取数倍的回报。那么,在过去的一个阶段里,SCOOT币的最高价格是多少呢?当人们谈到SCOOT币时,似乎第一个值得注意的数字就是 its目前市价。但是,截至2021年6月,SCOOT币最高的价格达到了0.175美元,这是该数字货币自发布以来的最高纪录。在2

  • 4 RBO币最高的时候是多少钱?

    RBO币最高达到多少钱?随着加密货币的普及,越来越多的人开始关注热门币种的价格走势,其中包括RBO币。RBO币是一种以区块链技术为基础的去中心化数字货币,它具有匿名性、安全性及快速转账等特点,逐渐受到越来越多投资者的关注。那么RBO币最高价是多少呢?在2017年12月1日,RBO币达到了历史最高价,当时价格约为每个RBO币19.38美元。当时,加密货币市场在庞氏骗局质疑和监管合规压力的围攻下,大面

  • 5 ROCKET币的创始人是谁

    ROCKET币的创始人是谁?ROCKET币是近年来备受关注的数字货币之一,它在市场中引起了很多投资者的关注,因此,很多人都在想ROCKET币的创始人是谁。当谈到ROCKET币的创始人时,必须提到伊恩·巴尔纳特 Ian Balina。Ian Balina是区块链领域的著名人物,他一直致力于推广数字货币领域的投资机会。Ian Balina的背景Ian Balina出生于美国,他在华盛顿特区长大。他是乔

  • 6 PXI币最高的时候是多少钱?

    PXI币最高的时候是多少钱?PXI币是一种主要用于在线投注游戏的电子货币,它的价格从开始的不到1美分慢慢涨到了其最高点,让很多人都输光了钱包。那么,PXI币最高的时候是多少钱呢?在2017年底,PXI币价格一路飙升,最终在2018年1月达到了它的历史最高点。当时,PXI币的价格达到了0.098美元,这让很多人都赚到了不菲的利润。然而,PXI币价格飙升的过程却并不顺利。在PXI达到历史最高点的前一个

  • 7 RBD币最高的时候是多少钱?

    RBD币最高的时候是多少钱?RBD币是一种新兴的数字货币,它在推出之初就引起了人们的极大关注。自2017年开始,RBD币就经历了一段跌宕起伏的历程,它的价格曾经一度飙升,那么RBD币最高的时候是多少钱呢?2017年5月-6月在RBD币推出的早期,它的价格稳定在0.2美元以下。直到2017年5月,它的价格突然开始飙升,最高一度达到了0.8美元的顶峰。这个价格涨幅惊人,让市场炒家们乐疯了。2018年1

  • 8 R1币最高的时候是多少钱?

    R1币最高的时候是多少钱?随着区块链技术的不断发展,越来越多的数字货币被推出市场供人们交易使用。其中,R1币作为比较新的数字货币之一,也吸引了不少人的关注。那么,R1币最高的时候是多少钱呢?下面就让我们来了解一下吧。首先,我们需要了解R1币的基本信息。R1币是基于以太坊平台的数字货币,采用智能合约技术,可以用于各种交易和支付。其发行量为4000万个,目前市场总价值在5000万美元左右。在过去的几年

  • 9 SARCO币的创始人是谁

    SARCO币的创始人是谁?SARCO币是一种由匿名个人或团队创造的加密数字货币,于2018年在加密数字货币市场上首次亮相。尽管SARCO币的创始人没有正式公开身份,但据悉是由一群来自于全球的金融、技术和商业领域的专业人士所创建的。为何选择名为SARCO币?SARCO是Sarcophagus(石棺)的缩写,寓意着将负责管理和处理核废料的任务以及相关的都市传说储存在了SARCO币当中,并由一个精选小团

  • 10 RD币历史价格走势怎么样?

    RD币历史价格走势怎么样?RD币是一种数字加密货币,它的发行是基于去中心化区块链技术的。该货币以流通数量的变化来调整其发行与价格,其历史价格走势也是受到市场供求关系的影响,接下来我们来看一下RD币的历史价格走势如何。2018年2018年初,RD币价格在0.0086美元左右。但在3月初,RD币价格飙升到0.13美元,一度创下历史新高。但接下来随着市场逐渐降温,RD币的价格也相应下滑。截至2018年1