谷歌重磅发布Gemini 1.5 Pro:能自动写影评,理解视频!

时间:2024-10-01 编辑: 浏览:(573)

文章来源:AIGC开放社区

图片来源:由无界AI生成

4月10日凌晨,谷歌在官网正式发布了Gemini 1.5 Pro,现在可在180多个国家/地区使用。

除了能生成创意文本、代码之外,Gemini 1.5 Pro最大的特色是能根据用户输入的文本提示,理解、总结上传的视频、音频内容进行深度总结,并且支持100万tokens上下文。

目前,可以在Google AI Studio开发平台中免费试用Gemini 1.5 Pro,支持中文进行提示。

此外,谷歌还对Gemini API进行了性能优化,包括系统指令、JSON模式以及函数调用优化,可显著提升模型的稳定性和输出能力。

视频理解展示

「AIGC开放社区」通过Google AI Studio开发平台第一时间体验了一下最新的Gemini 1.5 Pro的多模态理解能力。使用方法非常简单便捷,以下是教程示例。

1)登录https://aistudio.google.com/app/prompts/new_chat然后选择模型Gemini 1.5 Pro,以及上方的Video功能。

2)点击Video后,选择Upload上传视频。

3)由于模型对上传视频的解析速度过慢,所以,这里直接使用了谷歌内置的视频示例。需要注意的是,上传视频不要超过100万tokens。

4)我们使用内置视频示例,然后用中文提问:“介绍一下这部影片讲述了哪些内容。”

5)Gemini 1.5 Pro正在解析,通常只需要几十秒就能完成。

结果已经出来了,这是一部由BusterKeaton 于 1924 年主演并导演的电影《福尔摩斯二世》。

6)我们继续发问,“你能用这个视频写一段600字的影评吗?”大概几十秒后,Gemini 1.5 Pro便生成了影评。

虽然生成的内容无法与顶级影评人的作品媲美。但整体的文章架构、叙述方法以及词汇的准确度是超过很多小白、中级影评人的水平。只需要在这个基础之上进行稍加修改,就是一篇不错的内容。

值得一提的是,用户可以一次性上传多个视频一起解读,这对于视频媒体行业来说很有帮助,可以快速理解长视频内容节省时间。

音频理解展示

我们再试试音频,基本操作与视频差不多。这里我们上传一份英文阅读ESL Podcast的课程。

然后上传MP3格式文件

2)音频比视频解析快了很多很多,这里我们上传的音频有大约12万tokens。

3)开始发问,“总结一下这个音频的内容。”

4)Gemini 1.5 Pro已经精准解读出来了,这个音频是 ESL Podcast 系列课程“Jeff 的一天”的第一课,旨在帮助学习者掌握日常英语词汇。

比较意外的是,Gemini 1.5 Pro还把整个可成的结构、故事内容和学习目标全部都解读了出来,看来Gemini 1.5 Pro还是更懂英文数据内容。

Gemini 1.5 Pro的音频理解,同样支持多个文件一起解读。

Gemini API改进

为了帮助开发人员更好地控制Gemini模型,谷歌对API进行了三个优化。

系统指令:目前可以在Google AI Studio 和 Gemini API 中使用系统指令功能,可指导模型的响应输出。能让用户根据其特定需求和用例控制模型的行为。

在设置系统指令时,用户需要为模型提供额外的上下文来了解任务、提供自定义程度更高的响应,并在用户与模型的整个互动过程中遵循特定准则。

而开发者通过系统指令能定义角色、格式、目标和规则,以引导模型在特定用例中的各种行为。

JSON模式:现在Gemini API 提供了一个配置参数,用于请求 JSON 格式的响应。可以帮助开发者从文本或图像中提取结构化数据。

函数调用优化:开发者可以使用自定义函数并将其提供给AI模型,但模型不会直接调用这些函数,而是生成指定函数名称和建议的参数的结构化数据输出。

该输出支持调用外部 API,然后生成的 API 输出可以重新合并到模型中,从而帮助开发者实现更全面的查询响应。

目前,Gemini 1.5 Pro已经全面开放使用了,有兴趣的小伙伴赶紧去试试吧。

本文素材来源谷歌官网,如有侵权请联系删除

最新 更多 >
  • 1 辉瑞公司在遭遇挫折后继续推出每日一次的减肥药

    辉瑞公司周四表示,在一项正在进行的早期研究中看到“令人鼓舞”的数据后,该公司将继续推出每日一次的减肥药danuglipron。该公司评估了该药物的几种每日一次的制剂,并确定了一种在安全性和身体对药物的反应方面具有“最有利的特征”的制剂。辉瑞公司表示,计划在今年下半年进行试验,以确定该药物的理想剂量。一位发言人告诉CNBC,预计明年第一季度将公布结果。即将离任的辉瑞首席科学官Mikael Dolst

  • 2 奥迪与美国职业足球大联盟迈阿密国际足球俱乐部达成多年合作伙伴关系

    奥迪正在加大体育投资,并成为迈阿密国际足球俱乐部的官方汽车合作伙伴。美国奥迪首席营销官埃米莉·科特表示,这家大众汽车旗下的公司周四宣布,它已与南佛罗里达足球俱乐部达成多年合作伙伴关系,因为奥迪的目标是吸引越来越多的足球迷。科特说:“他们有500万美国球迷,而且还在不断增长,他们只是一个真正的表演强国,所以这对我们来说是完美的。”。据Cotter介绍,从周四开始,合作伙伴关系包括一支车队,包裹在迈阿

  • 3 《灵魂束缚》赢得“共同冒险”类别,使MMO陷入混乱

    增强玩家互动和参与度 Soulbound与Discord的整合为玩家提供了MMORPG体验,允许玩家在不离开Discord的情况下参与实时合作游戏、组织突袭和举办派对活动。这种游戏和社交互动的融合为玩家提供了一个充满活力和吸引力的环境。 Soulbound创始人兼首席执行官Thomas Webb表示:“赢得Discord App Pitches类别并晋级总决赛,证明了我们团队的奉献精神和创新精神。

  • 4 百事公司盈利超出预期,但美国需求减弱

    百事公司周四公布了喜忧参半的季度业绩,受北美对其饮料和零食需求下降的影响。该公司还缩小了全年的收入前景。百事公司现在预计有机收入增长约为4%,这比其之前至少4%的预测更为谨慎。该公司重申了其对核心固定汇率收益增长至少8%的指导。该公司股价在盘前交易中下跌超过1%。根据LSEG对分析师的调查,百事公司公布了截至6月15日的季度报告,与华尔街的预期相比:每股收益:调整后为2.28美元,预期为2.16美

  • 5 解码Uniswap鲸鱼是否可以触发UNI 44%的激增

    一只鲸鱼购买了243198个UNI代币,表明随着Uniswap的价格从关键支撑位反弹,潜在的看涨势头。UNI的目标是44%的激增,与阻力水平一致,这是由大量鲸鱼积累和市场趋势推动的。 在鲸鱼大量积累的情况下,Uniswap[UNI]已从关键支撑位反弹。在Lookonchain观察到的一笔值得注意的交易中,鲸鱼或机构投资者花费200万美元购买了243198个UNI代币。 投资者将200万美元存入Kr

  • 6 RWA Powerhouse Credefi首次向代币持有者完成收入分成

    现实世界资产(RWA)可以说是过去几个月最热门的话题之一。 Credefi是该领域最受欢迎的项目之一,在过去的一年里一直在掀起波澜,引人注目。随着团队继续扩展协议的功能并实现其路线图,其价值增加了两倍多。 该团队最近对协议进行了整体升级,并建立了大规模的合作伙伴关系。但在我们深入探讨之前,让我们快速了解一下Credefi的目标是什么,以及为什么它是一个值得关注的RWA项目。 Credefi寻求弥

  • 7 MarsVerse破局生态拓展困境: 以 Alliance Avatar 实现共赢

    M3 DAO:引领去中心化发展作为去中心化未来发展的一盏明灯,M3 DAO 无缝集成了元宇宙体验、layer2公链和数字资产管理等产品和板块。在社区驱动理念的指导下,M3 DAO以MarsVerse、MarsChain 和 MarsProtocol为三大发展板块,旨在塑造数字交互和经济赋能的方面均衡发展的新兴去中心化自治平台。三大板块互为犄角,共同助力,完善生态发展进程,当前阶段,MarsVers

  • 8 链游巅峰黑马——王者龙耀,带你一探究竟!

    近年来,P2E模式在游戏行业内逐渐崭露头角,成为一项备受瞩目的创新趋势。特别是在区块链技术、非同质化代币(NFTs)以及去中心化金融(DeFi)等前沿领域的推动下,该模式已经成功吸引了众多玩家的关注与青睐。今天,小编就给广大游戏爱好者推荐一款值得一试的宝藏区块链游戏——王者龙耀。可以毫不夸张的说,王者龙耀是元宇宙世界启动的最强链游,必定能在今年的这个市场占得一席之地!王者龙耀这款链游项目在7月份横

  • 9 马来西亚政府指责比特币挖矿盗窃电力

    马来西亚政府指责加密货币挖矿是该国电网窃电的来源。 当地媒体Malaymail报道称,该国能源和水利部长Akmal Nasrullah Mohd Nasir表示,自2018年以来,能源密集型活动已使该国损失了32亿马来西亚林吉特(RM)或6.82亿美元。 纳西尔在7月10日的新闻发布会上表示:“开采加密货币的人窃电是因为他们认为,由于他们的场所没有电表,这种活动无法被检测到。”。“然而,能源供应公

  • 10 Pantera支持的Altcoin在加入Coinbase上市路线图后爆炸了79%

    在美国顶级加密货币交易所Coinbase宣布该代币未来可能上市后,由加密货币对冲基金Pantera Capital支持的山寨币正在上涨。 Coinbase在一份新公告中表示,它正在将Stader(SD)添加到其“上市路线图”中,该路线图提醒客户该交易所可能很快会增加对某些资产的支持。 周二消息传出后,SD从0.39美元的日低点飙升至0.70美元,涨幅超过79%。SD在回落之前飙升至0.85美元的一