甚至還可以實時在線教你打游戲了。

作者 | Li Yuan

2024 年走到年底，似乎 AI 大廠們集體又決定搞點事情了。

在 OpenAI 宣布連發(fā) 12 天更新后，Google 選擇 12 月 11 日深夜（在 OpenAI 發(fā)布更新之前），發(fā)布新模型 Gemini 2.0。

在多次發(fā)布被 OpenAI 精準(zhǔn)狙擊后，Google 今夜扳回一局，發(fā)布了 Gemini 2.0，直指 Agent 使用，一個 OpenAI 至今沒有明確公開布局的領(lǐng)域——之前有消息稱，OpenAI 將在明年推出使用電腦的 Agent。

Agent 功能，也稱為智能體功能，通常指的是 AI 能夠感知環(huán)境、執(zhí)行任務(wù)并在一定程度上獨立做出決策的能力，也就是能更自動化完成任務(wù)的功能。

此次 Google 似乎賭對了。OpenAI 凌晨兩點的發(fā)布，主要宣布了和 Apple Intelligence 的合作，一個普遍被期待能與 Agent 能力強相關(guān)的合作。不過今夜最終的發(fā)布，主要仍然集中于文字生成和視覺智能方面，并沒有 Agent 相關(guān)的內(nèi)容。

而 Google，則一次性發(fā)布了四個 Agent 相關(guān)的功能：

Project Astra，能夠在 Gemini 應(yīng)用中直接調(diào)用 Google Lens 和地圖功能幫用戶解決問題；

Project Mariner（海員項目），Chrome 瀏覽器的實驗性功能，可以通過 提示詞直接幫用戶瀏覽網(wǎng)頁做任務(wù)；

Jules，可以嵌入 GitHub 的編程 Agent，使用自然語言描述問題，就能直接生成可以合并到 GitHub 項目中的代碼；

游戲 Agent，能夠?qū)崟r解讀屏幕畫面，直接在你打游戲的時候通過和你語音交流，給你 AI 打法提示。

雖然此次 Google 發(fā)布的功能仍然屬于期貨范疇，但是仍然十分令人興奮。我們似乎已經(jīng)可以洞見 Agent 真正到來的時代，人類生活的一角了。

01

炸裂新 Agent 功能：自己查資料、寫代碼，教你玩游戲

Google 的新功能建立在新模型 Gemini 2.0 能力之上。

和大部分大模型選擇的路線不一樣，Google 最早就選擇了使用原生多模態(tài)的的方式訓(xùn)練模型——OpenAI 到了 GPT-4o 模型才變成原生多模態(tài)的模型。

原生多模態(tài)模型，是在訓(xùn)練階段，就將圖像、文字、語音甚至視頻等多種編碼，統(tǒng)一輸入給一個模型進行學(xué)習(xí)。

這樣，模型可以在理解了一個「事物」后，更加靈活地利用進行不同模態(tài)的生成。

此次 Gemini 2.0，進一步升級了原生多模態(tài)能力。模型目前直接擁有了原生的圖像生成能力、音頻輸出能力和原生的工具應(yīng)用能力。

原生的工具應(yīng)用能力就和 Agent 的能力高度相關(guān)。Google 介紹，除此之外，新體驗還來自于多模態(tài)推理、長上下文理解、復(fù)雜指令遵循和規(guī)劃、組合函數(shù)調(diào)用、本地工具使用和降低延遲等方向的改進。

看一下 Google 提出的新功能演示：

Project Mariner 是這個系列中，筆者看起來最驚喜的演示。

主要原因可能是因為相對于其他功能，Google 的 Chrome 瀏覽器是筆者每天都要使用的工具，也是對工作效率影響最高的工具。而 Google 的這項試驗性功能，看起來也不需要對瀏覽器進行過多的額外配置——只需要用到擴展程序。

Google 很懂地選了一個生產(chǎn)力場景，讓 Chrome 打開一個表格（演示里里用的是 Google Docs，不知道這與最終的成功識別是不是有相關(guān)性）。

表格里有幾個公司的名字。演示者打開 Chrome 的這項試驗功能，讓 Chrome 自己記住這幾個公司名字，去網(wǎng)上查找這些公司的郵箱。（同樣的，查找使用的是 Google 搜索，不知道是不是與最后的演示成功相關(guān)。）

瀏覽器自己打開了網(wǎng)頁，自己點開每個公司的官網(wǎng)，在找到郵箱地址后，自動記住郵箱地址，關(guān)掉網(wǎng)頁開始查找下一個公司的郵箱地址。

全程，用戶可以在右邊欄輸入提示詞的位置，看到模型目前在如何思考，隨時停止自動操作。同時模型只會在前臺運行，不會在用戶看不到的標(biāo)簽頁中運行。

雖然前臺運行似乎對用戶的時間是一種消耗，但同時也保證了安全性。在這個案例中，也確實提升了生產(chǎn)效率——挨個查找郵箱確實是一件非常沒有創(chuàng)造力的工作。

Jules，則讓自然語言寫代碼似乎更近了一步。

在演示中，用戶輸入了一段非常詳細(xì)的編程問題的提示詞，包括在哪個文件中遇到什么問題，希望做怎樣的修改。（Google 提到 Jules 可以直接嵌入 GitHub 中。）

Jules 對問題進行分析，給出了一個三步的編程解決方案，當(dāng)用戶點擊同意后，模型開始自動編程，生成代碼文件，這些代碼可以一鍵被合并至用戶原有的代碼中。

游戲 Agent，則是看起來最有趣的一個演示。

Google 特意提到，Gemini 2.0 可以理解 Android 手機的屏幕分享和用戶的語音，直接做到演示中的內(nèi)容，不需要額外的后訓(xùn)練。

演示中，用戶分享正在玩的手機屏，并用語音和 Agent 溝通，游戲 Agent 直接給出了接下來的最佳策略。

Google 表示目前正在和《部落沖突》、《海島奇兵》等游戲做合作，幫助 Agent 理解游戲規(guī)則。同時 Agent 也會自己實時上網(wǎng)查找，來理解游戲規(guī)則給出最好的策略。

這個功能也可以說很炸裂了。對于純策略型游戲，這個外掛可有點太厲害了——隨著 AI 的進展，人腦對策略的理解恐怕沒有辦法和 AI 抗衡?；蛘哒f，或許只有最頂尖的大腦可以和 AI 相抗衡。

Gemini2.0 目前并沒有對全部用戶開放，Google 表示目前正在將 2.0 開放給開發(fā)者以及受信任的測試人員。這意味著以上的 Agent 功能，到用戶真正能夠使用，仍然有一段時間。不過此次演示仍然令人興奮。

未來 Gemini 2.0 上線，Google 大概率也不會首發(fā)上述的 Agent 功能，而是將先將其融入 Gemini 和搜索功能。

Google 之前已經(jīng)在探索將 AI 引入其搜索功能中。10 月，Google 曾經(jīng)宣布，其搜索中的 AI 概述功能每月獲得了 10 億用戶的使用。未來 Google 計劃把 Gemini 2.0 的高級推理能力引入 AI 概述，以應(yīng)對更復(fù)雜的話題和多步驟問題，包括高級數(shù)學(xué)方程式、多模態(tài)查詢和編碼。

此外，除了探索虛擬世界的智能體能力外，Google 還打算將 Gemini 2.0 的空間推理能力應(yīng)用于機器人領(lǐng)域，嘗試讓 Agent 在現(xiàn)實世界中提供幫助。

02

Gemini Flash 常規(guī)更新

那么用戶實際上能夠馬上使用的模型是什么？

答案是 Gemini 2.0 Flash。

作為 Google 大號模型蒸餾而來的小號模型，Gemini 2.0 Flash（對話優(yōu)化版本）將成為 Google Gemini 中的默認(rèn)使用模型。

Google 還推出了一項名為「深度研究」的新功能，該功能利用高級推理和長上下文能力作為研究助手，可以探索復(fù)雜主題并編制報告，今天在 Gemini 高級版中可用。

Gemini 2.0 Flash 的能力較上一代有明顯提升，相當(dāng)于上一代模型的 Pro 版本的能力。

同時作為 2.0 模型家族的一員，Gemini 2.0 Flash 也支持支持圖片、視頻和音頻等多模態(tài)輸入，2.0 Flash 現(xiàn)在還可以支持多模態(tài)輸出，例如可以直接生成圖像與文本混合的內(nèi)容，以及原生生成可控的多語言文本轉(zhuǎn)語音 (TTS) 音頻。它還可以原生調(diào)用 Google Search、代碼執(zhí)行以及第三方用戶定義的函數(shù)等工具。

03

Project Astra：為 Google Glasses 準(zhǔn)備的模型，擁有無限記憶？

Google 此次還重點介紹了 Project Astra，為其推出了以下改進：

·更流暢的對話：Project Astra 現(xiàn)在可以在多種語言和混合語言之間進行對話，并且能夠更好地理解不同口音和生僻單詞。

·新工具的使用：借助 Gemini 2.0，Project Astra 可以使用 Google Search、Google Lens 和 Google Maps，從而在日常生活中更好地發(fā)揮助手作用。

·更強的記憶力：我們增強了 Project Astra 的記憶能力，同時確保你可以掌控對話?，F(xiàn)在，它最多可以記住長達 10 分鐘的會話內(nèi)容，并且可以回憶起過去與它進行的更多對話，以便為您提供更好的個性化服務(wù)。 

·更低的延遲：借助新的流式處理技術(shù)和原生音頻理解能力，該智能體能夠以近于人類對話的延遲來理解語言。

Google Astra 是 Google 為了眼鏡項目所做的前瞻項目。

從 Meta 和 Ray-ban 的合作眼鏡開始，國內(nèi)外的不少公司，已經(jīng)又在重新探索眼鏡作為新一代智能硬件的潛力。

此次 Google 重大更新之一，是記憶能力。在外網(wǎng)采訪中，DeepMind 的 CEO Demis Hassabis 表示，在 Gemini 1.5 時代，內(nèi)部測試中，已經(jīng)將其上下文窗口擴展到了 1000 萬個 token 以上。目前已經(jīng)模型幾乎可以做到無限記憶。

但是代價就是速度。記憶越長，搜索相關(guān)記憶的成本越高，速度越低。不過 Demis Hassabis 認(rèn)為，接下來相當(dāng)短的時間內(nèi)，我們將真正擁有無限長的上下文。

而這對于 Google 真正想做的助手而言是極其重要的。Demis Hassabis 形容未來世界：「你在電腦上使用這一助手，然后你走出家門，戴上眼鏡，或者使用手機，它一直都在。它能夠記住會話以及你想要做什么，真正個性化。我們?nèi)祟悷o法記住所有事情，而AIvu u會記住所有事情，來給你以靈感和新的規(guī)劃。」

04

Agent 時代已來？

從去年開始，就陸續(xù)有人指出 Agent 是 AI 發(fā)展的未來。

不過，在過去一年中，Agent 這個詞的使用相對比較沉寂，甚至有時候被偷換概念當(dāng)成 AI 應(yīng)用來使用。

但是在今年年末，我們終于開始看到了相對可喜的進展。

首先是 Anthropic，推出電腦使用的 Agent 模式。

國內(nèi)的智譜 AI，也推出了一個手機 Agent 替用戶操作微信等 App 的的演示視頻。

明年的 OpenAI 與蘋果合作的 Apple Intelligence，目前仍然不確定全貌。很多人期待它將讓許多用戶第一次在手機上體會到簡單的 Agent 功能到底能如何幫助我們提升生產(chǎn)力。

而現(xiàn)在我們又看到 Google 推出的瀏覽器 Agent 和安卓手機上的 Agent 使用演示。

Agent 技術(shù)依然面臨諸多挑戰(zhàn)。人們會擔(dān)憂誤操作可能帶來的安全隱患，會擔(dān)心隱私，會擔(dān)心一系列風(fēng)險。

但同時，對于普通用戶而言，Agent 才是最具「AI 感」的技術(shù)。全自動的任務(wù)完成，像魔法一般，不需要任何技術(shù)背景，直接就能提升工作效率和使用體驗。

Agent 能力的提升，也為一個新的智能硬件真正進入人們生活打下了基礎(chǔ)——只有發(fā)出語音指令，眼鏡能直接自動完成部分任務(wù)的時候，許多任務(wù)才會逐漸從手機轉(zhuǎn)移至新的智能硬件終端。

或許真的如 Google AI Studio 的產(chǎn)品負(fù)責(zé)人 Logan Kilpatrick 今天早些時候所言：未來，是 Agent 的時代。

*頭圖來源：Google