Transcription
首先，咱們得來聊聊這次最直觀、也是最讓普通用戶興奮的變化。
在 SAM 3 發佈的時候，有個非常有意思的小插曲。當時很多人看到 Meta 一下子發了好幾個模型，有個叫 SAM 3D 的，還有個 SAM 3。很多人本能地以為，“哦，SAM 3 肯定就是個搞 3D 的吧？畢竟這是下一個維度的進化嘛。”
但其實，這是個美妙的誤會。Nikhila 在訪談裡特意澄清了這一點：SAM 3D 是專門針對三維空間和人體的模型，是另一條賽道。而我們今天的主角 SAM 3，它是專注於把二維圖像和視頻理解做到極致的那個 SAM 系列的“續作”。
那麼，這個“續作”到底帶來了什麼樣的顛覆性體驗呢？核心就在一個詞：“概念提示”（Concept Prompt）。聽起來是不是有點學術？別急，我給你舉個例子，你就明白了。
回想一下，在 SAM 1 或者 SAM 2 的時代，甚至是在那之前，如果你想讓 AI 幫你處理一張照片，比如說，你是個做電商設計的，你想把一張野餐照片裡所有的“杯子”都摳出來，換個背景。你需要怎麼做？
如果你用過以前的工具，你肯定有印象。你手裡得緊緊攥著鼠標，眼睛死死盯著屏幕，一個一個地去點。圖裡有十個杯子，你就得點十下。這還是運氣好的情況。現實世界的光影是很複雜的，有的杯子可能藏在樹蔭裡，黑乎乎的；有的杯子可能被前面的盤子擋住了一半，只露個把手；有的甚至可能就是背景裡一個小小的像素點。你點一下，AI 沒識別對，或者把旁邊的勺子也圈進去了，你還得去修正，去畫框，去補點。那時候的 AI 就像一個聽話但是呢，有點笨拙的學徒，你手指頭指哪兒，它就幹哪兒。它沒有主動性，它不知道你想幹什麼，它只知道你點擊的那個座標像素及其周圍的顏色。
但這還只是靜態圖片。想象一下，如果你面對的是一段視頻呢？視頻可是每秒鐘 30 幀甚至是 60 幀的連續畫面啊。如果你想在一段 10 秒鐘的視頻裡，把那個拿在手裡晃來晃去的杯子摳出來，按照以前的方法，那簡直就是後期團隊的噩夢，是那種讓人想砸鍵盤的重體力活。
但是現在，SAM 3 帶來的“概念提示”把這一切都改變了。遊戲規則變了。現在，你不需要再像一個苦力一樣去點來點去了。你只需要在提示框裡，像跟朋友發微信一樣，輸入“杯子”這兩個字，或者英文單詞 Cup。就在你敲下回車的那一瞬間——真的就是一眨眼的功夫——SAM 3 就會自動地、極其迅速地把整張圖裡所有的杯子都給你找出來。
而且，它不光是幫你“找”出來，告訴你“這兒有個杯子”。它還能生成那種像素級別的、非常精確的輪廓分割。無論這個杯子是在桌子邊緣搖搖欲墜，還是被花瓶擋住了一角，它都能精準地勾勒出來。這不僅僅是省了點力氣那麼簡單，這背後意味著 AI 已經從一個被動的、機械的像素處理工具，變成了一個能主動理解人類語言、理解抽象概念，並將這些概念與物理世界中的像素對應起來的“智能體”。它開始“聽得懂人話”了。
而且，Nikhila 在演示裡還展示了一個特別酷的功能，叫做“視覺示例”（Visual Exemplar）。
有時候，語言是蒼白的。比如我說“那個花紋很特別的杯子”，AI 可能聽不懂。但是在 SAM 3 裡，你可以先框選一個你想要的杯子，以此作為“樣本”。模型立刻就會心領神會：“哦，原來你想要這種長相的杯子啊。”然後，它會自動把圖裡所有長得像這個樣本的杯子全都給你找出來。這就好像是你跟一個很聰明的設計師溝通：“喏，就照這個樣子找，別的一概不要。”這種從“文本”到“視覺樣本”的混合提示能力，讓 SAM 3 變得極其靈活。
更讓我感到震撼的是，SAM 3 的能力其實是“三位一體”的。哪三位呢？它們分別是：檢測（Detection）、分割（Segmentation）和追蹤（Tracking）。以前的模型，往往只能做其中一樣。能檢測的未必能分割，能分割的未必能追蹤。但 SAM 3 把這三者完美融合了。
咱們來構建一個具體的場景，讓你更有體感。假設你是一位足球教練，或者呢，是一位體育節目的視頻剪輯師。你手裡拿到了一段激烈的足球比賽錄像。現在的任務是：我要分析場上所有穿白色球衣球員的跑動路線。
如果在過去，這絕對是你要熬夜通宵才能幹完的活。你需要一幀一幀地去畫框、去描點、去標記。但在 SAM 3 面前，你只需要輸入四個字：“白色球衣”。就是這麼簡單。
SAM 3 不光能瞬間把第一幀畫面裡面所有穿白衣服的球員都識別出來，它還能在整個視頻播放的過程當中，死死地“咬住”他們每一個人。這裡面有個技術細節讓我印象特別深刻，資料裡也專門提到了，就是在追蹤的過程中，既然是球賽，肯定會有換人，或者是有球員跑出畫面喝口水又跑回來。如果中途有新的、穿著白色球衣的球員跑進了畫面，SAM 3 能發現嗎？答案是肯定的。它能立刻識別出這個新目標，並且自動把他加入到追蹤列表裡面，全程不需要你再給任何額外的指令。這種“即插即用”的動態捕捉能力，是非常驚人的。
這帶來的想象空間就太大了。這意味著很多在以前只有好萊塢級別的專業後期工作室才能做的視頻特效，現在它的門檻一下子降到了地板上。
既然提到了大語言模型（LLM），我們就得聊聊 SAM 3 的另一個重要進化方向：它與 LLM 的結合。Pengchuan 在訪談裡用了一個非常生動的比喻：如果說現在的 GPT4、Llama 3 這樣的大模型是 AI 的“大腦”，那麼 SAM 3 就是 AI 的“眼睛”。
以前，這兩個部分是割裂的。大腦很聰明，能寫詩能編程，但它是個瞎子，看不見物理世界；眼睛很敏銳，能看清每一根毫毛，但它是個啞巴，不懂邏輯和推理。現在，Meta 正在嘗試把這兩者打通。
舉個例子，如果你給 SAM 3 一張超級瑪麗遊戲的截圖，然後問它：“找出那個更強的馬里奧。”單純的 SAM 3 是聽不懂這句話的，因為它只知道“馬里奧”是什麼樣子的，它不知道什麼叫“更強”。在它的視覺概念裡，沒有“強”這個屬性。
這就好比我們人類的認知系統，心理學裡有 System 1（快思考）和 System 2（慢思考）。當你看到一個球飛過來，你下意識地躲開，這是 System 1，是本能，是刻在基因裡的視覺反應，你不需要經過大腦皮層的複雜計算。而當你看到一張複雜的電路圖，試圖搞清楚電流走向時，這是 System 2，你需要調動邏輯推理。
Pengchuan 認為，未來最理想的狀態是，像“數手指”、“識別物體”這種基礎的感知能力，應該成為 AI 的 System 1，也就是內化成模型本身的能力，不需要顯式地去調用工具。這就像我們不需要對自己說“眼睛，請幫我看一下前面是什麼”一樣，看，就是一種本能。