Sora動力短片的創作者解釋AI生成視頻的優勢和限制

OpenAI的視頻生成工具Sora在二月份讓人眼前一亮，其流暢、逼真的視頻似乎遙遙領先於競爭對手。但這次精心安排的亮相遺漏了許多細節，而這些細節則被一位獲得早期訪問權利並使用Sora製作短片的電影製作人填補。

Shy Kids是一支位於多倫多的數碼製作團隊，被OpenAI挑選為少數製作短片的團隊之一，基本上是為了OpenAI的推廣目的，盡管他們在創作《air head》時獲得了相當大的創作自由。在接受視覺效果新聞網站fxguide的採訪中，後期製作藝術家帕特里克·西德伯格描述了“實際使用Sora”作為他工作的一部分。

對大多數人來說，也許最重要的一點就是：儘管OpenAI的帖子讓讀者以為這些短片基本上是完全由Sora生成的，但事實上這些都是專業的製作，包括精心設計的故事構思、剪輯、調色和後期工作如剪影和視覺特效。就像蘋果宣稱“iPhone拍攝”一樣，卻沒有展示工作室設置、專業照明和完成後的調色工作，Sora的帖子只談論了它讓人們能做些什麼，而沒有談及實際的操作過程。

西德伯格的採訪非常有趣且不太技術化，如果你感興趣，可以前往fxguide閱讀。但以下是一些關於使用Sora的有趣信息，告訴我們，儘管令人印象深刻，這個模型也許不是我們所想的那樣一大步。

控制仍然是當下最有吸引力和最難以實現的事情。 … 我們所能做的最接近就是在我們的提示中進行超詳細的描述。解釋角色的服裝，以及氣球的類型，是我們避免一致性問題的方式，因為從一個鏡頭到另一個鏡頭 / 一代到另一代，目前還沒有一個設置完整的功能集來完全控制一致性。

換句話說，在傳統電影製作中輕而易舉的事情，比如選擇角色服裝的顏色，需要在生成系統中進行繁瑣的變通和檢查，因為每個鏡頭都是獨立創作的。這當然可能會改變，但目前顯然要費更多的工夫。

Sora的輸出還必須經常進行不需要的元素檢查：西德伯格描述了模型經常會在主角頭上的氣球上生成一張臉，或一根垂掛在前面的線。如果無法在提示中排除這些元素，這些都必須在後期進行移除，這是另一個耗時的過程。

角色或攝影機的精確時間和移動實際上並不可行：“在實際生成過程中，這些不同動作發生的時間點有點時間控制，但並不精確 … 這有點盲目，”西德伯格說。

例如，像揮手這樣的動作的時間安排是一個非常近似、基於建議的過程，與手工動畫不同。而像鏡頭向上拍攝角色的身體這樣的鏡頭可能或可能不反映出製片人想要的效果-因此在本案中，團隊渲染了一個以豎向編排的鏡頭，然後在後期進行了裁剪拍攝。生成的片段通常也沒有特定原因地進行了慢動作。

事實上，以電影製作的日常語言，比如“往右移動”或“追蹤鏡頭”，一般來說是不一致的，西德伯格說，這讓團隊感到相當驚訝。

“研究人員在接觸藝術家玩弄這個工具之前，根本沒有像電影製片人一樣思考，”他說。

因此，該團隊共進行了數百個10到20秒的生成，最終只使用了少數。西德伯格估計比例是300：1-但當然，對於一個普通的拍攝工作，我們可能都會對比例感到驚訝。

實際上，該團隊還製作了一個一些問題的幕後視頻，如果你感到好奇的話。像許多與AI相關的內容一樣，評論對整個工作可能都相當挑剔-盡管不像我們最近看到遭受抨擊的AI助手廣告那樣憤怒。

最後一個有趣的地方是關於版權：如果你要求Sora給你一個“星際大戰”的片段，它會拒絕。如果你試圖以“穿著機器人服的男人在一艘復古未來的太空船上”的方式繞過這一限制，它也會拒絕。由於某種機制，它能夠識別你嘗試做什麼。它還拒絕製作“阿朗斯基風格的場景”或“希治閣式變焦”。

一方面，這是合情合理的。但這也引發了一個問題：如果Sora知道這些是什麼意思，這是否意味著模型是根據這些內容進行了訓練，以更好地識別侵權行為？OpenAI一直對其訓練數據保密-有時甚至到了荒謬的地步，就像CTO Mira Murati在接受Joanna Stern採訪時一樣-肯定不會告訴我們的。

至於Sora及其在電影製作中的應用，顯然是一個強大而有用的工具，但它的適用地點並不是“完全創作影片”。至少目前還不是。就像另一個惡棍曾經著名地說的那樣，“這是後話。”