AI涂鴉秒變視頻：Runway新工具Motion Sketch體驗

一個定居者家庭，正在欣賞一群野牛，當兩只惡魔般的有翼生物從頭頂飛過時，他們開始奔跑。小女孩像幽靈一樣穿過了柵欄柱。

這個超現實的五秒場景是通過AI平臺Runway中名為Motion Sketch的新功能創建的。顧名思義，它可以從你直接在靜態圖像上制作的簡單涂鴉生成視頻。

在下面的片段中，我首先使用谷歌的Nano Banana Pro生成了一張圖像——這是通過Runway平臺提供的文本轉圖像模型之一——然后簡單地畫了一些鳥形狀狀和兩個箭頭，指示家庭和野牛應該逃跑的方向。我添加了一些文本提示作為額外指導，模型完成了其余工作。

該功能仍然需要一些人工引導，就像ChatGPT經常需要多個精心制作的提示才能生成你想要的輸出一樣。盡管如此，它可能標志著AI生成視頻的一大進步，對于更喜歡視覺思維而非語言思維的創意行業專業人士來說尤其如此。

"這個功能對所有類型的用戶都有幫助，"Runway產品經理Aditi Poduval告訴ZDNET。"最終，我們幫助人們獲得精確的運動效果，而無需制作特定的書面提示。"

以下是我在嘗試Motion Sketch后學到的經驗。

實際體驗過程

在對那個疲憊定居者家庭圖像的初次實驗后，我決定進一步提升涂鴉的程度。

我使用文本提示生成了家庭圖像。但通過Runway的Nano Banana Pro也可以僅基于涂鴉創建圖像，你可以直接在平臺上制作，就像Microsoft Paint一樣。我是作家，不是視覺藝術家，但我盡力畫出了我希望看起來像是懸掛在樹枝上的蛇的東西。

然后，我轉向Motion Sketch。如前所述，在定居者家庭實驗中，我通過在涂鴉之外添加一些文本提示與模型配合，但這次我想看看它在沒有任何書面指導的情況下表現如何。我希望生成蛇向右爬行的片段，所以沿著它的身體長度畫了一些簡單的運動指向箭頭。任何六歲孩子都能理解這些箭頭的含義，但AI表現如何呢？我設置長度為10秒，選擇了Runway的Gen-4.5視頻模型（谷歌的Veo 3和Veo 3.1也可用），然后點擊生成。

我期望一個相對平滑的蛇沿著樹枝移動并從鏡頭右下角退出的片段，但得到的結果更加奇幻。蛇在鏡頭左側留下了部分身體，另一條蛇從其體內出現并從樹上掉落。在某一時刻，它似乎長出了鱷魚般的腳，用來沿著樹枝拖拽自己。我畫的原始箭頭也在片段開頭短暫出現，然后消散。

公平地說，蛇是生物奇跡，準確建模它們的運動對任何動畫師——無論是人類還是機器——都不是小任務。模型似乎將我的多個箭頭誤解為蛇同時向多個方向移動的指令，這顯然讓它困惑了。所以我回去在原始圖像上添加了簡單的文本提示："蛇沿著樹枝爬行。"

這次的最終產品更接近我的預期（沒有突然的蛇身體復制或腿部萌生）。運動仍然看起來別扭，但同樣，蛇的運動是一個相當高的要求，涉及許多復雜的細粒度物理。

再一個實驗：我想看看模型與真實照片配合得如何，所以我從筆記本電腦上傳了一張：幾個月前我在布魯克林Prospect Park拍攝的照片。

我畫了基本上是火的通用圖標：向上輻射的波浪紅線，內嵌橙色。再次聲明，我不是天才插畫師，但大多數人都能認出我想要表達的內容。Runway的模型也識別了這一點，在我照片捕獲的寧靜湖邊場景中心投下了一個巨大的篝火。同樣，我的草圖在片段中短暫出現，然后在逐漸縮短的波浪線的迷幻運動中消失。也許是我的想象，但篝火旁邊的樹木甚至似乎在其熱量下變黑。

使用體驗和前景

像任何其他生成式AI工具一樣，Motion Sketch有其不完美之處和故障（小女孩穿過木梁、蛇長出腿、我原始草圖的波浪線在最終視頻片段中短暫出現）。盡管如此，我印象深刻。

這里展現的是用AI生成視頻的全新格式，可能比以往任何時候都更能降低想象與制作之間的障礙。"這就是我一直在等待的，"一位X用戶在Runway周二公告下發帖。"畫出你的愿景然后觀看它渲染為視頻？對于無法終生進行提示工程的創作者來說，這絕對是游戲改變者。"

現在，如果你有特定愿景，它仍然需要相當多的試錯，但同樣，這是對未來可能性的令人興奮的預覽。絕對值得嘗試，即使——也許特別是——如果你只是本著創造性精神進入，心中沒有清晰的愿景。

Motion Sketch至少需要Runway的標準訂閱，費用為每用戶每月12美元，包含625個月度積分。

要從用戶儀表板訪問，點擊左側菜單中的"App"，然后在"Explore Gen-4.5"收藏下或屏幕右半部分預覽窗口下選擇Motion Sketch，你會看到標有"Try it now"的按鈕。

從那里，只需上傳你的圖像并點擊"Sketch"→"Export sketch"→Generate。

Q&A

Q1：Motion Sketch是什么？它有什么功能？

A：Motion Sketch是AI平臺Runway推出的新功能，可以從用戶直接在靜態圖像上制作的簡單涂鴉生成視頻。用戶只需在圖像上畫出簡單的線條和箭頭指示運動方向，AI就能生成相應的視頻片段。

Q2：使用Motion Sketch需要什么條件？費用如何？

A：Motion Sketch至少需要Runway的標準訂閱，費用為每用戶每月12美元，包含625個月度積分。用戶可以從儀表板的"App"菜單進入，選擇Motion Sketch功能開始使用。

Q3：Motion Sketch生成的視頻效果如何？有什么局限性？

A：Motion Sketch能夠識別簡單的涂鴉并生成對應的視頻效果，但仍有不完美之處，比如物體可能出現穿透現象或意外變形。復雜的運動模擬仍然具有挑戰性，通常需要多次嘗試和文本提示輔助才能獲得理想效果。