拍照即建模，3D掃描儀或逐步絕跡？實(shí)測(cè)MetaSAM3D

本文閱讀導(dǎo)圖

AM易道深度實(shí)測(cè)

做逆向的讀者朋友大概都有過這種經(jīng)歷：

客戶拿來一個(gè)老舊零件，表面磨損、邊角殘缺，掃描儀轉(zhuǎn)了二十分鐘，出來的點(diǎn)云還是千瘡百孔。

補(bǔ)面、對(duì)齊、修復(fù)，一套流程走下來，工時(shí)費(fèi)比重新建模還貴。

而現(xiàn)在，Meta AI說：

給我一張照片就夠了。

他們最近剛剛發(fā)布的SAM 3D，試圖用一種近乎"腦補(bǔ)"的方式重建三維世界。

即便物體被遮擋、視角殘缺，AI也能像人類想象那樣，把看不見的部分生成出來。

如果這條技術(shù)路線走通，困擾3D打印行業(yè)多年的建模難、逆向貴、數(shù)據(jù)缺這三座大山，可能真的要被撼動(dòng)了。

Meta AI的王炸：從讀懂像素到重構(gòu)幾何

這次Meta主要發(fā)布了兩個(gè)AI技術(shù)，一個(gè)是更懂語義的分割模型SAM 3。

他有著強(qiáng)大的語義理解能力，可以分割提取圖片中的任意元素。不過他并不是我們今天的重點(diǎn)。

我們今天的主角是SAM 3D。

這是一款三維重建模型。

他們這次解決了一個(gè)困擾計(jì)算機(jī)視覺界多年的難題：如何在信息缺失的情況下，精準(zhǔn)還原三維物體？

簡(jiǎn)單來說，比如一張照片只拍到物體的一個(gè)角度，如何能夠還原物體的其他細(xì)節(jié)和觀察角度？

比如說這一組家具，沙發(fā)被吉他和小桌子擋住了。

我們?nèi)祟惪赡芎茌p易的就想象出被遮擋的部分是什么樣子。這個(gè)沙發(fā)是什么形狀的

而SAM 3D就具備這種理解并重建3D世界的能力。

給它一張圖，即便物體被遮擋、視角刁鉆，它也能像人類腦補(bǔ)一樣，把背面和被遮擋的部分生長(zhǎng)出來，直接生成3D模型。

以前我們3D建模行業(yè)要是想將一個(gè)現(xiàn)實(shí)世界的物品做成3D模型。

要不是做光度立體或者攝影測(cè)量（Photogrammetry），得繞著物體拍幾十張照片，還得算重疊率，然后再用計(jì)算機(jī)渲染很長(zhǎng)時(shí)間。

而且稍微有個(gè)遮擋，模型就炸了，全是破面。

而現(xiàn)在只需要SAM 3D一張圖片，他就可以把圖片里的元素全都轉(zhuǎn)成3D模型。

可能有人認(rèn)為這個(gè)不就是圖片生成3D模型，早就有很多AI模型了嘛。

其實(shí)這個(gè)和過往的3DAI是不一樣的。

過往的3D AI他只能根據(jù)你給出來的圖片素材，然后機(jī)械的將其轉(zhuǎn)化成一個(gè)3d模型。

你給什么，他就生成什么。

而SAM 3D就不一樣的，他有對(duì)世界的理解能力。即使有遮擋之類的，他也可以想象出來。

比如說這個(gè)圖片。這個(gè)叉車被前邊的旗子擋住了。

而SAM就可以識(shí)別出來，并準(zhǔn)確地生成模型。

以下是官方的其他使用案例。

大型復(fù)雜場(chǎng)景也不在話下。

另外SAM 3D還有一個(gè)特殊版本SAM 3D Body，對(duì)于構(gòu)建人體有著特殊的優(yōu)化，可以更好的識(shí)別人體并生成相應(yīng)的模型。

AM易道實(shí)測(cè)體驗(yàn)

我們實(shí)際體驗(yàn)了一下這款產(chǎn)品，結(jié)果很出乎意料。

官方的體驗(yàn)平臺(tái)中，AI生成的模型與宣傳效果相差甚遠(yuǎn)，甚至我們一開始還以為用錯(cuò)了模型。

比如我們上傳一個(gè)很簡(jiǎn)單的耳機(jī)架模型。

這就是幾個(gè)簡(jiǎn)單的幾何體組成的形狀，按道理來說，AI應(yīng)該可以很輕松地識(shí)別出來。

但是他實(shí)際生成的模型是這樣的：

這個(gè)樂高手的部分沒有很好的識(shí)別出立體效果來。

后來我們又用了一個(gè)卡通圖片:

這估計(jì)會(huì)是大家經(jīng)常會(huì)需要AI制作模型的場(chǎng)景。

但是實(shí)際上AI并沒有很好的識(shí)別出小貓咪。

直接生成了一個(gè)小團(tuán)子。

后來我們認(rèn)為可能是官方的訓(xùn)練數(shù)據(jù)還不夠豐富，AI還不認(rèn)識(shí)這種物體。

所以我們又選了一些常見物件來測(cè)試：

這次AI生成的效果倒是還不錯(cuò)。

比如我們發(fā)給他一個(gè)桌子的照片：

這是他生成的模型：

桌子的格子倒是很好的識(shí)別出深度來了，沒有被上面擺著的電腦主機(jī)影響思考。

直觀感受，現(xiàn)在meta這個(gè)AI還是處于很基礎(chǔ)的水平。

實(shí)際體驗(yàn)遠(yuǎn)沒有官方宣傳的效果那么好。

我們只能說，期待他未來的發(fā)展吧。

結(jié)語

坦白講，SAM 3D目前的實(shí)際效果讓人失望。

官方演示里那些驚艷的案例，在我們手里復(fù)現(xiàn)時(shí)大打折扣。

但技術(shù)從來不是一步到位的。

回想十年前，桌面級(jí)3D打印機(jī)打出來的東西層紋粗糙、精度感人，很多人斷言這玩意兒成不了氣候。

而今天，故事已開始高奏凱歌。

SAM 3D讓我們看到的，不是一個(gè)成熟的解決方案，而是一個(gè)清晰的方向：

未來的三維建模入口，很可能從復(fù)雜的掃描流程和高門檻軟件，變成一張照片加一次AI推理。

工程師和設(shè)計(jì)師要做的，是接過AI給出的那個(gè)八分底模，完成最后那20%的精修和判斷。

這對(duì)行業(yè)意味著什么？

掃描設(shè)備不會(huì)立刻被淘汰，但它的角色可能從必經(jīng)之路變成高精度補(bǔ)充。

逆向工程的成本結(jié)構(gòu)會(huì)被重塑，小批量定制的門檻會(huì)進(jìn)一步降低。

而那些花了十年練就的建模手藝、對(duì)幾何結(jié)構(gòu)的直覺判斷、對(duì)公差和工藝的理解。

至少幾年內(nèi)，我們判斷，這些屬于人的能力，反而會(huì)因?yàn)锳I分擔(dān)了重復(fù)勞動(dòng)，變得更加珍貴。

我們會(huì)持續(xù)跟進(jìn)SAM 3D的迭代與應(yīng)用落地。

也歡迎各位讀者在評(píng)論區(qū)聊聊：

如果單圖建模真的成熟了，您的工作流會(huì)怎么變？

AM易道本文漫畫

關(guān)注AM易道，讀懂3D打印的變化之道。

A

MYD.C

N

您可以在網(wǎng)頁(yè)上讀到公測(cè)版AM易道了！早期注冊(cè)用戶和私信提交bug者會(huì)有隱藏福利！

招聘全職編輯：5年以上3D打印行業(yè)經(jīng)驗(yàn)，不限專業(yè)方向。期待與有深度思考能力、文字能力和創(chuàng)作興趣的小伙伴合作，共同打造優(yōu)質(zhì)內(nèi)容。有意者請(qǐng)加yihanzhong詳聊。

深度內(nèi)容投稿：

歡迎向AM易道投稿，歡迎關(guān)于3D打印的深度原創(chuàng)內(nèi)容，

有意者請(qǐng)加yihanzhong詳聊。

企業(yè)合伙計(jì)劃：

讀者加群提示：添加amyidao加入讀者交流群（備注加群），獲取原始信源鏈接或不便發(fā)表內(nèi)容，并與AM易道同頻讀者共同探討3D打印的一切，AM易道建議讀者星標(biāo)公眾號(hào)，第一時(shí)間收到AM易道更新。

鄭重免責(zé)聲明：AM易道圖片視頻來自于網(wǎng)絡(luò)，僅作為輔助閱讀之用途，無商業(yè)目的。版權(quán)歸原作者所有，如有任何侵權(quán)行為，請(qǐng)權(quán)利人及時(shí)聯(lián)系，我們將在第一時(shí)間刪除。本文圖片版權(quán)歸版權(quán)方所有，AM易道水印為自動(dòng)添加，輔助閱讀，不代表對(duì)該圖片擁有版權(quán)，如需使用圖片，請(qǐng)自行咨詢版權(quán)相關(guān)方。AM易道文章不構(gòu)成任何投資建議，不對(duì)因使用本文信息而導(dǎo)致的任何直接或間接損失承擔(dān)責(zé)任。