大家好，我是 Jack。

今天繼續(xù)給大家推薦一些讓人“心動”的開源項(xiàng)目。

一、point-e

OpenAI　最近真的是殺瘋了，真是一家大力出奇跡的公司。

(資料圖)

先有 CLIP、再有 Dalle2，然后又搞了一個(gè)大火的 ChatGPT。

可謂是在多模態(tài)領(lǐng)域、圖像生成領(lǐng)域、文本對話領(lǐng)域大殺特殺。

現(xiàn)在，他們又把“魔爪”伸向了 3D 模型生成領(lǐng)域！

我們看一下效果：

簡單概述就是：

根據(jù)本文，生成 3D 模型。

并且運(yùn)行速度也很快，單個(gè) GPU，只需要 1-2 分鐘。

你可別笑話這 3D 模型，顆粒感明顯，后續(xù)提高精度了，有可能又是一波大殺特殺。

要知道，最原始的擴(kuò)散模型生成 2D 圖像，效果也是不太好。但自從 DDPM 發(fā)力后，基于本文的2D圖像生成，開始迅猛發(fā)展，兩年的時(shí)間，發(fā)展到了如今的 2D 高清圖片生成。

像我之前分享的 AI 作畫，就是基于擴(kuò)散模型 LDM 做的。

從最初的難用、甚至不可用，到現(xiàn)在的火爆，只用了幾年的時(shí)間。

想象一下：輸入各種風(fēng)格、主題、氛圍的關(guān)鍵詞，AI 就會生成符合要求的 3D 模型。

完善好后，這無疑又是動畫、游戲、VR/AR等從業(yè)人員的一大利器。

項(xiàng)目剛剛開源，“新鮮熱乎”：

項(xiàng)目地址：

https://github.com/openai/point-e

使用方法也很簡單，首先下載代碼，然后在項(xiàng)目根目錄進(jìn)行安裝：

pipinstall-e.

然后就能使用 jupyter 運(yùn)行以下代碼：

支持：從圖片生成點(diǎn)云、從文本生成點(diǎn)云、從點(diǎn)云生成 3D Mesh。

用 Point·E 依據(jù)文本提示生成 3D 點(diǎn)云的過程分為三個(gè)步驟：

1、依據(jù)文本提示，生成一個(gè)合成視圖 (synthetic view)

2、依據(jù)合成視圖，生成 coarse point cloud (1024 point)

3、基于低分辨率點(diǎn)云和合成視圖，生成 fine point cloud (4096 Point)

感興趣的小伙伴，可以玩一玩。

二、DiT

沒錯(cuò)，還是擴(kuò)散模型。

絕大多數(shù)擴(kuò)散模型，從 DDPM 開始，再到 DDIM、GLIDE，以及最新的 Imagen、LDM，用來預(yù)測噪聲的網(wǎng)絡(luò)，都是選擇 UNet 作為基礎(chǔ)架構(gòu)。

加個(gè)多頭 Attention，修改下網(wǎng)絡(luò)尺寸，翻來覆去都是在折騰 UNet 結(jié)構(gòu)。

最新發(fā)表的 DiT 改變了這個(gè)局面，用 Transformer！

擴(kuò)散 Transformer(DiTs)：一個(gè)基于 Transformer 的擴(kuò)散模型主干，它優(yōu)于先前的 U-Net 模型，并繼承了 Transformer 模型類的優(yōu)秀擴(kuò)展特性，性能表現(xiàn)出色，代碼剛剛開源！

我們直接看下效果對比：

FID 指標(biāo)越小越好，其余指標(biāo)越大越好。

從數(shù)據(jù)上看，DiT 比 LDM 還要好。

LDM 是誰？就是 NovelAI 用的底層模型。

真實(shí)場景，逼真自然的 2D 圖像生成，離我們不遠(yuǎn)了。

項(xiàng)目地址：

https://github.com/facebookresearch/DiT

不想部署開發(fā)環(huán)境，直接測試，作者也貼心地提供了 Web 環(huán)境：

https://huggingface.co/spaces/wpeebles/DiT

三、Best Papers 2022

時(shí)間過得真快，2022 年也接近了尾聲。

跟往年一樣，今年也出現(xiàn)了很多優(yōu)秀的算法。

2022 年全年的 Amazing AI papers，有人整理了出來。

今年的，30+ 篇 Best Papers，整理得非常不錯(cuò)：

這里面的，有一部分我寫過教程。

項(xiàng)目地址：

https://github.com/louisfb01/best_AI_papers_2022

四、絮叨

時(shí)間過得飛快，2022 年都要結(jié)束了！

忙學(xué)業(yè) or 忙工作，辛苦一年了，小伙伴們跨年準(zhǔn)備怎么過啊？

“陽康”的我，決定跨年那天出去放松一波。

打起精神，迎接 2023！

·················END·················

關(guān)鍵詞： 年的時(shí)間 大殺特殺 感興趣的