国产精品夜色视频一级区_hh99m福利毛片_国产一区二区成人久久免费影院_伊人久久大香线蕉综合影院75_国产精品久久果冻传媒

您的位置:首頁(yè) >聚焦 >

【天天時(shí)快訊】最大CLIP!LAION發(fā)布CLIP的擴(kuò)增定律

2022-12-22 16:46:27    來(lái)源:程序員客棧


(資料圖片)

點(diǎn)藍(lán)色字關(guān)注“機(jī)器學(xué)習(xí)算法工程師”

設(shè)為星標(biāo),干貨直達(dá)!

近日,LAION等機(jī)構(gòu)在Reproducible scaling laws for contrastive language-image learning發(fā)布了CLIP的擴(kuò)增定律(scaling law),其中最大的CLIP為ViT-H/14,基于LAION-2B數(shù)據(jù)集訓(xùn)練,可以在ImageNet1K數(shù)據(jù)集上到78.0%的zero-shot準(zhǔn)確度,性能超過(guò)OpenAI目前開(kāi)源的CLIP L/14,和Meta AI的FLIP Huge模型性能相當(dāng),但是模型已經(jīng)開(kāi)源在https://github.com/LAION-AI/scaling-laws-openclip。

論文的實(shí)驗(yàn)采用開(kāi)源數(shù)據(jù)集LAION-400M和LAION-2B數(shù)據(jù)集,訓(xùn)練框架采用開(kāi)源的OpenCLIP,所以論文的實(shí)驗(yàn)是可以復(fù)現(xiàn)的。訓(xùn)練在1520 NVIDIA A100 GPUs上進(jìn)行,采用PyTorch DDP分布式訓(xùn)練策略,采用混合精度(但是fp16會(huì)不穩(wěn)定,所以采用bf16,或者基于TF32的float32),訓(xùn)練的batch size在 86-88K之間。實(shí)驗(yàn)的總體結(jié)論是:擴(kuò)增定律也明顯適用CLIP,當(dāng)擴(kuò)增模型,訓(xùn)練數(shù)據(jù)和算力時(shí),模型在下游任務(wù)上有一致性的提升。但是不同的訓(xùn)練數(shù)據(jù)集表現(xiàn)出不同的擴(kuò)增系數(shù):OpenCLIP的模型(基于LAION-2B數(shù)據(jù)集)在圖文檢索任務(wù)上有較大的擴(kuò)增系數(shù),而OpenAI CLIP模型(基于私有的WebImageText 400M數(shù)據(jù)集)在zero-shot分類(lèi)任務(wù)上有較強(qiáng)的擴(kuò)增系數(shù)。這個(gè)結(jié)論和FLIP的結(jié)論比較吻合,這說(shuō)明訓(xùn)練數(shù)據(jù)集對(duì)CLIP的性能確實(shí)有比較大的影響。用論文結(jié)論的一句話(huà)來(lái)說(shuō)就是:Scaling behavior depends on task type and pre-training dataset。更多內(nèi)容可見(jiàn)論文:https://arxiv.org/abs/2212.07143

關(guān)鍵詞: 機(jī)器學(xué)習(xí) 是不同的

相關(guān)閱讀