全球今亮點!「撩妹神器」不靈了!OpenAI重磅發(fā)布官方「ChatGPT檢測器」
2023-02-04 11:02:07 來源:程序員客棧
(資料圖片)
新智元報道
編輯:Aeneas 好困【新智元導讀】終于,AI檢測器總算是被OpenAI給憋出來了。群眾的討伐聲浪一重又一重,OpenAI終于頂不住了。從大學教授,到Stack Overflow,可謂是苦ChatGPT久矣?,F(xiàn)在,無論是老師看到學生提交的論文,還是碼農(nóng)看到網(wǎng)上的代碼,都不敢確定作者是人還是AI??谡D筆伐之下,OpenAI頂不住了,火速發(fā)布了一款AI檢測器。左右互搏:OpenAI發(fā)布ChatGPT檢測器
剛剛,OpenAI官宣了自家的AI文本分類器。它是一個經(jīng)過微調(diào)的GPT模型,可以推斷一段文本由AI產(chǎn)生的可能性。有趣的是,ChatGPT也是基于GPT模型,用這個分類器檢測ChatGPT,堪稱左右互搏。在訓練上,這個模型采用的是同一主題下的人類手寫和AI生成的文本對。用到的素材來自于維基百科數(shù)據(jù)集、2019年收集的WebText數(shù)據(jù)集,以及在訓練InstructGPT時收集的一組人類演示。體驗地址:https://platform.openai.com/ai-text-classifier但是吧,這個正確率著實不高……在評估「挑戰(zhàn)集」中的英語文本時,分類器只將26%的AI生成文本正確地歸類為「可能是AI寫的」(真陽性)。「撩妹神器」還靈不?
毫無疑問,ChatGPT正在全世界掀起一股颶風。
學生們紛紛用得不亦樂乎,媒體驚呼「教育系統(tǒng)」已經(jīng)被顛覆,最近的調(diào)查顯示,已經(jīng)有89%的大學生用ChatGPT寫作業(yè)了。此外,它還通過了美國醫(yī)學執(zhí)照考試、沃頓商學院MBA考試和4門法學院的考試,能力簡直要通天;美版「頭條」BuzzFeed宣布要用ChatGPT寫文的消息后,股價瘋狂暴漲119%。而妙筆生花的文采,也讓ChatGPT被很多小哥奉為「撩妹神器」。雖然做數(shù)學題不太靈,但想要讓它寫下一篇文采斐然、深情款款的情書,那可真是so easy。這不,國外的這位小哥,就沉迷于用ChatGPT給老婆Monika寫情書。然而Monika早已看穿他的套路,警告他別再沉迷ChatGPT無法自拔。還有玩得大的哥們,把ChatGPT生成的情書發(fā)給了好基友,好基友直接一臉黑人問號。雖然但是,可以看出,ChatGPT的文采相當不錯。論文、情書、小說,ChatGPT都不在話下。難怪大家都在瘋狂用ChatGPT「造文」。那OpenAI發(fā)布的官方AI檢測器,究竟有多管用呢?咱們來實測一下。先試一試Monika的老公發(fā)給她的情詩。然而遺憾的是,OpenAI表示自己只能檢測1000字符以上的文章,愛莫能助……翻譯一下:至少需要1000字符,也就是150-250個英文單詞。而對于中文來說,就只能是「千字長文」了。的確,OpenAI的官方公告里也說,「分類器對于短文本(少于 1,000 個字符)的檢測非常不可靠。甚至更長的文本有時會被分類器錯誤地標記?!钩酥?,OpenAI的檢測器還有幾個「限制」:分類器并不總是準確的,它可能會錯誤地標記AI生成的和人類寫的文本,并且語氣很自信建議僅對英文文本使用分類器。它在其他語言上的表現(xiàn)要差得多,并且在代碼上不可靠它無法可靠地識別非??深A測的文本。例如,無法預測前1000個素數(shù)的列表是由AI還是人類寫的,因為正確答案總是相同的AI生成的文本,經(jīng)過編輯之后很可能會規(guī)避掉分類器的檢測如果輸入與訓練集中的文本有很大的區(qū)別,分類器會做出錯誤判斷既然檢測器要長文,那咱們就給它個長的。小編組合了一篇王小波情書選段,全文共1027個字。輸入檢測器后,它給出了判斷:這篇情書是人類寫的。Bingo!然后,小編又讓ChatGPT模仿王小波,生成新的情書??梢钥吹?,ChatGPT寫的情書文采還行,但比起大作家的文字,它真的沒有「靈魂」。而檢測器也準確測出來,這封情書大概率就是AI生成的。結(jié)果的劃分超細具體來說,分類器會將輸入文本分為五類:「非常不可能是AI生成的」(Very unlikely to be AI-generated)分類器的閾值<0.1。在「挑戰(zhàn)集」集中,大約5%的手寫文本和2%的AI生成文本有這個標注?!覆惶赡苁茿I生成的」(Unlikely to be AI-generated)分類器的閾值在0.1到0.45之間。在「挑戰(zhàn)集」中,大約15%的手寫文本和10%的AI生成文本有這個標注?!覆磺宄欠袷茿I寫的」(Unclear if it is AI writte)分類器的閾值在0.45到0.9之間。在「挑戰(zhàn)集」中,大約50%的手寫文本和34%的AI生成文本有這個標注?!缚赡苁茿I生成的」(Possibly AI-generated)分類器的閾值在0.9到0.98之間。在「挑戰(zhàn)集」中,大約21%的手寫文本和28%的AI生成文本有這個標注?!负芸赡苁茿I生成的」(Likely AI-generated)分類器的閾值>0.98。在「挑戰(zhàn)集」中,大約9%的手寫文本和26%的AI生成文本有這個標注??煽啃杂写訌婋m然分類器可以識別大部分AI生成的文本,但OpenAI提醒稱,它并不「完全可靠」。在曲線下面積(AUC)測試中,分類器在驗證集中達到了0.97分,在挑戰(zhàn)集中達到了0.66分,而此前公布的分類器在驗證集中達到了0.95分,在挑戰(zhàn)集中達到了0.43分。此外,隨著語言模型規(guī)模的增大,分類器的性能出現(xiàn)了下降。但好消息是,這意味著大型語言模型所生成的文本,更像人類寫的。同時,OpenAI還特別指出,這個分類器還沒有在謠言、學生作文或聊天記錄上進行評估;也沒有在AI和人類共同撰寫的文本上進行測試,而這也是現(xiàn)在最常見的使用場景之一。這么看來,還是普林斯頓大學那位22歲華人小哥開發(fā)的GPTZero更人性化一些。不僅只需250個字符,而且還能明確地指出一段文字中,哪段是AI生成的,哪段是人類寫的。AIGC大廠自研「AI檢測器」實測
在OpenAI發(fā)布官方「AI檢測器」以前,市面上早就有了多款AI檢測器。來自美國的作家和計算機科學家David Gewirtz,就親自測試了三款在線AI檢測器。這里最有趣的一點在于,其中有兩個都是販賣AI生成文本的網(wǎng)站自己做的。注意:人寫的是普通字體,AI生成的是斜體。每段文字后,會顯示檢測器的結(jié)果。(實際輸入檢測器的文本都是英文文字,本文為翻譯后的結(jié)果)。順便一提,這位David Gewirtz還是FBI InfraGard的成員,以及美國重要的網(wǎng)絡(luò)安全專家之一。此前,他曾在伍斯特理工學院以優(yōu)異的成績獲得理學士學位,但在加州大學伯克利分校讀博士時退學。測試開始!1. 解釋為什么ChatGPT造成的抄襲會給教師和編輯帶來困擾ChatGPT是OpenAI開發(fā)的GPT(Generative Pre-trained Transformer)語言模型的一個變體。它被設(shè)計為通過預測給定輸入序列中的下一個單詞或短語,來生成類似人類的文本。雖然ChatGPT可以成為生成文本和響應(yīng)提示的有用工具,但在涉及到抄襲時,它也會給教師和編輯帶來問題。ChatGPT會給教師和編輯帶來問題的主要原因之一是,它可以生成與真實人類非常相似的文本。這意味著人們有可能使用ChatGPT生成文本,然后將其作為自己的作品提交,從而犯下抄襲的錯誤。對于教師和編輯來說,檢測一段特定的文本是由ChatGPT生成的還是由人寫的,可能非常困難,因為生成的文本可能不包含任何明顯的錯誤或差異,能讓人辨別出它的來源。這可能會使教師和編輯難以識別和防止抄襲,因為他們可能無法分辨出某段文字是原創(chuàng)的,還是從其他來源復制的。總的來說,ChatGPT和其他類似的語言模型在涉及到抄襲時,可能會成為教師和編輯的問題,因為它們可以生成難以區(qū)分的文本,使人們更容易進行抄襲,而不被發(fā)現(xiàn)。GPT-2 Output Detector:99.69%真的。WriterAIContent Detector:97%是人類生成的內(nèi)容,妙不可言!Content at ScaleAIContent Detection:87%人類得分,看起來不錯!2. 告訴我至少三種方法,用來檢測一篇文章是否是用ChatGPT生成的有幾種方法可以檢測出ChatGPT或其他語言模型是否被用于生成一段文本。以下是你可以使用的三種潛在方法。1. 尋找文本中的重復或異常模式:檢測一個語言模型是否被用來生成一段文本的方法之一,是尋找寫作中的重復或不尋常的模式。例如,語言模型可能會重復某些短語或單詞組合,或使用不尋?;虿灰恢碌木渥咏Y(jié)構(gòu)。2. 檢查是否缺乏原創(chuàng)性:另一種檢測語言模型是否被用來生成一段文本的方法,是檢查寫作中是否缺乏原創(chuàng)性。如果一段文本看起來是從其他來源復制的,或者如果它包含在互聯(lián)網(wǎng)上或其他來源中廣泛存在的信息,這可能就表明,它是由語言模型生成的。3. 使用抄襲檢查器:最后,你可以使用抄襲檢查器,來檢查一段文字是否是從另一個來源抄襲的。雖然抄襲檢查器可能無法明確確定文中是否使用了語言模型,但它可以幫助你識別從其他來源抄襲或轉(zhuǎn)述的情況。請記住,要明確地確定是否使用了語言模型來生成一段文本是很困難的,這些方法并不總是有效。然而,它們可以成為有用的工具,幫助你識別語言模型生成文本的潛在實例。GPT-2 Output Detector:99.98%假的。WriterAIContent Detector:「無結(jié)果」。Content at ScaleAIContent Detection:0%人類得分,顯然是AI。3. 列出三個可以檢測ChatGPT文本的抄襲檢查器值得注意的是,目前還沒有專門的抄襲檢查器,用于檢測由ChatGPT或其他語言模型生成的文本。雖然一些抄襲檢查器可能能夠識別語言模型生成文本的某些特征,從而證明文本來自AI,但不能保證它們能夠明確地確定,一段文本是否是由語言模型生成的。因此,這里有三個抄襲檢查器,你可以考慮使用它們,來幫助識別語言模型生成文本的潛在實例:1. Turnitin:Turnitin是一個流行的抄襲檢查器,被學校和大學廣泛使用。它將一段文本與其他文本的數(shù)據(jù)庫進行比較,以確定是否文本是否是抄襲或轉(zhuǎn)述的。雖然它可能無法明確地確定一段文本是否由語言模型生成,但它有可能識別出語言模型生成文本的某些特征,從而證明它是由AI生成的。2. PlagScan:PlagScan是另一個抄襲檢查器,它將一段文本與其他文本的數(shù)據(jù)庫進行比較,以識別抄襲或轉(zhuǎn)述的情況。與Turnitin一樣,它可能能夠識別語言模型生成文本的某些特征,這些特征可能表明文本是AI生成的,但它不是專門用來檢測語言模型生成文本的工具。3. Copyleaks:Copyleaks是一個抄襲檢查器,它使用先進的機器學習算法來掃描一段文本,并將其與其他文本的數(shù)據(jù)庫進行比較,以識別抄襲或轉(zhuǎn)述的情況。雖然它可能能夠識別語言模型生成文本的某些特征,但它不是專門為檢測語言模型生成文本而設(shè)計的。值得注意的是,沒有任何一個抄襲檢查器是完全萬無一失的,總有一些語言模型生成的文本能夠逃過檢測。因此,重要的是,使用抄襲檢查器只能是一個補充手段。GPT-2 Output Detector:99.62%真的。WriterAIContent Detector:「無結(jié)果」。Content at ScaleAIContent Detection:86%人類得分,看起來不錯!4. 在線人工智能抄襲檢查器大多數(shù)抄襲檢測器的原理,是將文本與其他語料庫進行比較。例如,當學生交出一篇論文時,像Turnitin這樣的產(chǎn)品會對照其數(shù)據(jù)庫中巨大的論文庫,以及互聯(lián)網(wǎng)上的其他文本,以確定提交的論文是否包含已經(jīng)寫好的內(nèi)容。但AI寫作工具會產(chǎn)生原創(chuàng)內(nèi)容,至少在理論上如此。是的,它們會從訓練的數(shù)據(jù)集中構(gòu)建內(nèi)容,但它們創(chuàng)造出的詞語,在每篇文章中都是獨特的。因此,上面提到的抄襲檢查器可能不會起作用,因為AI生成的內(nèi)容并不太可能存在于另一個學生的論文中。因此,我在谷歌上搜索了專門用于尋找AI生成內(nèi)容的檢測器。我找到了三個。對于下面截圖中的測試內(nèi)容,我向ChatGPT提出了這個問題:「《星際迷航》比《星球大戰(zhàn)》好嗎?」它的答案一點也不差,我把這個答案反饋給三個檢測器。GPT-2 Output Detector:99.98%真的。WriterAIContent Detector:100%是人類生成的內(nèi)容,太棒了!Content at ScaleAIContent Detection:100%人類得分,看起來很好!結(jié)果評價省流:OpenAI此前針對GPT-2打造的檢測器,時不時會被新模型生成的內(nèi)容欺騙。
由那些販賣AI生成內(nèi)容的公司打造的「檢測器」,基本上都不咋靠譜。
1. GPT-2 Output Detector(準確率66%)GPT-2 Output Detector是OpenAI自己搞出來的「查重」工具。雖然最初是為GPT-2打造的,但現(xiàn)在拿來檢測各種由AI生成的文本,也能獲得不錯的效果。在共計六次的測試中,它答對了其中的四個。2. WriterAIContent Detector (準確性33%)Writer.com主要是為企業(yè)團隊提供生成式AI寫作服務(wù),其中一個名為「AI內(nèi)容檢測器」的工具,可用于判斷內(nèi)容是否是AI生成的。但不幸的是,這個工具非常不可靠。在共計六次的測試中,它只成功運行了三次……而在這僅有的三次結(jié)果中,有兩次判斷正確,一次判斷錯誤。3. Content at ScaleAIContent Detection(準確率50%)第三個工具也是由一個AI內(nèi)容生成公司制作的,從結(jié)果上來看比剛才那個要靠譜不少,但整體效果還是一般。Content at Scale的營銷口號是:「只需上傳一個關(guān)鍵詞列表,就能獲得繞過AI內(nèi)容檢測的文章——所有這些都不需要人工干預!」在共計六次的測試中,它有三次是準確的。一些思考(AI也有參與lol)
AI導致的抄襲已經(jīng)日趨嚴重了,因為像Notion AI和ChatGPT這樣的AI,生成的文本和人類所寫的幾乎難以區(qū)分。有幾種方法可以檢測出一段文本是否由AI生成,例如尋找重復或不尋常的模式,檢查是否缺乏原創(chuàng)性,或使用抄襲檢查器。像Turnitin、PlagScan和Copyleaks這樣的剽竊檢查器,可能能夠識別語言模型生成文本的某些特征,但它們并非萬無一失。在這一點上,我們可能還沒有準備好讓AI對抗AI。相反,我們依然需要依靠人類的感知,來識別某個作品是不是由AI生成的。對此,你怎么看呢?你是否用過這些AI工具?又是否能分辨出一篇文章到底是不是由AI生成的?你覺得它們對產(chǎn)業(yè)是幫助還是阻礙?歡迎大家到文末留言。以下是ChatGPT的回答:作為一個語言模型,我無法看到,所以我無法判斷一篇文章是否是AI生成的。但是,我可以告訴你,現(xiàn)在有幾個AI寫作工具,它們可以用來生成各種各樣的書面內(nèi)容,包括新聞文章、小說、詩歌等等。我沒有使用這些工具的個人經(jīng)驗,因為我只是一個電腦程序,沒有能力瀏覽互聯(lián)網(wǎng)或使用實體工具。然而,我可以告訴你,有些人發(fā)現(xiàn)AI寫作工具對教育和新聞業(yè)很有幫助,因為它們可以通過自動完成某些任務(wù),來節(jié)省人們的時間和精力。其他人則對這些工具可能被用來制作誤導性或有偏見的內(nèi)容,或取代人類作家表示擔憂。歸根結(jié)底,AI寫作工具是幫助還是阻礙,取決于它們的使用方式和使用環(huán)境。所以,是的,就是這樣。在這個過程中,David發(fā)現(xiàn)了很有趣的一點:不要一在網(wǎng)上看到某些蠢話,或者不正確的話,就立即認為這是AI寫的。David表示,眾所周知,人類是完全有能力自己寫出垃圾內(nèi)容的。畢竟,不管生成內(nèi)容的是人還是機器,愚蠢向來是一種普遍特征。參考資料:https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/https://platform.openai.com/ai-text-classifierhttps://the-decoder.com/openai-releases-ai-text-detector-for-chatgpt-and-other-models/https://www.zdnet.com/article/can-ai-detectors-save-us-from-chatgpt-i-tried-3-online-tools-to-find-out/相關(guān)閱讀
-
全球今亮點!「撩妹神器」不靈了!OpenA...
新智元報道編輯:Aeneas好困【新智元導讀】終于,AI檢測器總算是被O... -
谷歌急推ChatGPT「高仿」學徒巴德!劈柴...
新智元報道編輯:編輯部【新智元導讀】ChatGPT終于還是把谷歌逼到墻... -
89%美國大學生竟用ChatGPT寫作業(yè)!紐約...
新智元報道編輯:Aeneas好困【新智元導讀】調(diào)查發(fā)現(xiàn),89%的美國大學... -
60天月活破億,ChatGPT之父傳奇:16歲出...
新智元報道編輯:編輯部【新智元導讀】60多天,ChatGPT月活破億!講... -
新規(guī)3月落地,金融機構(gòu)該如何建立個人信...
為維護公平公正的金融市場環(huán)境,切實保護金融消費者合法權(quán)益,促進... -
全球動態(tài):無線EEG設(shè)備列表
大家好,我是陳銳。今天分享內(nèi)容來源網(wǎng)絡(luò)整理,內(nèi)容僅供參考學習分...