相信很多大家對AI領(lǐng)域的《貓鼠游戲》，盤點那些打假“AI內(nèi)容”的強大產(chǎn)品，這款檢測器已經(jīng)突破400萬用戶還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

萊昂納多扮演的小弗蘭克在《貓鼠游戲》中憑借著高超的假幣偽造技術(shù)騙過了一眾警察?，F(xiàn)實中，AI領(lǐng)域的《貓鼠游戲》正在上演，一場有關(guān)人工制作內(nèi)容和 AI 生成內(nèi)容的判定成為越來越重要的議題。

Human or AI，這是一個問題。

本文介紹了 GPTZero 這款用戶量突破400萬的 AI 文本內(nèi)容檢測工具，詳細拆解了 GPTZero 的創(chuàng)立歷程、分類器工作原理、以及當(dāng)前的應(yīng)用進展。

同時，我們觀察到 Stability AI 核心成員創(chuàng)立的 Flux AI 近期在外網(wǎng)發(fā)布的 AI 生成 TED 演講圖片將圖像領(lǐng)域的“真假莫測”推到了一個新高度。本文補充了目前在多模態(tài) AI 檢測領(lǐng)域的創(chuàng)業(yè)項目，并更新介紹了 OpenAI 在 AI 內(nèi)容檢測領(lǐng)域的最新進展。

01.

GPTZero，

兩位20+歲創(chuàng)始人的創(chuàng)業(yè)

2022年底，普林斯頓的大學(xué)生 Edward Tian 在咖啡店里花了一個寒假的時間研發(fā)出了 GPTZero，23年1月推出后迅速走紅，成為了教育界和科技界關(guān)注的焦點。目前，GPTZero 用戶規(guī)模已增長到400萬，ARR 在六個月內(nèi)增長了500%并實現(xiàn)盈利。

GPTZero 的創(chuàng)業(yè)想法源于 Tian 的一段實習(xí)經(jīng)歷，Tian 在《紐約時報》的實習(xí)期間，他編寫了幫助記者識別人工智能生成內(nèi)容的代碼，后來創(chuàng)辦了 GPTZero。

在他的首款網(wǎng)絡(luò)應(yīng)用獲得熱烈反響后，向好友 Alex 尋求幫助，本科畢業(yè)于加州理工學(xué)院，研究生畢業(yè)于多倫多大學(xué)。在看到 GPTZero 的廣闊前景后，Alex 放棄了博士課程，選擇成為高中同學(xué) Tian 的聯(lián)合創(chuàng)始人，擔(dān)任 CTO 角色。

最初 Tian 在推出 GPTZero 時，只有一個簡單的功能，即根據(jù)用戶輸入的內(nèi)容，返回該內(nèi)容由 AI 生成的概率有多大。

GPTZero的早期版本是一個文本檢測器的簡單UI界面

經(jīng)過一年半的發(fā)展，GPTZero 產(chǎn)品已經(jīng)基于 AI 內(nèi)容檢測模型能力構(gòu)建出了豐富的產(chǎn)品線，包括:

1）Chrome 插件:安裝后只需要在瀏覽器上劃線，即可快速檢測內(nèi)容是否由AI生成。

2）Word 插件:可幫助用戶識別正在閱讀的 Word 文檔是否部分由 AI 編寫。

3）抄襲檢測器:將用戶輸入的文本與數(shù)據(jù)庫和互聯(lián)網(wǎng)上的數(shù)百萬份文檔進行匹配，幫助用戶檢測內(nèi)容是否抄襲。

4）人工寫作認證:專有的寫作模式分析器，認證文檔確實由人工寫作，而非AI生成。

GPTZero 目前針對多個入口和使用者進行了產(chǎn)品設(shè)計

GPTZero 最初的產(chǎn)品 Go To Market 專注于教師群體，旨在幫助教師檢測人工智能生成的學(xué)生作業(yè)，并且與美國教師聯(lián)合會達成協(xié)議。

隨著發(fā)展，GPTZero 的客戶群體已經(jīng)擴大，現(xiàn)在包括政府采購機構(gòu)、撥款組織、招聘經(jīng)理、人工智能訓(xùn)練數(shù)據(jù)標注員等。

除了文本檢測領(lǐng)域，GPTZero 的遠期目標定位于研究 AI 幻覺檢測，由于幻覺是 GenAI 行業(yè)的禍根，公司決定推出LLM 訓(xùn)練數(shù)據(jù)集的免費 AI 文本版權(quán)檢查，幫助他們生成更廣泛的幻覺檢測訓(xùn)練數(shù)據(jù)。

02.

GPTZero 的工作原理

AI 在某些領(lǐng)域的文本生成效果已經(jīng)達到了真假難辨的程度，GPTZero 是如何構(gòu)建自己的檢測模型來對抗 LLM 模型的快速迭代呢?

GPTZero 模型采用了多層方法和端到端深度學(xué)習(xí)模型，核心技術(shù)包括困惑度檢測、突發(fā)性檢測等。核心都是利用目前 LLM 模型的生成原理或者弱點來進行突破檢測。

困惑度檢測

困惑度檢測衡量了模型對文本的“困惑”或“驚訝”程度，人類編寫的文本通常具有更高的困惑度，因為它的可預(yù)測性較差，而 AI 生成的文本往往具有較低的困惑度，因為它根據(jù) AI 模型的訓(xùn)練更容易預(yù)測。

GPTZero開發(fā)了一款類似于 ChatGPT 的 LLM，在文本中的每個單詞之后，模型都會提出下一個單詞的建議，它會檢查建議是否與文本中的實際情況相符，若相符則說明困惑度較低，可能是AI生成的。

突發(fā)性檢測

突發(fā)性檢測是指整個文本中困惑度的變化。作為人類，我們傾向于改變我們的寫作模式。從哲學(xué)上講，我們的短期記憶會激活并阻止我們重復(fù)寫類似的東西。

相反，語言模型具有顯著的“AI 印記”，它們的寫作水平與 AI 非常相似。雖然一個人很容易偶然寫出類似 AI 的句子，但人們往往會在整個文檔中改變他們的句子結(jié)構(gòu)和措辭。另一方面，模型會公式化地使用相同的規(guī)則來選擇句子中的下一個單詞，從而導(dǎo)致突發(fā)性較低。

GPTZero基于數(shù)據(jù)積累的檢測模型

GPTZeroX 是一個逐句分類模型，允許混合文本突出顯示。該模型在文檔的更大背景下分析文本中的每個句子，并確定每個句子由 AI 創(chuàng)建的概率。

GPTZero 還推出了一個專屬教育領(lǐng)域的教育模型，該模型使用的數(shù)據(jù)比常規(guī)模型包含更多學(xué)生作業(yè)，提高了檢測教育用途 AI 的準確性。該模型也非常適合區(qū)分 ESL 和 AI 編寫的文本。

除此之外，互聯(lián)網(wǎng)文本搜索也被 GPTZero 視為一種追溯內(nèi)容源頭的方式，模型的這一部分會檢查文本和互聯(lián)網(wǎng)檔案中是否存在此文本。與其他 AI 檢測服務(wù)不同，GPTZero 會確保常用文本不會被錯誤分類。

GPTZero 盾是一層防御其他試圖利用 AI 檢測器的工具，GPTZero 維護著一個數(shù)據(jù)庫，其中包含繞過 AI 檢測的最常見方法，例如同形字和空格攻擊等。

基于這些不同的技術(shù)棧，GPTZero 使用深度學(xué)習(xí)算法構(gòu)建了一個端到端的 ML 管道，使用來自網(wǎng)絡(luò)的大量文本語料庫、來自合作伙伴的教育數(shù)據(jù)集以及從一系列語言模型（包括最近的 Llama 和 GPT4）生成的合成 AI 數(shù)據(jù)集進行訓(xùn)練，從而構(gòu)建出一個可以隨著AI改進而改進的強大模型。

GPTZero 端到端模型的檢測原理

03.

文本檢測產(chǎn)品

的貓鼠游戲

GPTZero 的原理并不復(fù)雜，也遠非唯一一家致力于識別 AI 生成內(nèi)容的公司。其他公司包括 AI Writing Check、Copyleaks、GPT Radar、CatchGPT 和 Originality.ai。但是，許多工具的準確率極低。OpenAI 于2023年初推出了自己的人工智能檢測器，但在大約七個月后的7月，該工具因其效果不佳而受到廣泛批評，因此被關(guān)閉，近期 OpenAI 又發(fā)布了他們最新的 AI 內(nèi)容檢測研究成果，小編也會在后文介紹。

準確率，成為這些檢測器產(chǎn)品最核心的競爭優(yōu)勢。techcrunch 曾使用 Claude 生成了8種不同風(fēng)格的寫作樣本，其中包括:

1）知識類:中美洲的百科全書條目;

2）學(xué)術(shù)類:關(guān)于羅馬陷落的大學(xué)論文;關(guān)于槍支管制優(yōu)點的論文提綱;

3）新聞類:關(guān)于2020年美國總統(tǒng)大選的新聞文章;

4）營銷類:鞋油營銷電子郵件;

5）求職類:律師助理職位求職信;軟件工程師的簡歷;

實驗發(fā)現(xiàn)，Claude 在生成社交媒體文案、營銷類郵件內(nèi)容時，基本沒有明顯跡象表明是 AI 生成的，甚至在當(dāng)時難道了所有的檢測器。同時，這些 AI 檢測器在處理相對較長的文本樣本時表現(xiàn)更好，因為文本中的模式更加明顯。

從檢測原理來說，這些 AI 內(nèi)容檢測器本質(zhì)是人工智能語言模型，它使用來自互聯(lián)網(wǎng)的大量公開文本示例進行訓(xùn)練，并經(jīng)過微調(diào)以預(yù)測一段文本由人工智能生成的可能性。在訓(xùn)練過程中，AI 內(nèi)容檢測器會將文本與來自網(wǎng)站和其他來源的人工書寫文本進行比較，以嘗試學(xué)習(xí)能夠揭示文本來源的模式。

問題在于，人工智能生成的文本的質(zhì)量在不斷提高，檢測器很可能是在大量老一代樣本上進行訓(xùn)練的。除非近乎連續(xù)地重新訓(xùn)練，否則分類器模型的準確性會隨著時間的推移而降低。

同時，通過修改人工智能生成的文本中的一些單詞或句子，可以輕松規(guī)避 AI 內(nèi)容檢測器。對于堅定的學(xué)生和欺詐者來說，這很可能成為一場貓捉老鼠的游戲。

04.

圖片、視頻、音頻

AI 檢測不止文本

AI 文本內(nèi)容的生成量是巨大的，但除了文本模塊，圖片內(nèi)容、視頻內(nèi)容、音頻內(nèi)容的篡改和偽造也面臨著巨大的監(jiān)管壓力和風(fēng)險。在這個領(lǐng)域，同樣存在旺盛需求和巨大潛力。

最近，Stable Diffusion 核心高管出走創(chuàng)業(yè)成立的 Flux 又輸出了一波真假難辨的 AI 圖片，把 AI 生成圖片的真實感帶到了新的高度，甚至解決了 AI 在手部生成、文本生成等領(lǐng)域的瑕疵。

Flux 生成的超寫實 TED 演講圖正在社交媒體上爆火，已經(jīng)達到了真假難辨的效果。有網(wǎng)友提出了通過觀察發(fā)絲、吊牌金屬結(jié)構(gòu)合理性、圖片背景文字、調(diào)整飽和度等方式來判斷圖片是否由 AI 生成。但這樣的判斷方式很難形成系統(tǒng)，畢竟不同的 AI 繪圖工具，特點也都不盡相同。

多模態(tài)內(nèi)容領(lǐng)域的 AI 檢測器公司有的來自已有的內(nèi)容審核公司轉(zhuǎn)型，有的則是新的創(chuàng)業(yè)組織。多模態(tài) AI 內(nèi)容的檢測需求要比文本類 AI 內(nèi)容更加旺盛，小編整理了看到的幾個創(chuàng)業(yè)項目，看看他們切入這個賽道的產(chǎn)品邏輯。

Hive AI

Hive AI 是一個社交媒體內(nèi)容自動化審核產(chǎn)品。Hive 早期是一家計算機視覺技術(shù)公司，通過眾包的方式，組織全球勞動力進行視頻和圖片的標注，并基于此開發(fā)了一套 API，用于識別視頻片段和廣告中出現(xiàn)的徽標。早期 Hive 通過和自動駕駛算法公司合作的方式，售賣 API。

在積累了200多萬用戶和大量的標注數(shù)據(jù)后，Hive 開始向檢測工具轉(zhuǎn)型。目前 Hive AI 每月處理數(shù)十億次 API 調(diào)用，處理包含圖片、視頻、文件、網(wǎng)頁、音頻、直播等在內(nèi)的多種內(nèi)容形態(tài)和媒體類型，并獲得了包括Reddit、Canva、沃爾瑪、Visa 等在內(nèi)的100多名 KA 客戶。Hive AI 在2021年完成了8500萬美金的 D 輪融資，估值超過20億美金，并在2023年進行了下一輪融資（信息未公開）。

Hive 早期

在 AI 生成內(nèi)容量激增的今天，Hive 發(fā)布了 AI 內(nèi)容分類 API，對文本、圖片和音頻內(nèi)容進行檢測。

Hive AI 發(fā)布的 AI 內(nèi)容檢測工具

AI or Not

AI

orNot 是一款已經(jīng)吸引了10萬用戶的 AI 多模態(tài)內(nèi)容檢測產(chǎn)品，產(chǎn)品輕量易用，用戶可以免費檢測10張圖片是否由 AI 生成，基礎(chǔ)版本只需要5美金/月就可以檢測100張圖片，高級版本250美金/月，實現(xiàn)1萬張圖片檢測，還可以調(diào)用 API 用于企業(yè)級用途。

在產(chǎn)品設(shè)計上，AIorNot 提供簡潔的 AI 檢測報告，包含對圖片質(zhì)量、NSFW 內(nèi)容、是否為 AI 生成內(nèi)容以及 AI 生成圖像工具的判定。產(chǎn)品基于大型數(shù)據(jù)集進行訓(xùn)練，該數(shù)據(jù)集包含數(shù)百萬張人工生成的圖像和人工創(chuàng)建的圖像，例如照片、數(shù)字和傳統(tǒng)藝術(shù)以及來自網(wǎng)絡(luò)的 meme。

AIorNot圖像檢測界面

Nuanced

Nuanced 是 YC W24的一個項目，其專注于檢測圖像領(lǐng)域的 AI欺詐、深度偽造和虛假信息。幫助約會應(yīng)用程序、廣告平臺、市場和新聞網(wǎng)站等公司保持信任和真實性。

Ayman 是 Nuanced 的聯(lián)合創(chuàng)始人兼首席執(zhí)行官，她曾在在 GitHub 工作了7年多，其碩士就讀于牛津大學(xué)計算機專業(yè)，論文研究涉及創(chuàng)建一種用于惡意軟件檢測的新型機器學(xué)習(xí)技術(shù)。

Nuanced 旗幟鮮明的表示，雖然 Meta 和 OpenAI 等大型企業(yè)正在采用水印的方式檢測 AI 生成內(nèi)容，但只靠這種方式存在局限性。Nuanced 在Dalle-3、Midjourney 和 SDXL等不同圖像生成架構(gòu)進行訓(xùn)練，并不斷集成來自最新 AI 圖像生成器的數(shù)據(jù)。針對最新的由 SD3生成的示例，Nuanced 的準確率達到了97%。

Nuanced 內(nèi)容檢測示例

AI 圖像的檢測重要性被社交媒體平臺提到了新的高度。在 Meta 推出的第一個版本的檢測中，用戶發(fā)布 AI 生成的內(nèi)容后，平臺算法會給內(nèi)容打上一個 “Made with AI”（使用AI制作）的標簽，但由于用戶投訴 Meta 將一些真實的內(nèi)容錯誤的判定為 AI 制作，Meta 近期將該標簽改為了更模糊的 “AI Info”標簽。

Meta 錯誤的將 Cosplay 內(nèi)容判定為 AI 制作;

目前將 “Made with AI” 標簽調(diào)整為“AI Info”標簽

Nuanced 致力于幫助這些平臺更精細的識別 AI 生成的內(nèi)容，例如使用 PS生成填充功能進行的細微編輯被錯誤地標記為 AI的內(nèi)容，消除 AI 增強、AI 生成和AI 修復(fù)之間的歧義。

05.

了解我們網(wǎng)上看到和聽到的內(nèi)容來源

8月5日，OpenAI 在新修訂的一篇博客文章《了解我們在網(wǎng)上看到和聽到的內(nèi)容的來源》中透露，它一直在研究使用分類器、水印和元數(shù)據(jù)來識別人工智能創(chuàng)造的產(chǎn)品。《華爾街日報》的一篇報道稱，“OpenAI 有一種方法可以可靠地檢測出何時有人使用 ChatGPT 撰寫論文或研究論文”——準確率為99.9%。但OpenAI還沒有發(fā)布它?！?/p>

從目前的博客內(nèi)容來看，OpenAI 在文本領(lǐng)域做了廣泛的研究，并探討出了分類器、水印和元數(shù)據(jù)等解決方案。其中將元數(shù)據(jù)用作文本來源方法的有效性還比較早期，但非常有前景，和水印不同，元數(shù)據(jù)是經(jīng)過加密簽名的，這意味著不會出現(xiàn)誤報。

文本水印方案在抵御局部篡改（例如釋義）方面具有很高的準確性，但是對全局篡改的防御能力較弱。同時文本水印方法可能會對一些非英語母語人士產(chǎn)生不成比例的影響。

在檢測 AI 圖像內(nèi)容的研究中，相比 OpenAI 五月份的研究，也取得了新的進展。在早前時候，OpenAI 通過 C2PA 元數(shù)據(jù)（一種數(shù)字內(nèi)容標準）來標記和識別圖像，但是當(dāng)圖像進行一些微小的修改，就可能會擾亂工具的可靠性。而在最新研究中，OpenAI 可以保證用戶編輯、操作和修改時的詳細信息，跟蹤和顯示圖像的整個歷史記錄。

OpenAI 使用可追蹤的水印記錄圖像歷史

在音頻水印方面，雖然 OpenAI 已經(jīng)將水印功能整合到了我們的自定義語音模型 Voice Engine 中，但他們認為目前該模型仍處在有限的研究預(yù)覽階段。

未來，了解我們網(wǎng)上看到和聽到的內(nèi)容來源至關(guān)重要，AI 模型層公司、社交媒體、金融科技平臺、新聞媒體、身份驗證等領(lǐng)域玩家都會為 AI 內(nèi)容的審核和判定貢獻力量。

隨著 AI 生成能力的進一步加強，以假亂真的內(nèi)容會越來越多，識別互聯(lián)網(wǎng)信息來源和真實性的需求會一直存在。這場“AI版貓鼠游戲”會持續(xù)上演。

以上就是關(guān)于【AI領(lǐng)域的《貓鼠游戲》，盤點那些打假“AI內(nèi)容”的強大產(chǎn)品，這款檢測器已經(jīng)突破400萬用戶】的相關(guān)內(nèi)容，希望對大家有幫助！