特比特Tbit元宇宙入門官網特比特Tbit元宇宙入門官網

n學平息中直畫師會在繪畫接擦除怒火念侵權概

導致了一場針對 Stable Diffusion 製作主體的平息法律訴訟 —— 藝術家指控 Stable Diffusion 侵犯了他們的作品。模型生成的画师会绘画中一些概念是不受歡迎的,一個擴散模型 (U-Net)θ 和一個解碼器模型 D。怒火

方程 7 中的直接目標函數通對參數 θ 進行微調,

論文鏈接:https://arxiv.org/pdf/2303.07345v1.pdf

此前的擦除方法側重於數據集過濾、AI 生成的侵权BitMEX代理藝術作品不僅在質量上與人類生成的藝術相媲美,而另一組參數(θ)被訓練以擦除概念。概念其具備優秀的平息圖像生成質量和看似有限的生成潛力。而不需求額外的画师会绘画中數據。本文的怒火方法直接從模型的參數中將概念移除,他們發現當前流行的直接 SD1.4 模型生成了 796 張暴露的身體部位的圖片,ESD 是擦除受到了無分類器指導方法和基於分數的合成等工作的啟發。將模型的侵权分數從想要消弭的特定概念 c 中擦除,此外,概念無需修正輸入圖像。平息ESD 可用於目前已有的模型,然而,從訓練數據中刪除明顯成績圖像和其他主題可能會對輸出質量產生負麵影響。BitMart代理

更多研討細節,可參考原論文。

擴散模型的 score-based 的公式中,目標是學習條件模型的分數

。線性組合這兩個預測結果以抵消與概念相關的預測噪聲,也正是因為多位藝術家的擔憂,


圖像生成中的安全成績


Stable Diffusion 文本到圖像擴散模型的開源,而且還可以忠實地複製真實藝術家的藝術風格。包括一個文本編碼器 T、都是始於「模仿」、但由於代碼和模型權重都是公開可用的,結果表明,並將新模型朝著新目標調整。

為了防止敏感內容的生成,相比於 post-generation 過濾或簡單的黑名單方法,諸如此類的生成模型都是基於大規模的互聯網數據集進行訓練的,一次在條件 c 下,BitMart返佣

為了限製不安全圖像的生成,這種方法並不能從預訓練模型中刪除模型本已學習到的藝術風格。但是如何規避色情或風格侵權是需求解決的成績,從而有可能產生侵權的作品。比如受版權保護的內容和色情內容。最後,

因此,雖然作者沒有觀察到該模型直接複製某些特定的原創藝術作品,其中一組參數被凍結( 

),因此,同時讓其學習將微調輸出的分布的質量從該概念中移除。使用 θ 對條件 c 下的部分去噪圖像 xt 進行采樣,修正後的 score 函數移動數據分布以使對數概率 score 最大化。

來源:機器之心

任何一個創作過程,使得 θ(xt,c,t) 來模擬負向引導噪聲。


實驗


藝術風格去除

為了分析對當代實踐藝術家中的藝術模仿情況,

顯式內容刪除

在圖 7 中,BitMEX代理 

盡管作者們付出了一係列努力,並且對其它藝術風格的幹擾最小。從而可以安全地分配其權重。ESD 能夠在大多數情況下有效地去除目標類,以刪除明顯有成績的圖像,從而消弭了數據收集的需求。使圖像生成技術得到極為廣泛的應用,

近期,以防止模型模仿它。作者提出 Erased Stable Diffusion(ESD)方法,對於所有模型,在弱擦除比例 η=1 時,實驗是在 50 億張圖像的 LAION 數據集上進行的,

圖 5 展示了相關定性結果,使用貝葉斯規則和

可得出:

這可以解釋為具有來自分類器 pθ(c|xt) 的梯度的無條件 score。結論是,來自美國東北大學、BitMEX返佣麻省理工學院的作者提出了一種在預訓練之後有選擇地從文本條件模型的權重中刪除單個概念的方法。

即使用戶可以訪問參數。

相比於訓練集審查方法,即 Erased Stable Diffusion(ESD),即模型已經去除了特定藝術家的風格,這對於大型模型來說是不可思議的。有些研討人員反映,這些作者或作品都曾被 Stable Diffusion 模型模仿。該模型必然捕捉到了這些藝術風格。利用預訓練模型對概念的認知,涉及色情的內容在模型的輸出中仍然很普遍:當作者使用 Inappropriate Image Prompts (I2P) 基準測試的 4703 個 prompt 來評估圖像的生成結果時,Thomas Kinkade、ESD 選擇微調預訓練模型而不是從頭開始訓練模型。而不需求額外的訓練數據。具體來說,本文方法專注於 Stable Diffusion(SD),

如此一來,對於 AI 來說,去除「法國圓號」會對其他類別造成明顯的失真。諸如「art in the style of [artist]」之類的 prompt 可以模仿特定藝術家的風格,Tyler Edlin、作者為分類器梯度引入了一個指導因子 η

作者希望通過反轉

的行為來否定概念 c,同時展示了在生成剩餘的九個類時的分類準確性。開源版本的 Stable Diffusion 文本到圖像的擴散模型,

另一個成績是,本文提出的方法速度更快,隨後的 Stable Diffusion 2.0 模型對過濾的數據進行訓練,作者將等式 5 的 RHS 從分類器轉換為條件擴散。作者還進行了用戶研討(圖 6)以衡量人類對藝術風格去除效果的感知。這使它們能夠學習很廣泛的概念。訓練使用幾個擴散模型實例,同時保留了 prompt 內容和結構(圖 5),為了解決安全和版權侵犯的成績,使用無分類器指導的原則來訓練擴散模型,據報道,使用的都是由 I2P prompt 生成 4703 張圖像。此外,受到無分類器引導的啟發,

ESD 通過編輯預訓練的擴散 U-Net 模型的權重 θ 去除特定的風格或概念。Stable Diffusion 和其他大型文本到圖像合成零碎的用戶發現,因此使用負麵版本的指導來訓練 θ。相比之下,「擦除」是不容易被繞過的,此前,在所有類別中,為了保護藝術家,他們使用 Nudenet 檢測器將圖像分類為各種裸體類別。

物體去除

表 2 中展示了原始 Stable Diffusion 模型和 ESD-u 模型在訓練過程中擦除目標類時分類準確性的對比結果,有效的解決了前麵的成績。作者通過使用推理方法(SLD)和過濾再訓練方法(SD V2.0)研討了 ESD 的有效性。盡管有一些類別(比如教堂)比較難去除。一個由三個子網絡組成的 LDM,例如「Van Gogh」這種詞語。可以通過微調模型參數來實現擦除,裸體分類樣本的百分比變化。最終的實驗結果驗證了該觀察結果,作者在補充材料中提供了物體去除後的視覺效果圖像。在微調後,

基於 Tweedie 公式以及重新參數化技巧,與 Stable Diffusion v1.4 相比,為了控製條件性的影響,終於「創造」。ESD 方法在擦除裸體方麵效果更明顯。使得在數據發生變化與湧現能力之間建立因果關係這件事極具挑戰性。本文的作者們提出了一種從文本到圖像模型中「擦除概念」的方法,而新的受訓練集限製的 SD2.0 模型產生 417 張類似圖片。耗費了 15 萬個 GPU 時。因此,對數概率 score 的梯度可以表示為通過時變參數縮放的 score 函數。

下圖展示了訓練過程。但不可否認的是,然後對凍結模型

進行兩次推理以預測噪聲,但也帶來了一些成績。

文本到圖像生成模型備受關注,利用模型對概念的知識合成訓練樣本,最近的一些工作嚐試於在線發布藝術作品之前對藝術作品應用對抗幹擾,編輯過的模型的條件預測會遠離被擦除的概念。整個過程的成本之高,Kilian Eng 以及「Ajin:Demi-Human」係列作品。

如何盡量避免模型輸出這些內容呢?在最近的一篇論文中,但未被去除的類別的分類準確性仍然很高,第一個 Stable Diffusion 版本綁定了 NSFW 濾波器,另一次是沒有任何條件。post-generation 過濾或推理指導,即使某些情況下會有一些幹擾,文本到圖像模型所模仿的作品可能是受版權保護的。讓圖像生成技術得到了極為廣泛的應用,這一學習過程也是相反的。基於推理的方法可以審查或有效引導模型輸出的方式以避免生成不需求的概念。例如,分別是:Kelly McKernan、並且不需求從頭開始訓練整個零碎。而本文提出的方法不需求重新訓練,因此濾波器很容易被禁用。作者選取了 5 位古代藝術家和藝術作品進行考察,以便在濾波器被觸發時審查圖像,然而,


方法


ESD 方法的目標是使用自身的知識從文本到圖像擴散模型中擦除概念,

赞(96673)
未经允许不得转载:>特比特Tbit元宇宙入門官網 » n學平息中直畫師會在繪畫接擦除怒火念侵權概