1. 條件(Condition)
在擴(kuò)散模型中,條件是預(yù)先設(shè)定的信息,用于指導(dǎo)模型生成符合特定需求的結(jié)果。例如,如果我們想要生成一張?zhí)囟L(fēng)格的圖像,就可以通過設(shè)定條件來限定圖像的風(fēng)格。在實(shí)際應(yīng)用中,條件可以是類別標(biāo)簽、風(fēng)格參數(shù),甚至是一段文本描述。
條件通常在模型訓(xùn)練階段和生成階段都會(huì)用到。在訓(xùn)練階段,模型需要根據(jù)輸入的數(shù)據(jù)和對(duì)應(yīng)的條件一起進(jìn)行學(xué)習(xí);在生成階段,模型則會(huì)根據(jù)設(shè)定的條件生成對(duì)應(yīng)的結(jié)果。
2. 指導(dǎo)(Guidance)
與條件不同,指導(dǎo)通常用于在模型生成過程中提供額外的局部信息,以指導(dǎo)模型生成具有特定局部特性的結(jié)果。例如,在圖像編輯任務(wù)中,我們可以通過設(shè)定指導(dǎo)來指導(dǎo)模型在圖像的特定區(qū)域內(nèi)進(jìn)行修改。
指導(dǎo)通常在模型的生成階段使用,而在訓(xùn)練階段不需要。當(dāng)模型在生成過程中遇到不確定性時(shí),可以通過引入指導(dǎo)來幫助模型做出決策。
延伸閱讀
條件生成模型與指導(dǎo)生成模型
在深度學(xué)習(xí)的生成模型中,條件生成模型和指導(dǎo)生成模型是兩種常見的模型類型,它們分別對(duì)應(yīng)了擴(kuò)散模型中的condition和guidance。
條件生成模型通常通過在模型輸入中加入條件信息,來生成滿足特定條件的數(shù)據(jù)。比如條件生成對(duì)抗網(wǎng)絡(luò)(CGAN),在輸入噪聲數(shù)據(jù)的同時(shí),還加入了類別標(biāo)簽作為條件,從而可以生成指定類別的圖像。
指導(dǎo)生成模型則通過在模型生成過程中加入指導(dǎo)信息,來生成具有特定局部特性的數(shù)據(jù)。比如畫風(fēng)遷移(style transfer)任務(wù)中,模型在生成過程中需要同時(shí)考慮內(nèi)容圖像和風(fēng)格圖像的信息,從而生成具有指定風(fēng)格的圖像。
這兩種模型類型雖然方法不同,但目標(biāo)都是通過某種方式控制模型的生成結(jié)果,使其滿足用戶的特定需求。在實(shí)際應(yīng)用中,根據(jù)任務(wù)的特性和需求,可能會(huì)選擇使用條件生成模型、指導(dǎo)生成模型,或者兩者的結(jié)合。