環(huán)球最新：人工智能文本轉(zhuǎn)圖像模型 Deforum Stable Diffusion 動(dòng)畫教程

之前寫了一篇人工智能文本轉(zhuǎn)圖像模型 Stable Diffusion 入門教程，主要講解了使用 Stable Diffusion 通過(guò)文本生成圖像的操作方法，重點(diǎn)講解了?Stable Diffusion WebUI 1.4?和?pharmapsychotic Stable Diffusion?兩個(gè)版本的使用方式，今天為大家介紹一下?Deforum Stable Diffusion v0.5，重點(diǎn)講解如何使用 Deforum Stable Diffusion 制作動(dòng)畫視頻。

(資料圖片)

Deforum Stable Diffusion v0.5?是由?Deforum 團(tuán)隊(duì)制作的一個(gè)支持動(dòng)畫視頻功能的 Google Colab 版的 Stable Diffusion，可以通過(guò) Google Colab 在線運(yùn)行，也可以部署到本地運(yùn)行。Deforum 支持生成圖片、動(dòng)畫視頻，支持添加參考圖、參考視頻，與之前介紹過(guò)的幾個(gè)版本相比，它的功能更為全面，也包含一些新的小功能，即使不是為了制作動(dòng)畫，Deforum 也是一個(gè)很好的選擇。

Deforum Stable Diffusion v0.5 支持 2D、3D、Video Input 和 Interpolation 四種動(dòng)畫模式，下面就逐一進(jìn)行講解，最后講解文本轉(zhuǎn)圖像、圖像轉(zhuǎn)圖像等基礎(chǔ)功能。因?yàn)橹虚g穿插了一些知識(shí)點(diǎn)，建議仔細(xì)閱讀全文。

準(zhǔn)備工作

在 Google Colab 平臺(tái)使用 Stable Diffusion 需要調(diào)用官方模型，也就是「sd-v1-4.ckpt」這個(gè)文件（目前的版本），如果你之前在 Google Colab 成功運(yùn)行過(guò)任意版本的 Stable Diffusion，那么這個(gè)模型就已經(jīng)成功下載到你的谷歌云盤了，可以直接運(yùn)行 Deforum Stable Diffusion；如果你之前沒(méi)有使用 Google Colab 運(yùn)行過(guò) Stable Diffusion，請(qǐng)參考人工智能文本轉(zhuǎn)圖像模型 Stable Diffusion 入門教程內(nèi)的「04.01.-04.14.」成功運(yùn)行一遍 Stable Diffusion WebUI 1.4?自動(dòng)下載「sd-v1-4.ckpt」文件或參考教程內(nèi)的「05.01.-05.06.」手動(dòng)下載「sd-v1-4.ckpt」文件并上傳至谷歌云盤。

入門教程

1.?打開(kāi)?Deforum Stable Diffusion v0.5（https://colab.research.google.com/github/deforum/stable-diffusion/blob/main/Deforum_Stable_Diffusion.ipynb），若未自動(dòng)登錄谷歌賬號(hào)請(qǐng)點(diǎn)擊頁(yè)面右上角「登錄」按鈕，登入你的谷歌賬號(hào)。

2.?點(diǎn)擊「復(fù)制到云端硬盤」或點(diǎn)擊「文件」選擇「在云端硬盤中保存一份副本」。

3. 副本創(chuàng)建完成會(huì)自動(dòng)打開(kāi)新的標(biāo)簽頁(yè)或出現(xiàn)「筆記本的副本已完成」彈窗，點(diǎn)擊「在新標(biāo)簽頁(yè)中打開(kāi)」。

4. 點(diǎn)擊「“Deforum_Stable_Diffusion.ipynb”的副本」修改筆記本名稱（可按創(chuàng)作主題或其他方式命名，方便后期修改和區(qū)分，之后可以通過(guò)云盤的這個(gè)副本文件直接運(yùn)行程序）。

5.?點(diǎn)擊頁(yè)面右上角「連接」按鈕連接?GPU，連接成功后此位置會(huì)顯示「RAM 磁盤」字樣和容量。

6.?點(diǎn)擊「Setup」前方的小三角收起單元格，點(diǎn)擊「已隱藏5個(gè)單元格」前方的圓形按鈕運(yùn)行「Setup」。

7. 彈出「允許此筆記本訪問(wèn)您的 Google 云端硬盤文件嗎？」的窗口，點(diǎn)擊「連接到 Google 云端硬盤」。

8. 彈出「登錄 - Google 賬號(hào)」窗口，選擇你的谷歌賬號(hào)，點(diǎn)擊「允許」。

9. 「已隱藏5個(gè)單元格」前方的圓形按鈕開(kāi)始轉(zhuǎn)圈表示正在運(yùn)行準(zhǔn)備程序，等待幾分鐘后圓圈停止轉(zhuǎn)動(dòng)表示運(yùn)行完畢。

2D 動(dòng)畫教程

10.1.1. 參考下圖設(shè)置2D動(dòng)畫參數(shù)，設(shè)置完成后點(diǎn)擊「Animation」前方的圓形按鈕運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

上圖為 2D 動(dòng)畫使用的主要參數(shù)，其中也包含一些通用參數(shù)，我先對(duì)一些概念簡(jiǎn)單做一下說(shuō)明。

幀率，就是每秒播放多少幀畫面，生成的每一張圖就是一幀，Deforum 的默認(rèn)幀率是每秒 12 幀，這也是常規(guī)定格動(dòng)畫的幀率，最低可以設(shè)置為每秒 8 幀，再低可能畫面就不太連貫了，電影常用的幀率是每秒 24 幀，電視劇和綜藝節(jié)目常用的幀率為每秒 25 幀或每秒 30 幀，目前每秒 30 幀的幀率應(yīng)該是比較普遍的標(biāo)準(zhǔn)，通常意義來(lái)講，幀率越高畫面越流暢，所以有些高畫質(zhì)的電影或游戲也常用每秒 60 幀或每秒 120 幀的幀率。

回到 Deforum，假如你要制作一個(gè)時(shí)長(zhǎng) 10 秒的動(dòng)畫，采用 12 幀/秒需要生成 120 張圖片，采用 24 幀/秒需要生成 240 張圖片，采用 30 幀/秒需要生成 300 張圖片，采用 60 幀/秒需要生成 600 張圖片。按我上圖中的參數(shù)設(shè)置，生成一個(gè)時(shí)長(zhǎng) 10 秒 12 幀/秒的尺寸為 1024x512 的動(dòng)畫視頻用時(shí) 40 分鐘左右（使用的是 T4 GPU），更高的幀率意味著更長(zhǎng)的渲染時(shí)間，所以我建議使用12幀/秒，如果要求高一點(diǎn)可以采用 25 幀/秒或 30 幀/秒，最好提前預(yù)估一下渲染時(shí)長(zhǎng)是否可以接受。

雖然幀率是渲染完成后可以隨意更改的，因?yàn)殇秩就瓿珊竽愕玫降氖且欢研蛄袌D片，可以按任意幀率生成視頻，但還是建議提前計(jì)劃好幀率，計(jì)算好總幀數(shù)，然后按照總幀數(shù)設(shè)置動(dòng)畫關(guān)鍵幀。因?yàn)殇秩就瓿珊笮薷膸蕰?huì)導(dǎo)致時(shí)長(zhǎng)發(fā)生變化，那么動(dòng)畫就會(huì)加速或者減速，可能會(huì)影響觀感。

關(guān)鍵幀，2D 和 3D 動(dòng)畫采用的都是關(guān)鍵幀動(dòng)畫，參數(shù)欄中包含「0:(0)」如此格式的參數(shù)都可以設(shè)置關(guān)鍵幀，前面的數(shù)字表示幀數(shù)，括號(hào)中的數(shù)字表示具體參數(shù)。示例，translation_x: 0:(0), 50:(2), 100:(2), 119:(-8)，關(guān)鍵幀參數(shù)需用逗號(hào)隔開(kāi)，關(guān)鍵幀需從小到大依序排列，例如「0:(0), 50:(2)」表示第 0 幀鏡頭向左移動(dòng)0像素，第 1 幀鏡頭向左移動(dòng) 0.04 像素，第 2 幀鏡頭向左移動(dòng) 0.08 像素，第 3 幀鏡頭向左移動(dòng) 0.12 像素...第 25 幀鏡頭向左移動(dòng) 1 像素...第 50 幀鏡頭向左移動(dòng) 2 像素，例如「50:(2), 100:(2)」表示第 50 幀至第 100 幀每一幀鏡頭都向左移動(dòng) 2 像素，總結(jié)就是前后兩個(gè)括號(hào)內(nèi)的數(shù)字不同為遞增或遞減的變速運(yùn)動(dòng)，前后兩個(gè)括號(hào)內(nèi)的數(shù)字相同為勻速運(yùn)動(dòng)。

注意幀數(shù)是從第 0 幀開(kāi)始命名的，所以一個(gè)總幀數(shù)為 120 幀的動(dòng)畫其幀數(shù)是從第 0 幀到第 119 幀，如果末尾也有動(dòng)畫效果最后一個(gè)關(guān)鍵幀需要設(shè)置在第 119 幀。如果一個(gè)參數(shù)只設(shè)置了第 0 幀的參數(shù)，那么全程每一幀都會(huì)保持第 0 幀的運(yùn)動(dòng)方式，比如 zoom: 0:(1.04) 表示每一幀都放大 1.04 倍。

注意上圖中的參數(shù)運(yùn)動(dòng)方式我是以鏡頭為標(biāo)準(zhǔn)進(jìn)行注釋的，鏡頭的運(yùn)動(dòng)方向和畫面的運(yùn)動(dòng)方向是相反的，我是假設(shè)有一個(gè)攝像機(jī)對(duì)著畫面，注釋的運(yùn)動(dòng)軌跡為攝像機(jī)的運(yùn)動(dòng)軌跡。

上圖中 flip_2d_perspective 為 2D 模擬 3D 運(yùn)動(dòng)的 2.5D 效果，勾選后生效，有 4 個(gè)參數(shù)可調(diào)，我簡(jiǎn)單試驗(yàn)了一下，效果有點(diǎn)迷惑，不太好描述，就沒(méi)有做解釋，一般不需要啟用這個(gè)功能，有興趣的可以自己摸索一下。

上圖中 strength_schedule 為參考強(qiáng)度，2D 和 3D 動(dòng)畫每一幀都是以前一幀為參考圖配合動(dòng)態(tài)參數(shù)進(jìn)行渲染的，strength_schedule 的范圍是 0-1，當(dāng)設(shè)置為 0 時(shí)即為每一幀都不參考前一幀，假如總步數(shù)為 50 那么每一幀都會(huì)使用 prompt 渲染 50 步，所以畫面的變化會(huì)非常大，無(wú)法做到連貫，當(dāng)設(shè)置為 1 時(shí)，隨著幀數(shù)的變化畫質(zhì)會(huì)越來(lái)越差，設(shè)置為 0.2 時(shí)會(huì)使用 prompt 渲染 40 步，設(shè)置為 0.5 時(shí)會(huì)使用 prompt 渲染 25 步，設(shè)置為 0.8 時(shí)會(huì)使用 prompt 渲染 9 步，值越大每幀畫面越靠近前一幀，但是過(guò)大畫面會(huì)逐漸失去細(xì)節(jié)變模糊，值越小畫面越清晰，但是過(guò)小畫面變化會(huì)過(guò)大導(dǎo)致畫面不連貫，因此建議將此參數(shù)設(shè)置在?0.55-0.65左右。

2D 動(dòng)畫只需要設(shè)置上圖中有注釋的參數(shù)即可，其他功能無(wú)需設(shè)置，大部分功能即使設(shè)置了在 2D 模式下也不會(huì)生效。

10.1.2.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，這里就是設(shè)置從多少幀開(kāi)始更換 prompt，以下圖為例，從第 0 幀至第 49 幀會(huì)使用第一個(gè) prompt 進(jìn)行渲染，從第 50 幀至最后一幀會(huì)使用第二個(gè) prompt 進(jìn)行渲染，prompts 的數(shù)量沒(méi)有限制，可根據(jù)需要設(shè)置，注意按幀數(shù)從小到大依次填寫，注意保持格式，不要漏掉引號(hào)或逗號(hào)等內(nèi)容（上方的 prompts 為圖片的 prompts，在動(dòng)畫模式下不會(huì)生效，不用管）。設(shè)置完成后點(diǎn)擊「prompts」前方的圓形按鈕運(yùn)行「prompts」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.1.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費(fèi)用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過(guò)大會(huì)導(dǎo)致顯存不足報(bào)錯(cuò)；使用隨機(jī)種子每次運(yùn)行生成的效果都不太一樣，不利于動(dòng)畫的修改，建議先使用第一個(gè) prompt 跑出一張滿意的圖作為第 0 幀，然后使用這張圖的種子，種子模式設(shè)置為 iter 后整個(gè)動(dòng)畫每一幀的種子就是在前一幀的基礎(chǔ)上加 1，是一串固定的種子，這樣方便對(duì)動(dòng)畫效果進(jìn)行調(diào)整，但需要注意的是即使是一串固定的種子，也可能會(huì)由于參數(shù)的一些調(diào)整造成畫面有一些明顯的變化，這是不可避免的，如果想保持之前的狀態(tài)進(jìn)行微調(diào)，請(qǐng)注意參數(shù)的調(diào)整幅度要小一點(diǎn)，否則會(huì)大變樣；共有 8 種采樣模式可供選擇，相同的 prompt 使用不同的采樣模式效果略有差異，據(jù)說(shuō)每個(gè)模式在特定的主題下會(huì)產(chǎn)生比較好的結(jié)果，大家可以自行嘗試一下，個(gè)人體驗(yàn)是使用 euler_ancestral 模式在大部分主題下都能產(chǎn)生比較不錯(cuò)的畫面效果和比較好的畫質(zhì)，所以推薦大家使用這個(gè)模式制作動(dòng)畫視頻；種子共有三種模式，分別是 iter、fixed 和 random，iter 模式上面介紹過(guò)了，fixed 就是從頭到尾每一幀都使用相同的種子，不適合運(yùn)動(dòng)畫面，random 就是隨機(jī)種子，但是如果指定了第 0 幀的種子，那么雖然是一串隨機(jī)的種子但是每次重新運(yùn)行都還會(huì)是相同的一串隨機(jī)種子，所以選擇 random 制作 2D 動(dòng)畫也是可以的。 設(shè)置完成后點(diǎn)擊「Load Settings」前方的圓形按鈕運(yùn)行「Run」，就開(kāi)始逐幀渲染圖片了。

10.1.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開(kāi)始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，每一幀渲染完成后都會(huì)依次顯示在此處，圖片下方顯示的是正在渲染中的圖片參數(shù)，包括幀數(shù)、種子值、文本描述、各項(xiàng)動(dòng)態(tài)參數(shù)和渲染進(jìn)度及渲染時(shí)間等信息，過(guò)程中注意保持網(wǎng)絡(luò)連接通暢，若發(fā)現(xiàn)網(wǎng)絡(luò)中斷，比如單元格前方的按鈕變成紅色，或者頁(yè)面右上角顯示正在分配、重新連接等字樣，先不要慌張，請(qǐng)先確認(rèn)你的網(wǎng)絡(luò)連接是否正常，如果正常，可以在頁(yè)面空白處點(diǎn)擊幾下，滑動(dòng)一下頁(yè)面，通常會(huì)自動(dòng)恢復(fù)連接，如果網(wǎng)絡(luò)連接正常但網(wǎng)頁(yè)顯示不正常，請(qǐng)先查看云端硬盤是否有新的圖片生成，如果有也不用處理，稍后網(wǎng)頁(yè)會(huì)恢復(fù)正常，如果網(wǎng)絡(luò)確認(rèn)中斷了，請(qǐng)及時(shí)重新連接網(wǎng)絡(luò)，網(wǎng)絡(luò)正常后點(diǎn)擊頁(yè)面右上角「重新連接」重新連接 GPU，一般短暫的網(wǎng)絡(luò)中斷重新連接后也會(huì)自動(dòng)恢復(fù)正常，如果重新連接后無(wú)法繼續(xù)渲染可以使用 Resume Animation 功能接著渲染，這個(gè)功能我在下文講解。全部渲染完成后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.1.5.?取消勾選「skip_video_for_run_all和?render_steps」后點(diǎn)擊「skip_video_for_run_all」前方的圓形按鈕，就開(kāi)始通過(guò)序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運(yùn)行該單元格即可，生成的視頻會(huì)展示在此單元格下方，也會(huì)自動(dòng)保存在相應(yīng)的文件夾里。生成完畢后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，如果下方仍然沒(méi)有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.1.6. 如果對(duì)效果不滿意可以重新修改參數(shù)，修改過(guò)參數(shù)的單元格都需要重新運(yùn)行一遍，點(diǎn)擊單元格前方的圓形按鈕運(yùn)行即可，參數(shù)修改完畢并重新運(yùn)行后，重新運(yùn)行「Run」單元格就開(kāi)始重新渲染了，渲染過(guò)程中發(fā)現(xiàn)不滿意可以隨時(shí)點(diǎn)擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運(yùn)行「Run」，重新渲染的圖片和之前的圖片會(huì)保存在同一個(gè)文件夾內(nèi)，如果想分開(kāi)保存可以修改 batch_name 后再運(yùn)行「Run」，這樣重新渲染的圖片會(huì)保存在新的文件夾里。

10.1.7. 由于 GPU 的限制我們可能無(wú)法直接生成大尺寸的圖片和視頻，所以動(dòng)畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過(guò)?Real-ESRGAN或者?Topaz Gigapixel AI等工具對(duì)序列圖片進(jìn)行智能放大，然后再通過(guò) AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。如果不進(jìn)行后期放大和加工你就只能得到一個(gè) 1024x512 左右的小視頻咯。使用 Real-ESRGAN 可以參考我的盲圖像超分辨率模型 Real-ESRGAN 使用教程，Topaz Gigapixel AI?是一個(gè)電腦軟件，大家可以下載后直接根據(jù)界面提示操作。

上方為我使用前文參數(shù)生成的 2D 動(dòng)畫視頻，我用 Topaz Gigapixel AI 將視頻尺寸從 1024x512 放大至了 2560x1280，因?yàn)槭菫榻坛讨谱鞯膭?dòng)畫，所以時(shí)長(zhǎng)較短，運(yùn)動(dòng)范圍略大，如果幀數(shù)多一些畫面會(huì)更加流暢，內(nèi)容也會(huì)更連貫。（平臺(tái)壓縮了畫質(zhì)）

3D 動(dòng)畫教程

10.2.1. 參考下圖設(shè)置 3D 動(dòng)畫參數(shù)，設(shè)置完成后點(diǎn)擊「Animation」前方的圓形按鈕運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

上圖為 3D 動(dòng)畫使用的主要參數(shù)，圖中未列出參數(shù)對(duì) 3D 動(dòng)畫不起作用，2D 動(dòng)畫的 zoom 縮放功能由 translation_z 前后移動(dòng)代替，前后移動(dòng)同時(shí)也就起了放大縮小的效果，fov為視場(chǎng)，值越大運(yùn)動(dòng)幅度越小，透視形變?cè)叫?，我這里使用的是默認(rèn)值 40，大家可以看我后面的視頻體會(huì)一下效果，fov 值不可為 0，建議?40-100左右，未作說(shuō)明的參數(shù)建議使用默認(rèn)值。

10.2.2.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，這里就是設(shè)置從多少幀開(kāi)始更換 prompt，prompt 的數(shù)量沒(méi)有限制，可根據(jù)需要設(shè)置，注意按幀數(shù)從小到大依次填寫，注意保持格式，不要漏掉引號(hào)或逗號(hào)等內(nèi)容（上方的 prompts 為圖片的 prompts，在動(dòng)畫模式下不會(huì)生效，不用管）。設(shè)置完成后點(diǎn)擊「prompts」前方的圓形按鈕運(yùn)行「prompts」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.2.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費(fèi)用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過(guò)大會(huì)導(dǎo)致顯存不足報(bào)錯(cuò)。設(shè)置完成后點(diǎn)擊「Load Settings」前方的圓形按鈕運(yùn)行「Run」，就開(kāi)始逐幀渲染圖片了。

10.2.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開(kāi)始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，每一幀渲染完成后都會(huì)依次顯示在此處，圖片下方顯示的是正在渲染中的圖片參數(shù)，包括幀數(shù)、種子值、文本描述、各項(xiàng)動(dòng)態(tài)參數(shù)和渲染進(jìn)度及渲染時(shí)間等信息，全部渲染完成后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.2.5.?取消勾選「skip_video_for_run_all和?render_steps」后點(diǎn)擊「skip_video_for_run_all」前方的圓形按鈕，就開(kāi)始通過(guò)序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運(yùn)行該單元格即可，生成的視頻會(huì)展示在此單元格下方，也會(huì)自動(dòng)保存在相應(yīng)的文件夾里。生成完畢后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，如果下方仍然沒(méi)有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.2.6. 如果對(duì)效果不滿意可以重新修改參數(shù)，修改過(guò)參數(shù)的單元格都需要重新運(yùn)行一遍，點(diǎn)擊單元格前方的圓形按鈕運(yùn)行即可，參數(shù)修改完畢并重新運(yùn)行后，重新運(yùn)行「Run」單元格就開(kāi)始重新渲染了，渲染過(guò)程中發(fā)現(xiàn)不滿意可以隨時(shí)點(diǎn)擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運(yùn)行「Run」，重新渲染的圖片和之前的圖片會(huì)保存在同一個(gè)文件夾內(nèi)，如果想分開(kāi)保存可以修改 batch_name 后再運(yùn)行「Run」，這樣重新渲染的圖片會(huì)保存在新的文件夾里。

10.2.7. 由于 GPU 的限制我們可能無(wú)法直接生成大尺寸的圖片和視頻，所以動(dòng)畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過(guò)?Real-ESRGAN或者?Topaz Gigapixel AI等工具對(duì)序列圖片進(jìn)行智能放大，然后再通過(guò) AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。如果不進(jìn)行后期放大和加工你就只能得到一個(gè) 1024x512 左右的小視頻咯。使用 Real-ESRGAN 可以參考我的盲圖像超分辨率模型 Real-ESRGAN 使用教程，Topaz Gigapixel AI?是一個(gè)電腦軟件，大家可以下載后直接根據(jù)界面提示操作。

上方為我使用前文參數(shù)生成的 3D 動(dòng)畫視頻，我用 Real-ESRGAN 將視頻尺寸從 1024x512 放大至了 2560x1280，noise_schedule 設(shè)置成了 0.04 對(duì)這個(gè)視頻來(lái)說(shuō)可能有一點(diǎn)點(diǎn)略高，直出的圖片噪點(diǎn)稍微有一點(diǎn)點(diǎn)多，用 Real-ESRGAN 放大后把噪點(diǎn)都自動(dòng)處理掉了，畫面干凈了許多。（平臺(tái)壓縮了畫質(zhì)）

Video Input 參考視頻動(dòng)畫教程

10.3.1. 參考視頻動(dòng)畫需要先將參考視頻上傳至谷歌云盤或者 Google Colab，建議上傳至谷歌云盤，因?yàn)樵票P上傳速度比較快，另外就是上傳到 Google Colab 是一次性的，如果中間網(wǎng)絡(luò)中斷或是一次沒(méi)有做完想下次接著做就需要重新上傳一次。登錄你的谷歌云盤，新建一個(gè) init 文件夾或者打開(kāi)任意文件夾，將你的參考視頻上傳至這個(gè)文件夾內(nèi)。（請(qǐng)先將參考視頻的畫面比例調(diào)整至輸出視頻的畫面比例，否則參考視頻會(huì)按設(shè)置的畫面比例進(jìn)行拉伸變形）

10.3.2.?點(diǎn)擊頁(yè)面左側(cè)邊欄第四個(gè)「文件」圖標(biāo)展開(kāi)文件窗口，找到你的參考視頻，點(diǎn)擊參考視頻后方的三個(gè)小圓點(diǎn)，點(diǎn)擊復(fù)制路徑。（如果想將參考視頻上傳至 Google Colab 也可以直接將視頻拖至文件窗口的空白處，上傳完成后復(fù)制路徑即可）

10.3.3.?將上一步復(fù)制的路徑粘貼至圖中位置，將動(dòng)畫模式設(shè)置為?Video Input，設(shè)置抽幀參數(shù)，我們的參考視頻有可能是 30 幀/秒的視頻，假如時(shí)長(zhǎng)為 10 秒，參考視頻就有 300 幀，如果我們只需要做一個(gè) 15 幀/秒的視頻，那就不需要那么多幀，我們就可以進(jìn)行抽幀，將參數(shù)設(shè)置為 2，就只剩下了 150 幀，這 150 幀將作為參考圖片供我們渲染 150 張圖片，最后就可以合成一個(gè)時(shí)長(zhǎng)為 10 秒 15 幀/秒的視頻了。我們可以利用抽幀控制總幀數(shù)，所以調(diào)試階段可以將這個(gè)值設(shè)置的高一點(diǎn)，這樣可以盡快的看到整個(gè)動(dòng)畫各個(gè)階段的效果，如果效果滿意了再將參數(shù)調(diào)低，生成最終的視頻，這樣可以節(jié)約一些時(shí)間。Video Input 模式一般只要設(shè)置下圖中注釋的三個(gè)參數(shù)即可，其他參數(shù)在該模式下均無(wú)效果。設(shè)置完成后點(diǎn)擊「Animation」前方的圓形按鈕運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.3.4.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，這里就是設(shè)置從多少幀開(kāi)始更換 prompt，prompt 的數(shù)量沒(méi)有限制，可根據(jù)需要設(shè)置，注意按幀數(shù)從小到大依次填寫，注意保持格式，不要漏掉引號(hào)或逗號(hào)等內(nèi)容（上方的 prompts 為圖片的 prompts，在動(dòng)畫模式下不會(huì)生效，不用管）。我這個(gè)動(dòng)畫視頻從頭至尾是一個(gè)穩(wěn)定連續(xù)的畫面，所以只設(shè)置了一個(gè) prompt，如果你的畫面前后是有變化的可以設(shè)置多個(gè) prompt。設(shè)置完成后點(diǎn)擊「prompts」前方的圓形按鈕運(yùn)行「prompts」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.3.5. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費(fèi)用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過(guò)大會(huì)導(dǎo)致顯存不足報(bào)錯(cuò)，種子模式需設(shè)置為 fixed，strength 為參考圖/視頻強(qiáng)度，設(shè)置為 0 完全使用文本描述進(jìn)行渲染，設(shè)置為 1 完全使用參考圖/視頻進(jìn)行渲染，建議將參數(shù)設(shè)置為 0.4-0.8 左右，根據(jù)自己的需要看希望更貼近參考還是有更多變化，值越大越像參考圖/視頻。設(shè)置完成后點(diǎn)擊「Load Settings」前方的圓形按鈕運(yùn)行「Run」，就開(kāi)始逐幀渲染圖片了。

10.3.6. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開(kāi)始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，每一幀渲染完成后都會(huì)依次顯示在此處，圖片下方顯示的是正在渲染中的圖片參數(shù)，包括幀數(shù)、種子值、文本描述、參考圖片信息和渲染進(jìn)度及渲染時(shí)間等信息，全部渲染完成后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.3.7.?取消勾選「skip_video_for_run_all和?render_steps」后點(diǎn)擊「skip_video_for_run_all」前方的圓形按鈕，就開(kāi)始通過(guò)序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運(yùn)行該單元格即可，生成的視頻會(huì)展示在此單元格下方，也會(huì)自動(dòng)保存在相應(yīng)的文件夾里。生成完畢后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，如果下方仍然沒(méi)有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.3.8. 如果對(duì)效果不滿意可以重新修改參數(shù)，修改過(guò)參數(shù)的單元格都需要重新運(yùn)行一遍，點(diǎn)擊單元格前方的圓形按鈕運(yùn)行即可，參數(shù)修改完畢并重新運(yùn)行后，重新運(yùn)行「Run」單元格就開(kāi)始重新渲染了，渲染過(guò)程中發(fā)現(xiàn)不滿意可以隨時(shí)點(diǎn)擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運(yùn)行「Run」，重新渲染的圖片和之前的圖片會(huì)保存在同一個(gè)文件夾內(nèi)，如果想分開(kāi)保存可以修改 batch_name 后再運(yùn)行「Run」，這樣重新渲染的圖片會(huì)保存在新的文件夾里。

10.3.9. 由于 GPU 的限制我們可能無(wú)法直接生成大尺寸的圖片和視頻，所以動(dòng)畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過(guò)?Real-ESRGAN或者?Topaz Gigapixel AI等工具對(duì)序列圖片進(jìn)行智能放大，然后再通過(guò) AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。

上方為我使用前文參數(shù)生成的 Video Input 參考視頻動(dòng)畫，我用 Real-ESRGAN 將視頻尺寸從 1024x512 放大至了 2560x1280，視頻中也展示了參考視頻及效果對(duì)比，因?yàn)槲疫x用的參考視頻本身光線效果就不是太好，所以面部打光效果不太好，另外由于畫面中有很多手部的畫面，我只有通過(guò)調(diào)高 strength 來(lái)盡量保持手部的完整，因此也犧牲了一些描述詞的效果，比如我描述詞中寫了奧黛麗赫本，如果降低 strength 面部特征是可以更加靠近奧黛麗赫本的，但是同時(shí)手部等細(xì)節(jié)也會(huì)相對(duì)變得不那么穩(wěn)定，所以我最后還是把 strength 設(shè)置為了 0.75，算是偏高的范圍，這樣會(huì)更靠近參考視頻，參考視頻動(dòng)畫就是通過(guò)調(diào)節(jié) strength 和 scale 包括 prompt，來(lái)進(jìn)行取舍以達(dá)到最佳的效果。（平臺(tái)壓縮了畫質(zhì)）

Interpolation 插值動(dòng)畫教程

10.4.1. 將動(dòng)畫模式設(shè)置為?Interpolation，勾選關(guān)鍵幀模式或設(shè)置固定幀模式參數(shù)，默認(rèn)不勾選關(guān)鍵幀模式則為固定幀模式，若勾選了關(guān)鍵幀模式則固定幀模式自動(dòng)失效，二者只有一個(gè)起作用，除了這兩個(gè)模式以外的其他參數(shù)在該模式下均不起作用。設(shè)置完成后點(diǎn)擊「Animation」前方的圓形按鈕運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.4.2.?設(shè)置Prompts，在下圖中?animation_prompts處填寫 prompts，prompts 前方的數(shù)字表示幀數(shù)，幀數(shù)僅在interpolate_key_frames關(guān)鍵幀模式下起作用，當(dāng)在上一步勾選了 interpolate_key_frames 后，以下圖為例，那么總幀數(shù)就會(huì)變成 51 幀，第 0 幀會(huì)按 prompt 0 進(jìn)行渲染，第 5 幀會(huì)按 prompt 5 渲染，第 20 幀會(huì)按 prompt 20 渲染，第 30 幀會(huì)按 prompt 30 渲染，第 50 幀會(huì)按 prompt 50 渲染，相鄰的兩個(gè) prompt 之間的幀數(shù)，以前兩個(gè) prompt 為例，從第 0 幀到第 5 幀 prompt 0 的權(quán)重會(huì)從 100% 降至 0%，prompt 5 的權(quán)重會(huì)從 0% 升至 100%，相鄰的兩個(gè) prompt 會(huì)隨著幀數(shù)前一個(gè)權(quán)重遞減至 0%，后一個(gè)權(quán)重遞增至 100%，以達(dá)到從第一個(gè) prompt 變成第二個(gè) prompt 的效果。若沒(méi)有勾選 interpolate_key_frames 則為固定幀模式，以上圖參數(shù) 40 為例，interpolate_x_frames 40表示每?jī)蓚€(gè)相鄰的關(guān)鍵幀之間都是40幀，以下圖為例，有 5 個(gè) prompt，總幀數(shù)就會(huì)變成 165 幀，此時(shí)下圖中的關(guān)鍵幀不起作用，第 0 幀使用 prompt 0 進(jìn)行渲染，第 41 幀使用 prompt 5 渲染，第 82 幀使用 prompt 20 渲染，第 123 幀使用 prompt 30 渲染，第 164 幀使用 prompt 50 渲染。插值動(dòng)畫就是沒(méi)有動(dòng)態(tài)，只是從一個(gè) prompt 漸變到下一個(gè) prompt，再漸變到下一個(gè) prompt 直至最后一個(gè) prompt。設(shè)置完成后點(diǎn)擊「prompts」前方的圓形按鈕運(yùn)行「prompts」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.4.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費(fèi)用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過(guò)大會(huì)導(dǎo)致顯存不足報(bào)錯(cuò)，Interpolation 模式下無(wú)論種子模式如何設(shè)置都會(huì)按 fixed 生效，也就是所有圖片都會(huì)使用同一個(gè)種子進(jìn)行渲染，以此達(dá)到一個(gè)靜態(tài)連續(xù)變化模擬動(dòng)態(tài)的效果。設(shè)置完成后點(diǎn)擊「Load Settings」前方的圓形按鈕運(yùn)行「Run」，就開(kāi)始逐幀渲染圖片了。

10.4.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開(kāi)始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，Interpolation 模式下會(huì)先把所有的 prompt 都渲染一遍，例如上面設(shè)置了 5 個(gè) prompt，那么這里會(huì)先將這 5 個(gè) prompt 分別渲染出來(lái)，然后再?gòu)牡?0 幀開(kāi)始逐幀渲染，可以用來(lái)確認(rèn) prompt 是否有誤，其實(shí)建議的做法是先使用圖片功能調(diào)試好所有的 prompt 之后再進(jìn)行動(dòng)畫制作。此處圖片下方只會(huì)顯示種子值、渲染進(jìn)度和渲染時(shí)間，全部渲染完成后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.4.5.?取消勾選「skip_video_for_run_all和?render_steps」后點(diǎn)擊「skip_video_for_run_all」前方的圓形按鈕，就開(kāi)始通過(guò)序列幀生成視頻了，默認(rèn)幀率為每秒 12 幀，如果想設(shè)置其他幀率可直接在 fps 處修改，修改后再運(yùn)行該單元格即可，生成的視頻會(huì)展示在此單元格下方，也會(huì)自動(dòng)保存在相應(yīng)的文件夾里。生成完畢后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，如果下方仍然沒(méi)有出現(xiàn)視頻，可以去云盤相應(yīng)的文件夾內(nèi)查看視頻文件。

10.4.6. 如果對(duì)效果不滿意可以重新修改參數(shù)，修改過(guò)參數(shù)的單元格都需要重新運(yùn)行一遍，點(diǎn)擊單元格前方的圓形按鈕運(yùn)行即可，參數(shù)修改完畢并重新運(yùn)行后，重新運(yùn)行「Run」單元格就開(kāi)始重新渲染了，渲染過(guò)程中發(fā)現(xiàn)不滿意可以隨時(shí)點(diǎn)擊單元格前方的按鈕中斷渲染，然后繼續(xù)修改參數(shù)，再重新運(yùn)行「Run」，重新渲染的圖片和之前的圖片會(huì)保存在同一個(gè)文件夾內(nèi)，如果想分開(kāi)保存可以修改 batch_name 后再運(yùn)行「Run」，這樣重新渲染的圖片會(huì)保存在新的文件夾里。固定幀模式可通過(guò)降低固定幀參數(shù)減少總幀數(shù)快速預(yù)覽整體變化效果，效果基本滿意后再提高參數(shù)渲染長(zhǎng)動(dòng)畫，關(guān)鍵幀模式也可以通過(guò)減小關(guān)鍵幀幀數(shù)來(lái)達(dá)到快速預(yù)覽的效果。

10.4.7. 由于 GPU 的限制我們可能無(wú)法直接生成大尺寸的圖片和視頻，所以動(dòng)畫制作完成后我們可以把序列圖片下載到本地，圖片在云盤默認(rèn)的保存在?AI/StableDiffusion/2022-月份?內(nèi)相應(yīng)的文件夾里，之后我們可以通過(guò)?Real-ESRGAN或者?Topaz Gigapixel AI等工具對(duì)序列圖片進(jìn)行智能放大，然后再通過(guò) AE 或者 PR 等工具合成視頻，你也可以進(jìn)行一些后期加工處理，這樣我們就得到高質(zhì)量的視頻啦。

上方為我使用前文參數(shù)生成的 Interpolation 插值動(dòng)畫，我用 Real-ESRGAN 將視頻尺寸從 1024x512 放大至了 2560x1280，插值動(dòng)畫比較適合用來(lái)制作類似延時(shí)攝影/縮時(shí)攝影這類的動(dòng)畫，就是同一個(gè)場(chǎng)景隨著時(shí)間的變化發(fā)生改變這種，當(dāng)然也可以用于制作不同場(chǎng)景或者不同物體之間的轉(zhuǎn)變動(dòng)畫，建議先調(diào)教好 prompt 后再制作動(dòng)畫。（平臺(tái)壓縮了畫質(zhì)）

其他動(dòng)畫功能

Coherence，Animation Settings - Coherence 包含兩個(gè)參數(shù)，一個(gè)是 color_coherence，顏色模式，建議使用默認(rèn)值，另一個(gè)是?diffusion_cadence，該參數(shù)僅對(duì) 2D 與 3D 動(dòng)畫有效，默認(rèn)為 1，該參數(shù)一共有 8 個(gè)級(jí)別，1-8，當(dāng)設(shè)置為 1 時(shí)，每一幀都會(huì)通過(guò)一個(gè)種子進(jìn)行擴(kuò)散生成圖像，假如第 0 幀使用種子 3520080201，則第 1 幀使用種子 3520080202，第 2 幀使用種子 3520080203，第 3 幀使用種子 3520080204...以此類推，當(dāng)設(shè)置為 2 時(shí)，每隔一幀才通過(guò)種子進(jìn)行擴(kuò)散生成圖像，假如第 0 幀使用種子 3520080201，則第 2 幀使用種子 3520080202，第 4 幀使用種子 3520080203，第 6 幀使用種子 3520080204...以此類推，其中跳過(guò)的幀數(shù)會(huì)使用前后幀的圖片進(jìn)行混合疊加后得出，當(dāng)設(shè)置為 3 時(shí)則是第 0、3、6、9、12...這些幀會(huì)使用種子生成圖像，跳過(guò)的幀會(huì)使用前后幀的圖片進(jìn)行混合疊加后得出，這樣做會(huì)大幅縮減渲染時(shí)間，但可能會(huì)使動(dòng)畫變得模糊起來(lái)，因?yàn)殚g隔幀是使用前后幀的畫面進(jìn)行混合疊加而成的，所以清晰度會(huì)受損，但是畫面的連貫性有可能會(huì)提升，因?yàn)槊總€(gè)種子生成的圖片都是有差異的，通過(guò)間隔幀減慢了差異的變化速度，畫面可能會(huì)變得更連貫，在某些偏靜態(tài)的動(dòng)畫里可能比較受用，動(dòng)態(tài)幅度較大的還是不建議使用，有興趣的朋友可以自己嘗試一下，這里要提醒的是因?yàn)樘^(guò)的幀不會(huì)使用種子，所以這個(gè)值的變化同時(shí)也會(huì)造成畫面的變化，如果想利用跳過(guò)幀預(yù)覽動(dòng)畫效果是無(wú)法做到的，因?yàn)樾薷暮髣?dòng)畫效果也會(huì)改變。如果使用此模式后畫面清晰度受損，可以嘗試通過(guò)調(diào)整 noise_schedule、strength_schedule 和 scale 來(lái)調(diào)節(jié)畫面效果。

Resume Animation，恢復(fù)動(dòng)畫渲染，當(dāng)出于某種原因動(dòng)畫渲染主動(dòng)或被迫中斷后，想要接著繼續(xù)渲染可以使用此功能，此功能也可用于修改動(dòng)畫關(guān)鍵幀參數(shù)，假如你想修改的參數(shù)只影響動(dòng)畫的后面某部分畫面，可以到云盤中保留不受影響的幀數(shù)，將需要改動(dòng)的幀數(shù)圖片全部刪除，如果是想接著繼續(xù)渲染不用刪除圖片，然后點(diǎn)開(kāi)這個(gè)動(dòng)畫的任意一張圖，點(diǎn)擊圖片名稱，復(fù)制名稱的前半部分，如下圖所示，粘貼在?Animation Settings-?Resume Animation?中的resume_timestring?位置，如下圖所示，并勾選resume_from_timestring，然后重新運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，再重新運(yùn)行「Run」，程序就會(huì)接著這個(gè)名稱的最后一張圖開(kāi)始渲染下一張圖，就是繼續(xù)渲染動(dòng)畫了。

文本轉(zhuǎn)圖像教程

10.5.1. 將動(dòng)畫模式設(shè)置為?None，新開(kāi)的文件默認(rèn)就是 None，設(shè)置完成后點(diǎn)擊「Animation」前方的圓形按鈕運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.5.2.?設(shè)置 Prompts，Deforum 有個(gè)優(yōu)點(diǎn)就是 Prompt 的個(gè)數(shù)沒(méi)有限制，你可以一次填寫很多個(gè) Prompt，然后一次性全部渲染，程序會(huì)按照先后順序依次渲染每一個(gè) Prompt，當(dāng)然你只寫一個(gè)也沒(méi)問(wèn)題，animation_prompts 在該設(shè)置下不起作用，可以無(wú)視，設(shè)置完成后點(diǎn)擊「prompts」前方的圓形按鈕運(yùn)行「prompts」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.5.3. 參考下圖設(shè)置圖像參數(shù)，Google Colab 免費(fèi)用戶建議將尺寸設(shè)置為?1024x512或更小尺寸，尺寸過(guò)大會(huì)導(dǎo)致顯存不足報(bào)錯(cuò)，若要生成人物肖像等內(nèi)容建議將尺寸設(shè)置為?512x512，這樣容易取得最佳效果；8 種采樣模式略有區(qū)別，但區(qū)別也不算太大，大家可以自己嘗試；n_batch 為每個(gè) prompt 生成圖片的張數(shù)，以上圖為例，共有 8 個(gè) prompt，那么設(shè)置為 50 后每一個(gè) prompt 都會(huì)分別生成 50 張圖；因?yàn)槊看芜\(yùn)行只會(huì)生成一個(gè)總的 settings 文件，所以建議在使用 random 隨機(jī)種子模式時(shí)可將文件名格式設(shè)置為顯示種子值，否則無(wú)法追蹤每張圖片的種子，使用 iter 時(shí)即使將文件名格式設(shè)置為顯示 prompt 也可以通過(guò)文件名序號(hào)計(jì)算出每張圖的種子，大家可按自己的需要設(shè)置文件名格式；設(shè)置完成后點(diǎn)擊「Load Settings」前方的圓形按鈕運(yùn)行「Run」，就開(kāi)始渲染圖片了。

10.5.4. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開(kāi)始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，顯示順序?yàn)橄蕊@示種子和進(jìn)度條，渲染完成后圖片會(huì)顯示在進(jìn)度條下方，所以對(duì)應(yīng)的種子值在圖片的上方；所有圖片都會(huì)按順序在頁(yè)面上展示，但是頁(yè)面展示圖片有一個(gè)上限，超過(guò)以后會(huì)自動(dòng)刷新顯示新的一批圖片；全部生成完畢后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，可以去云盤相應(yīng)的文件夾內(nèi)查看或下載圖片及參數(shù)文件。

10.5.5. 如果覺(jué)得尺寸不夠大可以使用?Real-ESRGAN或者?Topaz Gigapixel AI等工具對(duì)圖片進(jìn)行智能放大，可參考盲圖像超分辨率模型 Real-ESRGAN 使用教程進(jìn)行操作。

圖像轉(zhuǎn)圖像教程

10.6.1. 將動(dòng)畫模式設(shè)置為?None，新開(kāi)的文件默認(rèn)就是 None，設(shè)置完成后點(diǎn)擊「Animation」前方的圓形按鈕運(yùn)行「Animation Settings」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.6.2.?設(shè)置 Prompts，在下圖 prompts 處填寫 prompts，如果有多個(gè)想法可以設(shè)置多個(gè) prompt，換行依次填寫即可，注意保持格式正確，animation_prompts 在該設(shè)置下不起作用，可以無(wú)視，設(shè)置完成后點(diǎn)擊「prompts」前方的圓形按鈕運(yùn)行「prompts」，運(yùn)行完成后該單元格前方會(huì)出現(xiàn)綠色對(duì)鉤。

10.6.3. 圖像轉(zhuǎn)圖像也就是參考圖模式需要先將參考圖上傳至 Google Colab 或者谷歌云盤，上傳至 Google Colab 只需要點(diǎn)擊頁(yè)面左側(cè)邊欄第四個(gè)「文件」圖標(biāo)展開(kāi)文件窗口，然后將圖片直接拖入空白處即可，上傳完成后會(huì)顯示在文件列表末端，你也可以將參考圖上傳至谷歌云盤，然后從列表中找到圖片文件即可，點(diǎn)擊參考圖后方的三個(gè)小圓點(diǎn)選擇復(fù)制路徑。

10.6.4. 參考下圖設(shè)置圖像參數(shù)，勾選use_init使用參考圖，將上一步復(fù)制的路徑粘貼至init_image后方，設(shè)置strength參考圖強(qiáng)度，當(dāng)設(shè)置為 0 時(shí)完全使用 prompt 進(jìn)行渲染，若總步數(shù)為 50 則使用 prompt 渲染 50 步，畫面與參考圖毫無(wú)關(guān)系，當(dāng)設(shè)置為 1 時(shí)完全使用參考圖進(jìn)行渲染，若總步數(shù)為 50 則使用 prompt 渲染 0 步，也就是會(huì)原圖直出，與 prompt 毫無(wú)關(guān)系，當(dāng)設(shè)置為 0.5 時(shí)則是各占一半，若總步數(shù)為 50 則使用 prompt 渲染 25 步，所以如果想要畫面更靠近參考圖，可以將strength設(shè)置為0.5-1，低于0.5畫面與參考圖的差異會(huì)逐步變大；如果只想對(duì)局部進(jìn)行渲染可以使用遮罩文件，勾選 use_mask 后參考上一步上傳遮罩圖片即可，遮罩有兩個(gè)參數(shù)可調(diào)節(jié)效果，有需要的可以自己實(shí)驗(yàn)；要注意的是如果參考圖畫面比例與設(shè)置的尺寸比例不一致參考圖會(huì)被強(qiáng)制拉伸變形為設(shè)置的尺寸，如果不想?yún)⒖紙D發(fā)生變形請(qǐng)將參考圖長(zhǎng)寬比修改成和出圖尺寸相同的比例。設(shè)置完成后點(diǎn)擊「Load Settings」前方的圓形按鈕運(yùn)行「Run」，就開(kāi)始渲染圖片了。

10.6.5. 當(dāng)「Run」單元格末尾出現(xiàn)圖片和進(jìn)度條，單元格前方的圓形按鈕開(kāi)始轉(zhuǎn)圈則表示渲染正在進(jìn)行中，顯示順序?yàn)橄蕊@示種子和進(jìn)度條，渲染完成后圖片會(huì)顯示在進(jìn)度條下方，所以對(duì)應(yīng)的種子值在圖片的上方；所有圖片都會(huì)按順序在頁(yè)面上展示，但是頁(yè)面展示圖片有一個(gè)上限，超過(guò)以后會(huì)自動(dòng)刷新顯示新的一批圖片；全部生成完畢后單元格前方會(huì)出現(xiàn)綠色對(duì)鉤，可以去云盤相應(yīng)的文件夾內(nèi)查看或下載圖片及參數(shù)文件。

10.6.6. 如果覺(jué)得尺寸不夠大可以使用?Real-ESRGAN或者?Topaz Gigapixel AI等工具對(duì)圖片進(jìn)行智能放大，可參考盲圖像超分辨率模型 Real-ESRGAN 使用教程進(jìn)行操作。

制作動(dòng)畫建議先使用文本轉(zhuǎn)圖像功能或圖像轉(zhuǎn)圖像功能調(diào)試好 prompt 和參數(shù)，效果比較滿意后直接使用滿意的 prompt 和參數(shù)包括種子去制作動(dòng)畫，這樣效率會(huì)比較高。

最后分享一下?Deforum?的官方 Discord（https://discord.com/invite/upmXXsrwZc），大家如果有其他疑問(wèn)也可以去官方頻道進(jìn)行詢問(wèn)和交流。

以上就是此次 Deforum Stable Diffusion 教程的全部?jī)?nèi)容了，部分內(nèi)容是根據(jù)個(gè)人使用經(jīng)驗(yàn)和個(gè)人理解進(jìn)行解釋的，可能不一定絕對(duì)準(zhǔn)確，但可以供大家參考。

在這里我也呼吁大家合理使用 AI 工具，尊重版權(quán)，尊重創(chuàng)作者，未經(jīng)允許不要使用他人的作品進(jìn)行 AI 創(chuàng)作，如果使用 AI 生成的內(nèi)容與他人風(fēng)格過(guò)于類似或者存在爭(zhēng)議建議不要用于商業(yè)用途。

文中展示的參數(shù)包括?prompts 僅供學(xué)習(xí)交流使用，請(qǐng)勿用于商業(yè)用途。