Cara Menggunakan Difusi Stabil untuk Membuat AI GIF dan Video

Difusi Stabil mampu menghasilkan lebih dari sekadar gambar diam. Dengan beberapa alat bawaan dan ekstensi khusus, Anda bisa mendapatkan video AI yang sangat keren tanpa banyak usaha. Berikut cara membuat bingkai untuk GIF animasi atau file video aktual dengan Difusi Stabil.

Difusi Stabil Dapat Menghasilkan Video?

Sementara film yang dihasilkan AI masih merupakan bidang yang baru lahir, secara teknis dimungkinkan untuk membuat beberapa animasi sederhana dengan Difusi Stabil, baik sebagai GIF atau file video yang sebenarnya. Ada batasannya.

Karena img2img membuatnya mudah untuk menghasilkan variasi gambar tertentu, Stable Diffusion cocok untuk dengan cepat membuat banyak bingkai untuk animasi, khususnya yang bersiklus. Pikirkan api yang menjilat dari api, roda yang berputar di atas mobil, atau percikan air di air mancur. Penggunaan praktis dapat memberikan suasana yang hidup pada beberapa karya seni RPG:

Anda bahkan dapat membuat video berdasarkan gambar asli, bukan buatan. Di sini saya mengambil foto tanaman yang sedang disiram dan, dengan beberapa klik, menganimasikan aliran air:

Jika Anda ingin menganimasikan sebuah objek sehingga bergerak dari titik A ke titik B, itu adalah perintah yang sulit untuk Difusi Stabil (setidaknya untuk saat ini). Anda mungkin akan menghabiskan banyak waktu mengutak-atik prompt dan pengaturan, lalu mempelajari lebih dari satu ton keluaran untuk menemukan bingkai terbaik dan menempatkannya dalam urutan yang benar. Pada saat itu, Anda mungkin juga mengeluarkan Adobe Illustrator dan mulai membuat animasi dengan tangan.

Meskipun demikian, Anda dapat membuat beberapa animasi keren dan sederhana dengan pengaturan Difusi Stabil dasar dan alat lain pilihan Anda untuk menyatukan bingkai dalam animasi. Ada juga proyek bernama Deforum yang menggunakan Stable Diffusion untuk membuat animasi “morphing” yang terlihat cukup menarik. Itu akan mengeluarkan video MP4, jadi tidak diperlukan alat eksternal, dan bahkan memungkinkan Anda menambahkan audio. Kami akan menunjukkan kepada Anda dasar-dasar kedua metode tersebut.

Catatan: Untuk tujuan artikel ini, kami akan menganggap Anda telah menginstal antarmuka grafis untuk Difusi Stabil, khususnya UI web Difusi Stabil AUTOMATIC1111. Dibandingkan dengan penginstalan baris perintah standar, ini membuat pembuatan gambar jauh lebih mudah dan dilengkapi dengan banyak alat dan tambahan yang berguna.

Animasikan Gambar Menggunakan Inpaint

Dengan menggunakan alat img2img Inpaint, Anda dapat menyorot bagian gambar yang ingin Anda animasikan dan membuat beberapa variasinya. Kemudian Anda akan memasukkannya ke GIF atau pembuat video dan menyimpan bingkai sebagai animasi.

Langkah 1: Dapatkan Gambar dan Perintahnya

Mulailah dengan menjatuhkan gambar yang ingin Anda animasikan ke tab Inpaint pada alat img2img. Jika Anda belum memilikinya, luangkan waktu untuk menulis prompt yang bagus sehingga Anda mendapatkan foto awal yang bagus. Anda juga dapat mengimpor gambar yang Anda potret atau gambar sendiri.

Jika Anda mengimpor gambar yang tidak Anda hasilkan dengan Stable Diffusion, Anda masih memerlukan prompt yang sesuai untuk membuat variasi, jadi klik "Interrogate CLIP" di bagian atas halaman Img2Img. Itu akan menghasilkan prompt starter berdasarkan apa yang menurut Difusi Stabil gambar Anda berisi. Selesaikan prompt dengan menambahkan detail penting lainnya.

Untuk panduan kami, kami telah membuat gambar robot 512×512 di bawah langit malam yang ingin kami berikan semacam animasi selang waktu, dengan bintang jatuh dan galaksi yang lewat.

Jika Anda ingin mengikuti dengan tepat, Anda dapat membuatnya kembali dengan perintah yang kami gunakan:

 robot berdiri di lapangan memandangi langit malam selama hujan meteor, bintang jatuh, galaksi, kosmos, bima sakti, ultra realistis, sangat detail, 4k uhd

Dan ini adalah pengaturan yang kami gunakan:

Langkah 2: Tutupi Bagian yang Akan Dianimasikan Dengan InPaint

Dengan gambar dan prompt Anda terpasang, di alat Inpaint, gunakan kuas untuk menutupi (menutupi) setiap bagian gambar yang ingin Anda animasikan. Biarkan tidak tertutup apa pun yang Anda inginkan statis.

Dalam contoh kita, kita menutupi sebagian besar langit. Kami meninggalkan sedikit bantalan di sekitar robot karena dalam pengujian kami, jika kami terlalu dekat, Difusi Stabil terkadang menambahkan antena dan pelengkap lainnya ke robot.

Tip: Anda dapat menyesuaikan ukuran kuas Inpaint dengan penggeser dengan mengeklik tombol kuas di pojok kanan atas kanvas.

Langkah 3: Hasilkan Bingkai Anda

Sekarang setelah Anda menutupi setiap bagian gambar yang ingin Anda lihat bergerak, saatnya membuat bingkai animasi kita. Tapi pertama-tama, Anda ingin memastikan img2img memiliki pengaturan yang benar. Mereka bisa membingungkan, jadi kami akan menjelaskan apa arti beberapa dari mereka dan mengapa Anda mungkin ingin atau tidak ingin men-tweak mereka:

• Mask Mode: Inpaint Masked – Ini memastikan semua yang tertutup berubah dan bukan sebaliknya. Jika, karena alasan tertentu, Anda ingin mengubah bagian yang dibuka kedoknya, ubah ke "Inpaint Not Masked".
• Konten Bertopeng: Asli – Ini memastikan Difusi Stabil akan melihat dan mempertimbangkan gambar yang ada saat menghasilkan variasi. Jika tidak, itu akan menganggap konten bertopeng sebagai kanvas kosong atau acak.
• Area Inpaint: Gambar Utuh – Ini memaksa Difusi Stabil untuk menghasilkan gambar yang benar-benar baru untuk setiap bingkai sebelum mengintegrasikannya dengan gambar asli. Beralih ke "Only Masked" dapat mempercepat pembuatan, tetapi juga dapat memberi Anda hasil yang lebih buruk.
• Metode Pengambilan Sampel: DPM++ SDE – Ini adalah metode pengambilan sampel yang sama yang kami gunakan untuk menghasilkan gambar asli kami, dan kami tetap menggunakannya untuk memastikan tampilan yang konsisten. Jika Anda tidak tahu apa yang harus digunakan, "Euler a" adalah pilihan yang bagus.
• Jumlah Batch: 60 – Ini adalah berapa banyak gambar yang ingin Anda hasilkan. Anda mungkin membutuhkan lebih banyak atau lebih sedikit tergantung pada seberapa cepat dan berapa lama urutan animasi yang Anda inginkan.
• Skala CFG: 5 – Skala CFG, dalam arti tertentu, menentukan seberapa besar kebebasan kreatif yang dimiliki Stable Diffusion. Semakin tinggi angkanya, Difusi Stabil yang lebih ketat akan mencoba mengikuti perintah Anda. Meningkatkannya dan mendapatkan hasil yang baik membutuhkan prompt yang sangat baik.
• Kekuatan Denoising: 0,3 – Mungkin pengaturan yang paling penting untuk proyek ini, skala denoising menentukan seberapa banyak Difusi Stabil akan mengubah gambar aslinya. Anda mungkin ingin mempertahankannya sekitar 0,2 atau 0,3, karena terlalu banyak perubahan frame-to-frame dapat merusak animasi.
• Benih: -1 – Ini memberitahu Difusi Stabil untuk memulai dengan benih acak. Kami tidak menyarankan penggunaan ulang benih dari gambar asli Anda, karena hal itu akan mengurangi jumlah variasi yang akan Anda dapatkan (jika ada).

Dengan semua pengaturan Anda di tempat, klik "Hasilkan" dan duduk santai sementara Difusi Stabil menggambar bingkai animasi untuk Anda. Anda akan menemukannya di folder /outputs/img2img-images dari direktori Stable Diffusion Anda. Jika Anda tidak menyukai hasilnya, sesuaikan pengaturan (mungkin dimulai dengan kekuatan denoising dan langkah pengambilan sampel) dan coba lagi.

Langkah 4: Tingkatkan Frame Anda (Opsional)

Jika Anda berencana membuat video definisi tinggi, ingatlah untuk meningkatkan semua bingkai yang baru dibuat ke resolusi yang Anda inginkan. Klik "Kirim ke Ekstra" untuk memulai.

Di dalam Ekstra, alihkan ke tab "Proses Batch".

Sesuaikan skala "Ubah ukuran" ke berapa kali Anda ingin mengubah ukurannya (pengaturan ke 2 akan mengubah gambar 512×512 menjadi gambar 1024×1024). Alternatifnya, alihkan dari "Scale by" ke "Scale to" dan tetapkan resolusi tertentu. Setel juga "Upscaler 1" ke upscaler pilihan Anda. Kami mendapatkan hasil yang cukup baik dengan R-ESRGAN 4x+, tetapi jangan ragu untuk bereksperimen untuk melihat mana yang paling baik menangani gambar Anda.

Kemudian tekan "Hasilkan" dan Difusi Stabil akan memberi Anda versi resolusi lebih tinggi dari setiap frame, disimpan di folder /outputs/extras Anda.

Langkah 5: Animasikan Bingkai di GIF atau Pembuat Video

Sekarang setelah Anda mendapatkan bingkai, saatnya untuk menyatukan semuanya dan membuat animasi akhir Anda. Ada banyak alat yang dapat Anda gunakan untuk melakukan ini, termasuk situs web khusus gratis seperti Ezgif dan flixier yang mudah digunakan dan memiliki banyak kontrol penyesuaian. Namun, ingatlah bahwa situs web tersebut dapat melihat semua yang Anda unggah, jadi jangan beri mereka apa pun yang Anda tidak nyaman untuk diketahui dunia.

Meskipun situs web tersebut cukup jelas, kami akan mendemonstrasikan bagaimana Anda menggunakan alat pengeditan foto offline gratis, GIMP, untuk membuat GIF. Jika Anda menginginkan file video, gunakan Kdenlive atau editor video serupa—pastikan saja Anda men-tweak pengaturan sehingga semua frame Anda diimpor sebagai klip satu detik atau lebih pendek, tergantung pada banyak frame per detik yang Anda inginkan.

Untuk memulai, unduh GIMP dan instal di komputer Anda jika Anda belum melakukannya. Luncurkan, lalu buka File > Open as Layers.

Temukan di mana bingkai yang Anda buat dan pilih semuanya sekaligus sebelum mengklik "Buka". (Tahan tombol Shift untuk memilih banyak file dengan cepat.) GIMP akan mengimpor semua gambar Anda sebagai lapisan terpisah pada satu kanvas. Kami menginginkan ini karena cara kerja pembuatan GIF GIMP adalah melalui setiap lapisan dari bawah ke atas, memperlakukan setiap lapisan berurutan sebagai bingkai berikutnya dalam animasi.

Sekarang bagian yang menyenangkan. Untuk melihat pratinjau GIF Anda, buka Filters > Animation > Playback.

Tekan bilah spasi untuk memutar dan menjeda GIF. Jika bingkai berjalan terlalu cepat atau lambat, sesuaikan FPS di bagian bawah dialog pemutaran, dan klik tombol segarkan di bagian atas untuk memuat ulang pratinjau dengan kecepatan bingkai yang baru.

Setelah animasi terlihat bagus untuk Anda, saatnya membuat file GIF. Tutup pratinjau dan klik File > Ekspor Sebagai. Saat Anda mengetikkan nama penyimpanan file, tambahkan ekstensi .gif ke bagian akhir agar GIMP tahu Anda menginginkan GIF.

Di kotak dialog ekspor GIF yang muncul, pastikan kotak "Sebagai Animasi" dicentang. Sesuaikan juga jumlah milidetik antar frame jika Anda menginginkan frekuensi gambar yang berbeda. Ada 1000 milidetik dalam satu detik, jadi 100 akan memberi Anda sekitar 10 FPS. Terakhir, klik "Ekspor".

Boom, Anda memiliki GIF animasi lengkap.

Hasilkan Video Menggunakan Deforum

Jika Anda ingin membuat animasi yang lebih menarik dengan Stable Diffusion, dan membuatnya menghasilkan file video alih-alih hanya kumpulan bingkai untuk Anda kerjakan, gunakan Deforum. Ini adalah proyek sintesis gambar dengan ekstensi yang tersedia untuk UI web Difusi Stabil yang memungkinkan Anda mengarahkan dan menghasilkan file video MP4, bahkan dengan audio. Ini adalah alat yang sangat kuat dan kompleks dengan banyak pengaturan untuk bereksperimen, termasuk panci dan zoom kamera, beberapa petunjuk, dan impor video.

Untuk tujuan kami, kami hanya akan memperkenalkan Anda pada dasar-dasar pembuatan animasi yang cukup sederhana namun menarik.

Langkah 1: Instal Ekstensi Deforum

Untuk mendapatkan ekstensi Deforum, buka prompt perintah dan ubah direktori ke folder stable-diffusion-web-ui Anda. Kemudian gunakan perintah git clone ini untuk menginstal Deforum di folder ekstensi Anda.

 git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

Luncurkan UI web Difusi Stabil seperti biasa, dan buka tab Deforum yang sekarang ada di antarmuka Anda.

Kiat: Ekstensi Deforum sudah siap dengan pengaturan default sehingga Anda dapat langsung menekan tombol "Hasilkan" untuk membuat video kelinci yang berubah menjadi kucing, lalu kelapa, lalu durian. Cukup keren!

Langkah 2: Tulis Permintaan Anda

Anda mungkin terbiasa menulis prompt individu dengan Difusi Stabil, tetapi Deforum memungkinkan Anda menulis beberapa prompt yang "dijadwalkan", artinya pada titik mana pun dalam animasi yang Anda pilih, animasi akan beralih ke pembuatan bingkai berdasarkan prompt berikutnya dalam jadwal.

Klik tab "Prompts" dan ubah prompt yang ada menjadi apa pun yang Anda inginkan, pertahankan braket dan struktur tab di tempatnya. Sebagai contoh kita, kita akan menggunakan set prompt ini:

 {
    "0": "robot berdiri di bawah langit malam selama hujan meteor, bintang jatuh, galaksi, kosmos, bima sakti, ultra realistis, sangat detail, 4k uhd",
    "40": "sebuah stasiun luar angkasa terbang melintasi angkasa selama hujan meteor, sangat realistis, sangat detail",
    "80": "supernova meledak, warna-warna cerah, sangat realistis, sangat detail"
}

Jadi apa arti angka-angka itu? Secara default Deforum menghasilkan 120 frame untuk animasi Anda, dan kami membagi rangkaian frame tersebut menjadi tiga bagian. 0 menandakan frame pertama, jadi itu dan semua frame setelahnya akan menjadi variasi im2img dari prompt pertama. Kemudian pada frame 40, Stable Diffusion akan mulai membuat variasi berdasarkan prompt kedua kita. Pada 80, itu beralih ke yang ketiga. Anda dapat menambahkan perubahan cepat sebanyak yang Anda inginkan dan menyesuaikan batas bingkai maksimal pada tab Bingkai Kunci sesuai kebutuhan.

Langkah 3: Sesuaikan Pengaturan Deforum

Anda mungkin telah memperhatikan ada banyak sekali pengaturan yang terlibat dalam Deforum, tetapi kami akan membahas beberapa untuk membantu Anda memulai. Pertama, di tab "Jalankan", Anda akan menemukan banyak pengaturan Difusi Stabil khas Anda. Ganti nama batch, masukkan benih yang ingin Anda mulai (kami menggunakan kembali untuk robot kami), dan ubah sampler ke yang Anda inginkan.

Di tab Keyframes Anda dapat mengatur gerakan "kamera" untuk animasi. Ini disetel secara default untuk memperbesar pada interval, tetapi kami ingin menambahkan gerakan "geser" vertikal, jadi kami akan menambahkan 0:(-2), 100:(4) ke bingkai "Terjemahan Y". Itu memberitahu Deforum untuk memperlakukan frame pertama sebagai piksel -2 pada sumbu Y, lalu dengan frame 100 pindah ke piksel 4. Itu akan memberi kita sedikit gerakan ke atas saat animasi berlangsung.

Di tab Keluaran, kami akan mencentang kotak "Buat GIF" yang akan memberi kami file GIF selain file video MPEG. Ini juga tempat Anda menambahkan audio dengan pengaturan "Add Soundtrack" dan "Soundtrack Path", jika Anda memilikinya.

Langkah 4: Hasilkan Video Anda

Akhirnya, tekan tombol "Hasilkan" yang besar itu. Karena Deforum membuat dan menggabungkan banyak bingkai, ini akan memakan waktu, jadi ambil kopi sambil menunggu. Setelah selesai, Anda akan menemukan file MPEG, versi GIF, ditambah setiap frame individu dan pembacaan pengaturan yang Anda gunakan di bawah nama batch di direktori /outputs/img2img-images Anda.

Inilah yang kami dapatkan dari prompt kami:

Ini bukan blockbuster musim panas, tapi masih memesona! Lihat panduan mulai cepat Deforum resmi untuk mempelajari semua kenop dan dial lain yang dapat Anda sesuaikan.

Jika Anda sedang mencari proyek AI keren lainnya, pelajari cara membuat paket tekstur Minecraft dengan Stable Diffusion atau memulai dengan ChatGPT, plus hal mengejutkan yang dapat Anda lakukan dengan ChatGPT.