Yapay Zeka GIF'leri ve Videoları Oluşturmak için Kararlı Difüzyon Nasıl Kullanılır?

Kararlı Difüzyon, durağan görüntülerden daha fazlasını üretme yeteneğine sahiptir. Bazı yerleşik araçlar ve özel bir uzantı ile fazla çaba harcamadan çok güzel AI videoları elde edebilirsiniz. Hareketli bir GIF veya Stable Diffusion ile gerçek bir video dosyası için karelerin nasıl oluşturulacağı aşağıda açıklanmıştır.

Kararlı Difüzyon Video Oluşturabilir mi?

Yapay zeka tarafından üretilen film hala gelişmekte olan bir alan olsa da, Stable Diffusion ile GIF veya gerçek bir video dosyası olarak bazı basit animasyonlar oluşturmak teknik olarak mümkündür. Yine de sınırlamalar var.

img2img, belirli bir görüntünün varyasyonlarını oluşturmayı kolaylaştırdığından, Stable Diffusion, özellikle döngüsel olanlar olmak üzere animasyonlar için bir grup kareyi hızlı bir şekilde oluşturmaya uygundur. Bir ateşten yükselen alevleri, bir arabanın tekerleklerini veya bir çeşmeden sıçrayan suyu düşünün. Pratik bir kullanım, bazı RPG çizimlerine gerçeğe yakın bir ortam vermek olabilir:

Yapay görüntüler yerine gerçek görüntülere dayalı videolar bile oluşturabilirsiniz. Burada sulanan bir bitkinin fotoğrafını çektim ve birkaç tıklamayla su akışını hareketlendirdim:

Bir nesneyi A noktasından B noktasına hareket edecek şekilde canlandırmak istiyorsanız, bu, Stabil Difüzyon için zor bir iştir (en azından şimdilik). Komut istemlerini ve ayarları ince ayar yapmak için muhtemelen çok zaman harcıyor, ardından en iyi kareleri bulmak ve bunları doğru sıraya yerleştirmek için bir ton çıktı üzerinde çalışıyor olacaksınız. Bu noktada, Adobe Illustrator'ı açıp elle canlandırmaya başlayabilirsiniz.

Buna rağmen, temel bir Kararlı Difüzyon kurulumu ve bir animasyonda kareleri birleştirmek için seçtiğiniz başka bir araçla harika, basit animasyonlar oluşturabilirsiniz. Oldukça ilginç görünen "dönüştürme" animasyonları yaratmak için Stable Difusion'ı kullanan Deforum adlı bir proje de var. Bir MP4 videosu çıkarır, bu nedenle hiçbir harici araç gerekmez ve hatta ses eklemenize bile izin verir. Size her iki yöntemin de temellerini göstereceğiz.

Not: Bu makalenin amacı doğrultusunda, Stable Diffusion için bir grafik arayüzü, özellikle AUTOMATIC1111'in Stable Diffusion web kullanıcı arayüzünü zaten yüklediğinizi varsayacağız. Standart komut satırı kurulumuyla karşılaştırıldığında, görüntü oluşturmayı çok daha kolay hale getirir ve tonlarca kullanışlı araç ve ekstrayla birlikte gelir.

Inpaint Kullanarak Bir Görüntüyü Canlandırın

Inpaint img2img aracını kullanarak, bir görüntünün canlandırmak istediğiniz bölümünü vurgulayabilir ve bunun çeşitli varyasyonlarını oluşturabilirsiniz. Ardından bunları bir GIF veya video oluşturucuya atacak ve kareleri bir animasyon olarak kaydedeceksiniz.

1. Adım: Bir Görüntü ve İstemi Alın

Canlandırmak istediğiniz bir görüntüyü img2img aracının Inpaint sekmesine bırakarak başlayın. Halihazırda oluşturulmuş bir fotoğrafınız yoksa, iyi bir başlangıç ​​fotoğrafı elde etmek için iyi bir komut istemi yazmak için biraz zaman ayırın. Kendi fotoğrafını çektiğiniz veya çizdiğiniz bir görüntüyü de içe aktarabilirsiniz.

Stable Diffusion ile oluşturmadığınız bir görüntüyü içe aktarıyorsanız, varyasyonları oluşturmak için yine de uygun bir isteme ihtiyacınız olacak, bu nedenle Img2Img sayfasının üst kısmındaki "CLIP'i Sorgula" seçeneğine tıklayın. Bu, Kararlı Difüzyon'un görüntünüzün ne içerdiğini düşündüğüne bağlı olarak bir başlangıç ​​istemi oluşturur. Diğer önemli ayrıntıları ekleyerek istemi tamamlayın.

Rehberimiz için, kayan yıldızlar ve geçen galaksiler ile hızlandırılmış bir tür animasyon vermek istediğimiz bir gece gökyüzünün altında bir robotun 512×512 görüntüsünü oluşturduk.

Kesin olarak takip etmek istiyorsanız, kullandığımız komut istemiyle yeniden oluşturabilirsiniz:

 bir robot meteor yağmuru sırasında gece gökyüzüne bakan bir alanda duruyor, kayan yıldızlar, galaksiler, evren, samanyolu, ultra gerçekçi, son derece detaylı, 4k uhd

Bunlar da kullandığımız ayarlar:

2. Adım: InPaint ile Canlandırmak İçin Parçaları Maskeleyin

Görüntünüz ve komut isteminiz yerindeyken, Inpaint aracında, görüntünün canlandırmak istediğiniz her bölümünü maskelemek (örtbas etmek) için boya fırçasını kullanın. Statik olmasını istediğiniz her şeyi açıkta bırakın.

Örneğimizde, gökyüzünün çoğunu kaplıyoruz. Robotun etrafına biraz yastık bıraktık çünkü testimizde çok yaklaşırsak Stable Difusion bazen robota antenler ve diğer uzantılar eklerdi.

İpucu: Inpaint fırça boyutunu, tuvalin sağ üst köşesindeki fırça düğmesine tıklayarak kaydırıcıyla ayarlayabilirsiniz.

3. Adım: Çerçevelerinizi Oluşturun

Artık görüntünüzün hareket ettiğini görmek istediğiniz her parçasını maskelediğinize göre, animasyonumuzun karelerini oluşturmanın zamanı geldi. Ama önce, img2img'nin doğru ayarlara sahip olduğundan emin olmak isteyeceksiniz. Kafa karıştırıcı olabilirler, bu yüzden bazılarının ne anlama geldiğini ve neden onları değiştirmek isteyip istemediğinizi açıklayacağız:

• Maske Modu: Inpaint Masked – Bu, kapsanan her şeyin değişmesini ve tersinin olmamasını sağlar. Herhangi bir nedenle bunun yerine maskesiz kısmı değiştirmek isterseniz, bunu "Maskelenmemiş İç Boyama" olarak değiştirin.
• Maskelenmiş İçerik: Orijinal – Bu, Stabil Difüzyon'un varyasyonlar oluştururken mevcut görüntüyü görmesini ve dikkate almasını sağlar. Aksi takdirde, maskelenmiş içeriği boş veya rastgele bir tuval olarak kabul eder.
• İç Boyama Alanı: Tüm Resim – Bu, Stable Difüzyon'u orijinal görüntüyle bütünleştirmeden önce her kare için tamamen yeni bir görüntü oluşturmaya zorlar. "Yalnızca Maskeli"ye geçmek, üretimi hızlandırabilir ancak size daha kötü sonuçlar da verebilir.
• Örnekleme Yöntemi: DPM++ SDE – Bu, orijinal görüntümüzü oluşturmak için kullandığımız örnekleme yönteminin aynısıdır ve tutarlı bir görünüm sağlamak için buna bağlı kalıyoruz. Ne kullanacağınızı bilmiyorsanız, “Euler a” çok yönlü iyi bir seçimdir.
• Parti Sayısı: 60 – Bu, oluşturmak istediğiniz görüntü sayısıdır. Animasyon dizinizin ne kadar hızlı ve ne kadar uzun olmasını istediğinize bağlı olarak daha fazla veya daha azına ihtiyacınız olabilir.
• CFG Ölçeği: 5 – CFG ölçeği, bir anlamda, Kararlı Difüzyonun ne kadar yaratıcı özgürlüğe sahip olduğunu belirler. Sayı ne kadar yüksek olursa, Kararlı Difüzyon isteminizi o kadar sıkı takip etmeye çalışacaktır. Arttırmak ve iyi sonuçlar almak, çok iyi bir istem sahibi olmayı gerektirir.
• Gürültü Giderme Gücü: 0,3 – Bu proje için muhtemelen en önemli ayar olan gürültü giderme ölçeği, Kararlı Difüzyonun orijinal görüntüyü ne kadar değiştireceğini belirler. Muhtemelen 0,2 veya 0,3 civarında tutmak istersiniz, çünkü kareden kareye çok fazla değişiklik animasyonu mahvedebilir.
• Tohum: -1 – Bu, Kararlı Difüzyona rastgele bir tohumla başlamasını söyler. Alacağınız varyasyon miktarını (varsa) azaltacağından, orijinal görselinizin çekirdeğini yeniden kullanmanızı önermiyoruz.

Tüm ayarlarınız yerindeyken, "Oluştur"a tıklayın ve Stable Diffusion sizin için animasyon karelerinizi çizerken arkanıza yaslanın. Bunları Kararlı Yayılma dizininizin /outputs/img2img-images klasöründe bulacaksınız. Sonuçları beğenmediyseniz, ayarları değiştirin (muhtemelen gürültü giderme ve örnekleme adımlarıyla başlayarak) ve tekrar deneyin.

4. Adım: Çerçevelerinizi Toplu Olarak Yükseltin (İsteğe Bağlı)

Yüksek tanımlı bir video oluşturmayı planlıyorsanız, yeni oluşturulan tüm karelerinizi istediğiniz çözünürlüğe yükseltmeyi unutmayın. Başlamak için "Ekstralara Gönder"i tıklayın.

Ekstralar içinde, "Toplu İşlem" sekmesine geçin.

"Yeniden Boyutlandır" ölçeğini, yeniden boyutlandırmasını istediğiniz sayıya ayarlayın (2'ye ayarlamak 512×512 görüntüyü 1024×1024 görüntüye değiştirir). Alternatif olarak, "Ölçekleme ölçütü"nden "Şuna ölçekleme"ye geçin ve belirli bir çözünürlük ayarlayın. Ayrıca, "Yükseltme 1"i istediğiniz yükseltmeye ayarlayın. R-ESRGAN 4x+ ile yeterince iyi sonuçlar elde ettik, ancak resimlerinizi en iyi hangisinin işlediğini görmek için denemekten çekinmeyin.

Ardından "Oluştur" düğmesine basın ve Stable Difüzyon size her karenin /outputs/extras klasörünüze kaydedilmiş daha yüksek çözünürlüklü bir sürümünü verecektir.

5. Adım: Bir GIF veya Video Oluşturucuda Kareleri Hareketlendirin

Artık karelerinizi aldığınıza göre, hepsini bir araya getirme ve son animasyonunuzu oluşturma zamanı. Ezgif ve flixier gibi kullanımı kolay ve birçok ince ayar kontrolüne sahip ücretsiz özel web siteleri de dahil olmak üzere bunu yapabileceğiniz birçok araç vardır. Ancak, bu web sitelerinin yüklediğiniz her şeyi görebildiğini unutmayın, bu nedenle onlara dünyanın bilmesinden rahatsız olduğunuz hiçbir şey vermeyin.

Bu web siteleri oldukça açıklayıcı olsa da, bir GIF oluşturmak için ücretsiz bir çevrimdışı fotoğraf düzenleme aracı olan GIMP'yi nasıl kullandığınızı göstereceğiz. Bir video dosyası istiyorsanız, bunun yerine Kdenlive veya benzeri bir video düzenleyici kullanın; yalnızca, istediğiniz saniyede kaç kareye bağlı olarak tüm karelerinizin bir saniye veya daha kısa klipler olarak içe aktarılacağı şekilde ayarları ince ayar yaptığınızdan emin olun.

Başlamak için GIMP'yi indirin ve henüz yapmadıysanız bilgisayarınıza kurun. Başlatın, ardından Dosya > Katman Olarak Aç'a gidin.

Oluşturduğunuz çerçevelerin nerede olduğunu bulun ve "Aç"ı tıklamadan önce hepsini birden seçin. (Hızlı bir şekilde birden fazla dosya seçmek için Shift tuşunu basılı tutun.) GIMP, tüm resimlerinizi tek bir tuval üzerinde ayrı bir katman olarak içe aktaracaktır. Bunu istiyoruz çünkü GIMP'nin GIF oluşturma yöntemi, her katmanı aşağıdan yukarıya doğru geçmek ve her ardışık katmanı animasyondaki bir sonraki kare olarak ele almaktır.

Şimdi eğlenceli kısım. GIF'inizin önizlemesini izlemek için Filtreler > Animasyon > Oynatma'ya gidin.

GIF'i oynatmak ve duraklatmak için boşluk çubuğuna basın. Kareler çok hızlı veya yavaş geçiyorsa, oynatma iletişim kutusunun alt kısmındaki FPS'yi ayarlayın ve önizlemeyi yeni kare hızıyla yeniden yüklemek için üst kısımdaki yenile düğmesine tıklayın.

Animasyon size iyi göründüğünde, GIF dosyasını oluşturma zamanı. Önizlemeyi kapatın ve Dosya > Farklı Dışa Aktar'ı tıklayın. Dosya kaydetme adını yazdığınızda, GIMP'nin GIF istediğinizi anlaması için sonuna .gif uzantısını ekleyin.

Görünen GIF dışa aktarma iletişim kutusunda, “Animasyon Olarak” kutusunun işaretli olduğundan emin olun. Farklı bir kare hızı istiyorsanız, kareler arasındaki milisaniye sayısını da ayarlayın. Saniyede 1000 milisaniye vardır, bu yüzden 100 size yaklaşık 10 FPS verir. Son olarak, "Dışa Aktar"ı tıklayın.

Boom, eksiksiz bir animasyonlu GIF'iniz var.

Deforum Kullanarak Video Oluşturun

Stable Diffusion ile daha ilginç animasyonlar oluşturmak ve üzerinde çalışmanız için yalnızca bir grup kare yerine video dosyaları çıktısını almak istiyorsanız, Deforum'u kullanın. Bu, sesle bile MP4 video dosyalarını yönetmenizi ve oluşturmanızı sağlayan, Stable Diffusion web kullanıcı arabirimi için mevcut bir uzantıya sahip bir görüntü sentezi projesidir. Kamera kaydırma ve yakınlaştırma, birden çok komut istemi ve video içe aktarma dahil olmak üzere denenecek birçok ayara sahip çok güçlü ve karmaşık bir araçtır.

Amaçlarımız doğrultusunda, sizi oldukça basit ama ilginç bir animasyon oluşturmanın temelleriyle tanıştıracağız.

1. Adım: Deforum Uzantısını Kurun

Deforum uzantısını almak için, bir komut istemi açın ve dizinleri stable-diffusion-web-ui klasörünüze değiştirin. Ardından, uzantılar klasör kullanımınıza Deforum'u yüklemek için bu git clone komutunu kullanın.

 git klonu https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

Stable Diffusion web kullanıcı arayüzünü normal şekilde başlatın ve artık arayüzünüzde bulunan Deforum sekmesini açın.

İpucu: Deforum uzantısı, varsayılanlar yerinde hazır olarak gelir, böylece bir kediye, ardından bir hindistan cevizine ve ardından bir durian'a dönüşen bir tavşanın videosunu oluşturmak için hemen "Oluştur" düğmesine basabilirsiniz. Oldukça havalı!

2. Adım: İstemlerinizi Yazın

Stable Diffusion ile bireysel bilgi istemleri yazmaya alışkın olabilirsiniz, ancak Deforum, "planlanmış" birden çok bilgi istemi yazmanıza izin verir, yani animasyonun hangi noktasında seçerseniz seçin, programdaki bir sonraki istemi temel alan kareler oluşturmaya geçer.

"İstemler" sekmesine tıklayın ve parantez ve sekme yapısını yerinde tutarak mevcut istemleri istediğiniz şekilde değiştirin. Örneğimiz için, şu istem dizisini kullanacağız:

 {
    "0": "meteor yağmuru sırasında gece göğünün altında duran bir robot, kayan yıldızlar, galaksiler, evren, samanyolu, ultra gerçekçi, son derece detaylı, 4k uhd",
    "40": "meteor yağmuru sırasında uzayda uçan bir uzay istasyonu, ultra gerçekçi, son derece ayrıntılı",
    "80": "bir süpernova patlıyor, canlı renkler, ultra gerçekçi, son derece ayrıntılı"
}

Peki bu sayılar ne anlama geliyor? Varsayılan olarak Deforum, animasyonunuz için 120 kare oluşturur ve biz bu kare grubunu üç parçaya ayırıyoruz. 0 ilk kareyi belirtir, dolayısıyla o ve ondan sonraki tüm kareler ilk istemin im2img varyasyonları olacaktır. Ardından, 40. karede, Stable Difusion, ikinci istemimize göre varyasyonlar yapmaya başlayacaktır. 80'de üçüncüye geçer. Anahtar Kareler sekmesinde istediğiniz kadar bilgi istemi değişikliği ekleyebilir ve maksimum kare sınırını gerektiği gibi ayarlayabilirsiniz.

3. Adım: Deforum Ayarlarını Düzenleyin

Muhtemelen Deforum'da bir ton ayar olduğunu fark etmişsinizdir, ancak başlamanız için birkaçını gözden geçireceğiz. İlk olarak, "Çalıştır" sekmesinde, tipik Kararlı Difüzyon ayarlarınızın çoğunu bulacaksınız. Grubu yeniden adlandırın, başlamak istediğiniz çekirdeği girin (robotumuz için olanı yeniden kullanıyoruz) ve örnekleyiciyi istediğiniz tohumla değiştirin.

Anahtar Kareler sekmesinde, animasyon için "kamera"nın hareketini ayarlayabilirsiniz. Varsayılan olarak aralıklarla yakınlaştıracak şekilde ayarlanmıştır, ancak dikey bir "kaydırma" hareketi eklemek istiyoruz, bu nedenle "Çeviri Y" çerçevesine 0:(-2), 100:(4) ekleyeceğiz. Bu, Deforum'a ilk kareyi Y ekseni üzerinde piksel -2'deymiş gibi ele almasını, ardından kare 100'de piksel 4'e geçmesini söyler. Bu, animasyon ilerledikçe bize hafif bir yukarı kaydırma sağlayacaktır.

Çıktı sekmesinde, MPEG video dosyasına ek olarak bize bir GIF dosyası verecek olan “GIF Yap” kutusunu işaretleyeceğiz. Burası aynı zamanda, eğer varsa, “Film Müziği Ekle” ve “Film Müziği Yolu” ayarlarıyla ses ekleyeceğiniz yerdir.

4. Adım: Videonuzu Oluşturun

Son olarak, o büyük "Oluştur" düğmesine basın. Deforum birçok kare oluşturup birleştirdiğinden, bu zaman alacaktır, bu yüzden beklerken biraz kahve alın. Tamamlandığında, /outputs/img2img-images dizininizde MPEG dosyasını, GIF sürümünü, artı her bir kareyi ve toplu iş adı altında kullandığınız ayarların bir okumasını bulacaksınız.

İstemimizin bize kazandırdığı şey şu:

Gişe rekorları kıran bir yaz filmi değil ama yine de büyüleyici! Ayarlayabileceğiniz diğer tüm düğmeler ve kadranlar hakkında bilgi edinmek için resmi Deforum hızlı başlangıç ​​kılavuzuna göz atın.

Başka harika AI projeleri arıyorsanız, Stable Diffusion ile Minecraft doku paketlerini nasıl oluşturacağınızı öğrenin veya ChatGPT'ye başlayın ve ayrıca ChatGPT ile yapabileceğiniz şaşırtıcı şeyler.