ChatGPT Benzeri Bir Yapay Zekayı Kendi Bilgisayarınızda Nasıl Çalıştırırsınız?

Chatbot'lar şu anda çok revaçta ve herkes aksiyondan bir parça istiyor. Google'ın Bard'ı var, Microsoft'un Bing Chat'i var ve OpenAI'nin ChatGPT'si bu noktada pratik olarak AI ile eşanlamlıdır. Peki ya chatbot'unuz için bir bulut hizmetine güvenmek istemiyorsanız? İndirebileceğiniz ChatGPT benzeri bir yapay zekamız var - bir Alpaka.

Alpaka Nedir?

Alpaka, ChatGPT'ye çok benzeyen bir dil modelidir (temelde bir sohbet robotu). Soruları yanıtlayabilir, akıl yürütebilir, şakalar yapabilir ve sohbet robotlarından beklediğimiz hemen hemen her şeyi yapabilir. Alpaca, Stanford araştırmacıları tarafından Facebook'un LLaMA'sında ince ayar yapılarak oluşturuldu.

ChatGPT'nin ve bugün mevcut olan diğer birçok sohbet robotunun aksine, Alpaca tamamen kendi PC'nizde çalışır. Bu, hiç kimsenin konuşmalarınızı veya Alpaca'ya ne sorduğunuzu gözetleyemeyeceği ve paylaşımlarınızın da yanlışlıkla sızdırılamayacağı anlamına gelir. Bu aynı zamanda herhangi bir aylık ücret ödemeniz gerekmediği, donanımınız varsa modeli ihtiyaçlarınıza daha iyi uyacak şekilde eğitebileceğiniz ve istediğiniz herhangi bir uygulamaya entegre edebileceğiniz anlamına gelir. Yalnızca donanımınız ve programlama becerilerinizle sınırlısınız.

Ancak, aynı zamanda konuşabileceğiniz sıradan bir eski sohbet robotu kadar güzel çalışıyor ve onu hemen hemen her PC'de nasıl çalıştıracağınızı göstereceğiz.

Alpaca, ChatGPT ile Nasıl Karşılaştırılır?

Sorunu baştan ele alacağız: ChatGPT, özellikle de GPT-4 çalıştıran ChatGPT, şu anda Alpaca'dan daha akıllı ve daha hızlı.

Alpaca'nın hızı çoğunlukla üzerinde çalıştığı bilgisayarla sınırlıdır — tonlarca çekirdeğe ve bol miktarda RAM'e sahip son derece hızlı bir oyun PC'niz varsa, ondan iyi performans alırsınız. Daha az çekirdeğe sahip daha yavaş bilgisayarların yanıt oluşturması daha uzun sürer. Elbette, bu açıdan onu ChatGPT ile karşılaştırmak tam olarak adil ve hatta makul değil — ChatGPT'nin ne tür bir bilgisayarda çalıştığını bilmiyoruz, ancak kesinlikle ortalama masaüstü bilgisayarınızdan daha güçlü.

Şu anda Alpaka'nın üç ana çeşidi vardır: 7B, 13B ve 30B. Genel olarak konuşursak, sayı ne kadar büyük olursa, sohbet robotu o kadar akıllı olur.

Alpaka, özellikle 7B modeli, ChatGPT'den fark edilir derecede "aptal". O da akıl yürütmez ve kesinlikle Turing testini geçemez. Bununla birlikte, bir tarif önerisi istiyorsanız, 7B yine de harika.

13B ve 30B modelleri bambaşka bir hikaye. 13B tutarlı, insan benzeri bir konuşma sağlama yeteneğine sahiptir ve karmaşık soruları yanıtlayabilir. 30B, onu çalıştıracak donanıma sahipseniz ve ChatGPT'ye çok yakınsa, daha da etkileyicidir. İstenirse felsefi olarak parlayacak veya bir ritmi kaçırmadan şaka yapacak.

Alpaka'yı Çalıştırmak İçin Neye İhtiyacınız Var?

Alpaca oldukça esnek sistem gereksinimlerine sahiptir. Bu yönergeler, minimumun üzerindedir ancak iyi yönergelerdir. Bunu Windows'a da kuracağız. Bunu Linux veya macOS çalıştıran bir sisteme kuruyorsanız, Linux için Windows Alt Sistemi bölümünü atlayın; bu sizi ilgilendirmez.

• 16 GB RAM
  • 32 GB daha iyidir ve 30B modelini çalıştırmak istiyorsanız gereklidir
• Üç modeli de istiyorsanız bir SSD'de 35 GB depolama.
  • 7B modeli için 4 GB, 13B modeli için 8 GB ve 30B modeli için 20 GB
  • WSL2 ile varsayılan Ubuntu için 500MB
  • Diğer bağımlılıklar arasında birkaç GB daha
• Modern bir CPU idealdir
  • Herhangi bir Ryzen CPU
  • 7. Nesil Intel İşlemci veya Daha Yenisi
• Linux 2 için Windows Alt Sistemi (WSL2)
• GİT
• Liman işçisi
• Alpaca'ya güzel bir web arayüzü kazandıran bir topluluk projesi olan Serge

Uyarı: Şu anda bu özel projenin herhangi bir büyük güvenlik hatası olduğundan veya kötü amaçlı olduğundan şüphelenmek için hiçbir neden yok. Kodu inceledik ve yazılımı kendimiz çalıştırdık ve ilgili hiçbir şey bulamadık. Bu, güvenli olduğu veya kalacağı anlamına gelmez. İnternette bulduğunuz şeylere karşı her zaman dikkatli olun ve güvenliği periyodik olarak yeniden değerlendirin.

Alpaca'yı PC'nizde Yerel Olarak Nasıl Çalıştırırsınız?

Bu adımları verildikleri sırayla uygulamanız önemlidir. Docker, hem WSL2'nin hem de Docker'ın tamamen yeniden yüklenmesini gerektirecek şekilde, büyük olasılıkla bozulur.

Linux 2 için Windows Alt Sistemini Kurun

Microsoft'un Linux 2 için Windows Alt Sistemi (WSL2), Linux yazılımını Windows'ta çalıştırmanıza izin verir. Düşük bir yükü vardır ve birçok durumda gerçekten kullanışlıdır. Windows için Docker, WSL2'ye dayanır, bu nedenle önce WSL2'yi yüklememiz gerekir.

Not: Zaten WSL2 kuruluysa, her şeyin güncellendiğinden emin olmak için PowerShell'de wsl –update komutunu çalıştırın.

Yönetici olarak bir PowerShell penceresi açın, ardından şu komutu girin:

wsl --install

Tüm WSL2 dosyalarını ve Ubuntu'yu indirmek biraz zaman alacaktır. Kurulum tamamlandıktan sonra PC'nizi yeniden başlatmanız gerekir.

Yeniden başlatma gerçekleştirildikten sonra PowerShell'i yeniden açın (yönetici olması gerekmez) ve şunu çalıştırın:

wsl -l -v

Her şey doğru çalıştıysa, aşağıdaki resimdeki gibi bir şey görmelisiniz. Ayrıca özellikle Ubuntu kurmanıza gerek yoktur. İstediğiniz herhangi bir dağıtımı kurabilirsiniz, Ubuntu yalnızca varsayılandır.

Docker'ı yükleyin

Docker, programları bir "kapsayıcıda" çalıştırmanıza izin veren bir programdır. Konteynerler sanal makinelere benzer, ancak daha az ek yüke sahip olma eğilimindedirler ve birçok uygulama için daha yüksek performans gösterirler. Serge, kurulumu son derece kolay hale getirmek için Docker'ı kullanıyor.

İLGİLİ: Docker Ne Yapar ve Ne Zaman Kullanmalısınız?

Öncelikle, Docker web sitesinden Docker yükleyicisini indirin. Docker'ı Linux veya macOS üzerinde çalıştıracaksanız uygun yükleyiciyi edindiğinizden emin olun.

Not: Başsız bir Linux sunucusu çalıştırıyorsanız, Docker'ı çalıştırmak için Linux dağıtımınızın uygun talimatlarını izlemek isteyeceksiniz.

Yükleyiciyi çalıştırın ve birkaç dakika beklemeye hazır olun. Docker biraz zaman alacak ve perde arkasında bir sürü şey kuracak. Tamamlandığında, PC'nizi yeniden başlatmak isteyeceksiniz.

Yeniden başlattıktan sonra PowerShell'i açın ve wsl -l -v tekrar çalıştırın. Bu sefer Docker ile ilgili bazı girişleri de görmelisiniz.

GIT'i Windows'a yükleyin

Son önkoşul, Serge'i Github'dan otomatik olarak indirmek (ve güncellemek) için kullanacağımız Git'tir. ZIP dosyasını her zaman indirip manuel olarak çıkarabileceğiniz için kesinlikle gerekli değildir, ancak Git daha iyidir.

Git web sitesine gidin ve işletim sisteminiz için doğru sürümü indirin. Windows kullanıcılarının yürütülebilir dosyayı çalıştırması yeterlidir. Tüm seçenekler arasında hızlı bir şekilde tıklamak yerine en azından kurulum seçeneklerine baktığınızdan emin olun. Aşağıdaki ekran görüntüsünde gösterilen biri kesinlikle kritiktir.

Git'in kurulumu bittiğinde, Serge ve Alpaca'yı kurmaya hazırsınız.

Serge ve Alpaca'yı kurun

Öncelikle, Docker Desktop'ın çalıştığından emin olun. Ardından, bir PowerShell penceresi açıkken (yönetici olarak değil) PowerShell veya Windows Terminal'i açın ve aşağıdaki komutu çalıştırın:

git clone https://github.com/nsarrazin/serge.git && cd serge

Bu, dosyaları GitHub'dan PC'nizdeki bir klasöre indirir, ardından aktif dizini oluşturulan klasöre değiştirir.

Çalıştırmanız gereken bir sonraki komut:

cp .env.sample .env

Bu satır, .env.sample'ın bir kopyasını oluşturur ve kopyayı ".env" olarak adlandırır. Dosya, konuşmalarınızı depolayan yerel veritabanı ve bağlandığınızda yerel web sunucusunun kullandığı bağlantı noktasıyla ilgili bağımsız değişkenler içerir.

O zaman koş:

docker compose up -d

Docker compose, birkaç farklı kapsayıcıyı düzgün bir pakette birbirine bağlar. Burada nelerin yer aldığını daha spesifik olarak görmek isterseniz, Serge klasöründeki docker-compose.yml dosyasına göz atabilirsiniz.

Son komut bir indirme işlemini başlatacak ve burada devam etmeden önce bir seçim yapmanız gerekiyor. İndirebileceğiniz üç farklı varyant vardır: 7B, 13B ve 30B. 7B en basit ve "en aptal" modelken, 30B en gelişmiş ve en akıllı modeldir. 13B orta yol.

Linux (ve muhtemelen macOS) kurulumları, Windows kurulumlarından daha az sistem RAM'i ile kurtulabilecektir - Windows biraz RAM domuzudur. En az talepkar seçenek olduğu için muhtemelen önce 7B varyantı ile başlamalısınız. İsterseniz her zaman 13B veya 30B'yi daha sonra indirebilirsiniz.

7B modelini (veya 13B veya 30B yerine) indirmek için aşağıdaki komutu çalıştırın.

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Özellikle 30B varyantını seçerseniz, beklemeye hazırlıklı olun. Huggingface sunucusu saniyede yaklaşık 20 megabayt ile zirve yapıyor gibi görünüyor, bu nedenle en iyi senaryoda indirilen gigabayt başına 50 saniyeye bakacaksınız.

Serge ve Alpaca'yı kullanın

Bu talimatları izlediyseniz Docker ve gerekli tüm kapsayıcılar şu anda çalışıyor, ancak bilgisayarınızı yeniden başlattığınızda bunları tekrar açmanız gerekecek. Bunu yapmak için Docker Desktop'ı açın ve küçük üçgen düğmeleri tıklayın. Konteynerler çalışırken “Ad” sütununun solundaki simgeler yeşile döner.

Bu noktada her şey kurulu ve kullanıma hazır. Sadece tarayıcınızı açın ve tıpkı Facebook'u veya başka bir web sitesini ziyaret ettiğiniz gibi adres çubuğuna "localhost:8008" yazın.

Not: Alpaca/Serge'i başka bir bilgisayarda barındırıyorsanız, localhost yerine o cihazın yerel IP adresini girmeniz gerekir.

Ana ekranda, sol tarafta önceki konuşmalarınız ve ortada görüntülenen yeni bir sohbet için ayarlar bulunur.

Çok sayıda ayar mevcuttur, ancak gerçekten dikkat etmek isteyeceğiniz beş ayar vardır:

• Sıcaklık – AI'nın ne kadar özgürce yanıt verdiğini belirler. Daha düşük sayılar daha katı yanıtlarla sonuçlanırken, daha yüksek sayılar daha yaratıcıdır.
• Belirteçlerde Oluşturulan Maksimum Metin Uzunluğu – Botun yazdığı yanıtların ne kadar uzun olabileceği.
• Model Seçimi – 7B, 13B, 30B ve kurduğunuz diğer modeller arasından seçim yapın.
• n_threads – Serge/Alpaca'nın CPU'nuzda kullanabileceği iş parçacığı sayısı. Daha fazlasını ayırmak performansı artıracaktır
• Bir Sohbeti Başlatmak İçin Ön Bilgi İstemi – Sohbet botunun yanıt verme biçimini saptırmak için konuşma başlamadan önce bağlam sağlar.

Bu durumda, sıcaklığı ve iş parçacıklarını yükselttik, 13B modelini seçtik ve chatbot'a bunun bir korsan olduğunu söyledik.

İşte konuşmanın nasıl gittiğine dair bir örnek.

Alpaca ile istediğiniz her şey hakkında konuşabilirsiniz ve verilerinize ne olduğu konusunda endişelenmenize gerek yoktur. Cihazınızda, her zaman kontrolünüz altında kalır.

Unutmayın, ChatGPT, Alpaca ve diğer sohbet robotları güvenilir görünüyor, ancak şu anda değiller. Şu duyguyu fazlasıyla somutlaştırıyorlar: "Parlaklıkla gözlerini kamaştıramıyorsanız, BS ile şaşırtın." Bir şeyler uydurma eğilimlerine "halüsinasyon" adı verildi. Önemli hiçbir şey için onlara güvenmeyin, özellikle işiniz veya sağlığınız için kritik olmayan bir şey için. Şu anda yalnızca eğlence veya deneysel amaçlarla kullanılmalıdırlar.

Bununla birlikte, teknoloji yalnızca zamanla daha iyi hale gelecek - Discord sunucularına, Minecraft modlarına ve diğer herhangi bir sayıda yaratıcı uygulamaya entegre edilmiş Alpaca'yı (veya yerel olarak çalıştırılan diğer yapay zekayı) görmemiz çok uzun sürmeyecek. Daha fazla iyileştirme, daha zayıf donanımlarda çalışabilen daha hızlı, daha doğru modellerle de sonuçlanacaktır.