Cum să rulați un AI asemănător ChatGPT pe propriul computer

Chatboții sunt la furie în acest moment și toată lumea își dorește o parte din acțiune. Google are Bard, Microsoft are Bing Chat, iar ChatGPT de la OpenAI este practic sinonim cu AI în acest moment. Dar dacă nu doriți să vă bazați pe un serviciu cloud pentru chatbot-ul dvs.? Avem un AI asemănător ChatGPT pe care îl puteți descărca - un Alpaca.

Ce este Alpaca?

Alpaca este un model de limbă (un chatbot, practic), la fel ca ChatGPT. Este capabil să răspundă la întrebări, să raționeze, să spună glume și aproape la orice altceva la care ne-am așteptat de la chatbot. Alpaca a fost creat de cercetătorii de la Stanford prin reglarea fină a LLaMA de la Facebook.

Spre deosebire de ChatGPT și de majoritatea altor chatbot-uri disponibile astăzi, Alpaca rulează complet pe propriul tău computer. Asta înseamnă că nimeni nu poate să-ți curieze conversațiile sau ceea ce-i ceri Alpaca și nici schimburile tale nu pot fi scurse accidental. De asemenea, înseamnă că nu trebuie să plătiți nicio taxă lunară, puteți antrena modelul în continuare pentru a se potrivi mai bine nevoilor dvs. dacă aveți hardware și îl puteți integra în orice aplicație doriți. Sunteți limitat doar de hardware-ul și de programare.

Cu toate acestea, funcționează minunat și ca un chatbot vechi obișnuit cu care puteți vorbi și vă vom arăta cum să-l rulați pe aproape orice computer de acolo.

Cum se compară Alpaca cu ChatGPT?

O vom scoate din cale: ChatGPT, în special ChatGPT care rulează GPT-4, este mai inteligent și mai rapid decât Alpaca în acest moment.

Viteza lui Alpaca este limitată în cea mai mare parte de computerul pe care rulează - dacă aveți un PC de gaming extrem de rapid, cu o mulțime de nuclee și multă memorie RAM, veți obține performanțe bune din el. PC-urile mai lente, cu mai puține nuclee, vor dura mai mult pentru a genera răspunsuri. Desigur, nu este tocmai corect sau chiar rezonabil să-l comparăm cu ChatGPT în această privință – nu știm pe ce computer funcționează ChatGPT, dar este cu siguranță mai robust decât computerul tău desktop obișnuit.

Există trei variante principale de Alpaca în prezent, 7B, 13B și 30B. În general, cu cât numărul este mai mare, cu atât chatbot-ul va fi mai inteligent.

Alpaca, în special modelul 7B, este vizibil „mai prost” decât este ChatGPT. Nu motivează la fel de bine și cu siguranță nu va trece testul Turing. Cu toate acestea, 7B este grozav dacă doriți o sugestie de rețetă.

Modelele 13B și 30B sunt cu totul altă poveste. 13B este capabil să ofere o conversație coerentă, asemănătoare unui om și poate răspunde la întrebări complexe. 30B este și mai impresionant, dacă aveți hardware-ul necesar pentru a-l rula și se află la o distanță izbitoare de ChatGPT. Va continua filozofic sau va face o glumă fără să piardă o bătaie dacă vi se va cere.

De ce ai nevoie pentru a rula Alpaca?

Alpaca are cerințe de sistem destul de flexibile. Aceste orientări sunt peste minimul strict, dar sunt orientări bune. De asemenea, vom instala acest lucru pe Windows. Dacă instalați acest lucru pe un sistem care rulează Linux sau macOS, treceți peste secțiunea Subsistem Windows pentru Linux - nu este relevantă pentru dvs.

• 16 GB de RAM
  • 32 GB este mai bun și este necesar dacă doriți să rulați modelul 30B
• 35 GB spațiu de stocare pe un SSD dacă doriți toate cele trei modele.
  • 4 GB pentru modelul 7B, 8 GB pentru modelul 13B și 20 GB pentru modelul 30B
  • 500 MB pentru Ubuntu implicit cu WSL2
  • Încă câțiva GB între alte dependențe
• Un procesor modern este ideal
  • Orice procesor Ryzen
  • Procesor Intel de a 7-a generație sau mai nou
• Subsistemul Windows pentru Linux 2 (WSL2)
• GIT
• Docher
• Un proiect comunitar, Serge, care oferă Alpaca o interfață web drăguță

Avertisment: în prezent nu există niciun motiv să suspectăm că acest proiect are erori majore de securitate sau este rău intenționat. Am analizat codul și am rulat software-ul singuri și nu am găsit nimic în ceea ce privește. Asta nu înseamnă că este sau va rămâne în siguranță. Fiți întotdeauna precaut cu lucrurile pe care le găsiți pe internet și reevaluați periodic siguranța.

Cum să rulați Alpaca local pe computerul dvs

Este important să urmați acești pași în ordinea în care sunt indicați. Docker se va rupe probabil dacă nu o faceți, necesitând o reinstalare completă atât a WSL2, cât și a Docker.

Instalați subsistemul Windows pentru Linux 2

Subsistemul Microsoft Windows pentru Linux 2 (WSL2) vă permite să rulați software Linux în Windows. Are o suprafață redusă și este foarte util în multe cazuri. Docker pentru Windows se bazează pe WSL2, așa că trebuie să instalăm mai întâi WSL2.

Notă: Dacă aveți deja instalat WSL2, rulați wsl –update în PowerShell pentru a vă asigura că totul este actualizat.

Deschideți o fereastră PowerShell ca administrator, apoi introduceți comanda:

wsl --install

Va dura puțin pentru a descărca toate fișierele WSL2 și Ubuntu. Trebuie să reporniți computerul după finalizarea instalării.

Odată ce repornirea a fost efectuată, redeschideți PowerShell (nu neapărat ca administrator) și rulați:

wsl -l -v

Ar trebui să vedeți ceva ca imaginea de mai jos dacă totul a funcționat corect. De asemenea, nu trebuie să instalați Ubuntu în special. Puteți instala orice distro doriți, Ubuntu este doar implicit.

Instalați Docker

Docker este un program care vă permite să rulați programe într-un „container”. Containerele sunt similare cu mașinile virtuale, dar tind să aibă mai puțină suprasarcină și sunt mai performante pentru o mulțime de aplicații. Serge folosește Docker pentru a face instalarea foarte convenabilă.

RELATE: Ce face Docker și când ar trebui să-l folosești?

Mai întâi, descărcați programul de instalare Docker de pe site-ul web Docker. Dacă intenționați să rulați Docker pe Linux sau macOS, asigurați-vă că utilizați programul de instalare corespunzător.

Notă: dacă rulați un server Linux fără cap, veți dori să urmați instrucțiunile corespunzătoare pentru distribuția dvs. Linux pentru a rula Docker.

Rulați programul de instalare și fiți pregătit să așteptați câteva minute. Docker va dura ceva timp și va instala o grămadă de lucruri în culise. După ce ați terminat, veți dori să reporniți computerul.

După repornire, deschideți PowerShell și rulați wsl -l -v din nou. De data aceasta ar trebui să vedeți și câteva intrări legate de Docker.

Instalați GIT pe Windows

Ultima condiție prealabilă este Git, pe care îl vom folosi pentru a descărca (și actualiza) Serge automat din Github. Nu este strict necesar, deoarece puteți oricând descărca fișierul ZIP și îl puteți extrage manual, dar Git este mai bun.

Accesați site-ul web Git și descărcați versiunea potrivită pentru sistemul dvs. de operare. Utilizatorii Windows trebuie doar să ruleze executabilul. Asigurați-vă că vă uitați cel puțin la opțiunile de instalare în loc să faceți clic rapid pe toate opțiunile. Unul, afișat în captura de ecran de mai jos, este absolut critic.

Odată ce Git a terminat instalarea, sunteți gata să instalați Serge și Alpaca.

Instalați Serge și Alpaca

Mai întâi, asigurați-vă că Docker Desktop rulează. Apoi, deschideți PowerShell sau Windows Terminal cu o fereastră PowerShell deschisă (nu ca administrator) și rulați următoarea comandă:

git clone https://github.com/nsarrazin/serge.git && cd serge

Aceasta descarcă fișierele din GitHub într-un folder de pe computer, apoi schimbă directorul activ în folderul care a fost creat.

Următoarea comandă pe care trebuie să o rulați este:

cp .env.sample .env

Linia respectivă creează o copie a .env.sample și denumește copia „.env”. Fișierul conține argumente legate de baza de date locală care stochează conversațiile dvs. și portul pe care serverul web local îl folosește atunci când vă conectați.

Apoi rulați:

docker compose up -d

Docker compune legături împreună un număr de containere diferite într-un pachet îngrijit. Puteți verifica fișierul docker-compose.yml din folderul Serge dacă doriți să vedeți mai precis ce este implicat aici.

Ultima comandă va iniția o descărcare și aici trebuie să faceți o alegere înainte de a continua. Există trei variante diferite pe care le puteți descărca: 7B, 13B și 30B. 7B este cel mai simplu și mai „prost” model, în timp ce 30B este cel mai sofisticat și mai inteligent. 13B este punctul de mijloc.

Instalările Linux (și, probabil, macOS) vor putea scăpa cu mai puțină RAM de sistem decât instalările Windows - Windows este un pic un porc RAM. Probabil că ar trebui să începeți mai întâi cu varianta 7B, deoarece este cea mai puțin solicitantă opțiune. Puteți descărca oricând 13B sau 30B mai târziu, dacă doriți.

Rulați următoarea comandă pentru a descărca modelul 7B (sau înlocuiți 13B sau 30B).

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Fii pregătit să aștepți, mai ales dacă optezi pentru varianta 30B. Serverul Huggingface pare să depășească aproximativ 20 de megaocteți pe secundă, așa că vă veți uita la 50 de secunde pe gigaoctet descărcat în cel mai bun caz.

Folosește Serge și Alpaca

Docker și toate containerele necesare rulează în prezent dacă ați urmat aceste instrucțiuni, totuși, va trebui să le reporniți dacă reporniți computerul. Pentru a face asta, deschideți Docker Desktop și faceți clic pe butoanele mici triunghiulare. Pictogramele din stânga coloanei „Nume” devin verzi când containerele rulează.

Totul este instalat și gata de funcționare în acest moment. Doar deschideți browserul și introduceți „localhost:8008″ în bara de adrese, la fel cum ați vizita Facebook sau orice alt site web.

Notă: dacă găzduiți Alpaca/Serge pe alt computer, va trebui să introduceți adresa IP locală a dispozitivului respectiv în loc de localhost.

Ecranul principal are conversațiile tale anterioare afișate în partea stângă și setările pentru un nou chat afișat în mijloc.

Există un număr destul de mare de setări disponibile, dar există cinci cărora veți dori cu adevărat să le acordați atenție:

• Temperatura – Determină cât de liber răspunde AI. Numerele mai mici au ca rezultat răspunsuri mai rigide, în timp ce numerele mai mari sunt mai creative.
• Lungimea maximă a textului generat în jetoane – Cât de lungi pot fi răspunsurile pe care le scrie botul.
• Alegerea modelului – Alegeți între 7B, 13B, 30B și orice alt model pe care îl instalați.
• n_threads – Numărul de fire pe care Serge/Alpaca le poate folosi pe CPU. Alocarea mai multor va îmbunătăți performanța
• Solicitare prealabilă pentru inițializarea unei conversații – Oferă context înainte de începerea conversației pentru a influența modul în care chatbot-ul răspunde.

În acest caz, am crescut temperatura și firele, am selectat modelul 13B și i-am spus chatbot-ului că este un pirat.

Iată o mostră a modului în care a decurs conversația.

Puteți vorbi despre orice doriți cu Alpaca și nu trebuie să vă faceți griji cu privire la ceea ce se întâmplă cu datele dvs. Rămâne pe dispozitivul tău, sub controlul tău în orice moment.

Amintiți-vă, ChatGPT, Alpaca și alți chatbot par de încredere, dar nu sunt în acest moment. Ele întruchipează foarte mult sentimentul: „Dacă nu îi poți orbi cu strălucire, derută-i cu BS”. Tendința lor de a inventa lucrurile a fost numită „halucinantă”. Nu te baza pe ei pentru nimic esențial, mai ales pentru ceva esențial pentru locul de muncă sau sănătatea ta. În acest moment, ele ar trebui să fie utilizate numai în scopuri de divertisment sau experimentale.

Cu toate acestea, tehnologia se va îmbunătăți cu timpul - nu va trece mult până când vom vedea Alpaca (sau alte AI administrate local) integrate în serverele Discord, modurile Minecraft și orice alte aplicații creative. O rafinare suplimentară va duce, de asemenea, la modele mai rapide și mai precise, care pot rula pe hardware mai slab.