Cara Menjalankan AI seperti ChatGPT di PC Anda Sendiri

Chatbots sangat populer saat ini, dan semua orang menginginkan aksi. Google memiliki Bard, Microsoft memiliki Bing Chat, dan ChatGPT OpenAI secara praktis identik dengan AI pada saat ini. Tetapi bagaimana jika Anda tidak ingin mengandalkan layanan cloud untuk chatbot Anda? Kami memiliki AI mirip ChatGPT yang dapat Anda unduh — Alpaca.

Apa Itu Alpaka?

Alpaca adalah model bahasa (chatbot, pada dasarnya), seperti ChatGPT. Itu mampu menjawab pertanyaan, penalaran, menceritakan lelucon, dan hampir semua hal lain yang kami harapkan dari chatbots. Alpaca diciptakan oleh para peneliti Stanford dengan menyempurnakan LLaMA Facebook.

Tidak seperti ChatGPT, dan sebagian besar chatbot lain yang tersedia saat ini, Alpaca berjalan sepenuhnya di PC Anda sendiri. Itu berarti tidak ada yang bisa mengintip percakapan Anda atau apa yang Anda tanyakan pada Alpaca, dan percakapan Anda juga tidak bisa bocor secara tidak sengaja. Ini juga berarti bahwa Anda tidak perlu membayar biaya bulanan apa pun, Anda dapat melatih model lebih lanjut agar lebih sesuai dengan kebutuhan Anda jika Anda memiliki perangkat kerasnya, dan Anda dapat mengintegrasikannya ke dalam aplikasi apa pun yang Anda inginkan. Anda hanya dibatasi oleh perangkat keras dan potongan pemrograman Anda.

Namun, ini juga berfungsi dengan baik sebagai chatbot lama biasa yang dapat Anda ajak bicara, dan kami akan menunjukkan cara menjalankannya di hampir semua PC di luar sana.

Bagaimana Alpaca Bandingkan dengan ChatGPT?

Kami akan menyingkir terlebih dahulu: ChatGPT, khususnya ChatGPT yang menjalankan GPT-4, lebih pintar dan lebih cepat daripada Alpaca saat ini.

Kecepatan Alpaca sebagian besar dibatasi oleh komputer yang menjalankannya — jika Anda memiliki PC game yang sangat cepat dengan banyak inti dan banyak RAM, Anda akan mendapatkan kinerja yang baik darinya. PC yang lebih lambat dengan inti yang lebih sedikit akan membutuhkan waktu lebih lama untuk menghasilkan respons. Tentu saja, tidak adil atau bahkan masuk akal untuk membandingkannya dengan ChatGPT dalam hal ini — kami tidak tahu jenis komputer apa yang digunakan ChatGPT, tetapi ini jelas lebih kuat daripada PC desktop rata-rata Anda.

Ada tiga varian utama Alpaca saat ini, 7B, 13B, dan 30B. Secara umum, semakin besar angkanya, semakin pintar chatbotnya.

Alpaca, terutama model 7B, terlihat "lebih bodoh" daripada ChatGPT. Itu juga tidak masuk akal dan pasti tidak akan lulus tes Turing. 7B masih bagus jika Anda menginginkan saran resep.

Model 13B dan 30B adalah cerita lain. 13B mampu memberikan percakapan yang koheren, seperti manusia, dan dapat menjawab pertanyaan yang kompleks. 30B bahkan lebih mengesankan, jika Anda memiliki perangkat keras untuk menjalankannya, dan berada dalam jarak serang dari ChatGPT. Itu akan berkembang secara filosofis atau membuat lelucon tanpa henti jika diminta.

Apa yang Anda Butuhkan untuk Menjalankan Alpaca?

Alpaca memiliki persyaratan sistem yang cukup fleksibel. Pedoman ini di atas batas minimum tetapi merupakan pedoman yang baik. Kami juga akan menginstal ini di Windows. Jika Anda menginstal ini pada sistem yang menjalankan Linux atau macOS, lewati saja bagian Subsistem Windows untuk Linux — ini tidak relevan bagi Anda.

• RAM 16 GB
  • 32 GB lebih baik, dan diperlukan jika Anda ingin menjalankan model 30B
• Penyimpanan 35 GB pada SSD jika Anda menginginkan ketiga model tersebut.
  • 4 GB untuk model 7B, 8 GB untuk model 13B, dan 20 GB untuk model 30B
  • 500MB untuk Ubuntu default dengan WSL2
  • Beberapa GB lagi di antara dependensi lainnya
• CPU modern sangat ideal
  • Setiap CPU Ryzen
  • Prosesor Intel Generasi ke-7 atau Lebih Baru
• Subsistem Windows untuk Linux 2 (WSL2)
• GIT
• Buruh pelabuhan
• Sebuah proyek komunitas, Serge, yang memberi Alpaca antarmuka web yang bagus

Peringatan: Saat ini tidak ada alasan untuk mencurigai proyek khusus ini memiliki kesalahan keamanan besar atau berbahaya. Kami telah melalui kode dan menjalankan perangkat lunaknya sendiri dan tidak menemukan apa pun yang mengkhawatirkan. Itu tidak berarti itu atau akan tetap aman. Selalu berhati-hati dengan hal-hal yang Anda temukan di internet dan evaluasi kembali keamanannya secara berkala.

Cara Menjalankan Alpaca Secara Lokal di PC Anda

Penting bagi Anda untuk mengikuti langkah-langkah ini sesuai urutan yang diberikan. Docker mungkin akan rusak jika Anda tidak melakukannya, membutuhkan penginstalan ulang lengkap WSL2 dan Docker.

Instal Subsistem Windows untuk Linux 2

Subsistem Windows Microsoft untuk Linux 2 (WSL2) memungkinkan Anda menjalankan perangkat lunak Linux di Windows. Ini memiliki overhead yang rendah dan sangat berguna dalam banyak kasus. Docker untuk Windows bergantung pada WSL2, jadi kita perlu menginstal WSL2 terlebih dahulu.

Catatan: Jika Anda sudah menginstal WSL2, jalankan saja wsl –update di PowerShell untuk memastikan semuanya diperbarui.

Buka jendela PowerShell sebagai Admin, lalu masukkan perintah:

wsl --install

Butuh sedikit untuk mengunduh semua file WSL2 dan Ubuntu. Anda harus me-restart PC Anda setelah instalasi selesai.

Setelah restart dilakukan, buka kembali PowerShell (tidak harus sebagai admin) dan jalankan:

wsl -l -v

Anda akan melihat sesuatu seperti gambar di bawah jika semuanya bekerja dengan benar. Anda juga tidak perlu menginstal Ubuntu secara khusus. Anda dapat menginstal distro apa pun yang Anda suka, Ubuntu hanyalah defaultnya.

Instal Docker

Docker adalah program yang memungkinkan Anda menjalankan program dalam "kontainer". Kontainer mirip dengan mesin virtual, tetapi cenderung memiliki lebih sedikit overhead dan lebih berkinerja untuk banyak aplikasi. Serge menggunakan Docker untuk membuat instalasi sangat nyaman.

TERKAIT: Apa yang Dilakukan Docker, dan Kapan Anda Harus Menggunakannya?

Pertama, unduh penginstal Docker dari situs web Docker. Jika Anda akan menjalankan Docker di Linux atau macOS, pastikan Anda mengambil penginstal yang sesuai.

Catatan: Jika Anda menjalankan server Linux tanpa kepala, Anda harus mengikuti instruksi yang sesuai untuk distro Linux Anda agar Docker dapat berjalan.

Jalankan penginstal dan bersiaplah untuk menunggu beberapa menit. Docker akan memakan waktu cukup lama dan menyiapkan banyak hal di belakang layar. Setelah selesai, Anda ingin me-restart PC Anda.

Setelah memulai ulang, buka PowerShell dan jalankan wsl -l -v lagi. Kali ini Anda juga akan melihat beberapa entri yang terkait dengan Docker.

Instal GIT di Windows

Prasyarat terakhir adalah Git, yang akan kita gunakan untuk mengunduh (dan memperbarui) Serge secara otomatis dari Github. Ini tidak sepenuhnya diperlukan karena Anda selalu dapat mengunduh ZIP dan mengekstraknya secara manual, tetapi Git lebih baik.

Buka situs web Git dan unduh versi yang tepat untuk sistem operasi Anda. Pengguna Windows hanya perlu menjalankan executable. Pastikan untuk setidaknya melihat opsi penginstalan daripada hanya mengklik semua opsi dengan cepat. Satu, yang ditunjukkan pada tangkapan layar di bawah, sangat penting.

Setelah Git selesai menginstal, Anda siap menginstal Serge dan Alpaca.

Instal Serge dan Alpaca

Pertama, pastikan Docker Desktop berjalan. Kemudian, buka PowerShell atau Terminal Windows dengan jendela PowerShell terbuka (bukan sebagai admin) dan jalankan perintah berikut:

git clone https://github.com/nsarrazin/serge.git && cd serge

Ini mengunduh file dari GitHub ke folder di PC Anda, lalu mengubah direktori aktif ke folder yang telah dibuat.

Perintah selanjutnya yang perlu Anda jalankan adalah:

cp .env.sample .env

Baris itu membuat salinan .env.sample dan menamai salinannya ".env." File tersebut berisi argumen yang terkait dengan database lokal yang menyimpan percakapan Anda dan port yang digunakan server web lokal saat Anda terhubung.

Lalu lari:

docker compose up -d

Docker menggabungkan beberapa kontainer yang berbeda menjadi sebuah paket yang rapi. Anda dapat memeriksa file docker-compose.yml di folder Serge jika Anda ingin melihat lebih spesifik apa yang terlibat di sini.

Perintah terakhir akan memulai pengunduhan, dan di sini Anda harus menentukan pilihan sebelum melanjutkan. Ada tiga varian berbeda yang dapat Anda unduh: 7B, 13B, dan 30B. 7B adalah model yang paling sederhana dan “paling bodoh”, sedangkan 30B adalah yang paling canggih dan paling cerdas. 13B adalah jalan tengah.

Instalasi Linux (dan mungkin macOS) akan dapat lolos dengan RAM sistem yang lebih sedikit daripada yang diinstal Windows - Windows sedikit memakan RAM. Anda mungkin harus mulai dengan varian 7B terlebih dahulu karena ini adalah opsi yang paling tidak menuntut. Anda selalu dapat mengunduh 13B atau 30B nanti jika Anda mau.

Jalankan perintah berikut untuk mengunduh model 7B (atau gantikan 13B atau 30B).

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

Bersiaplah untuk menunggu, terutama jika Anda memilih varian 30B. Server Huggingface tampaknya mencapai sekitar 20 megabyte per detik, jadi Anda akan melihat 50 detik per gigabyte yang diunduh dalam skenario kasus terbaik.

Gunakan Serge dan Alpaca

Docker dan semua wadah yang diperlukan sedang berjalan jika Anda mengikuti petunjuk ini, namun, Anda harus mengaktifkannya kembali jika Anda memulai ulang komputer. Untuk melakukannya, cukup buka Docker Desktop dan klik tombol segitiga kecil. Ikon di sebelah kiri kolom "Nama" berubah menjadi hijau saat wadah berjalan.

Semuanya sudah terpasang dan siap digunakan saat ini. Cukup buka browser Anda dan masukkan “localhost:8008″ ke bilah alamat, sama seperti Anda mengunjungi Facebook atau situs web lainnya.

Catatan: Jika Anda menghosting Alpaca/Serge di komputer lain, Anda harus memasukkan alamat IP lokal perangkat tersebut, bukan localhost.

Layar utama menampilkan percakapan Anda sebelumnya di sebelah kiri dan pengaturan untuk obrolan baru ditampilkan di tengah.

Ada cukup banyak pengaturan yang tersedia, tetapi ada lima yang benar-benar ingin Anda perhatikan:

• Suhu – Menentukan seberapa bebas jawaban AI. Angka yang lebih rendah menghasilkan jawaban yang lebih kaku, sedangkan angka yang lebih tinggi lebih kreatif.
• Panjang Teks yang Dihasilkan Maksimum dalam Token – Berapa lama respons yang dapat ditulis bot.
• Pilihan Model – Pilih antara 7B, 13B, 30B, dan model lain yang Anda instal.
• n_threads – Jumlah utas yang dapat digunakan Serge/Alpaca di CPU Anda. Mengalokasikan lebih banyak akan meningkatkan kinerja
• Pre-Prompt untuk Menginisialisasi Percakapan – Memberikan konteks sebelum percakapan dimulai dengan cara chatbot membalas.

Dalam hal ini, kami menaikkan suhu dan utas, memilih model 13B, dan memberi tahu chatbot bahwa itu adalah bajak laut.

Berikut adalah contoh bagaimana percakapan itu berlangsung.

Anda dapat berbicara tentang apa pun yang Anda suka dengan Alpaca, dan Anda tidak perlu khawatir tentang apa yang terjadi pada data Anda. Itu tetap ada di perangkat Anda, di bawah kendali Anda setiap saat.

Ingat, ChatGPT, Alpaca, dan chatbot lainnya tampaknya dapat diandalkan, tetapi saat ini belum. Mereka sangat mewujudkan sentimen: "Jika Anda tidak dapat membuat mereka terpesona dengan kecemerlangan, buat mereka bingung dengan BS." Kecenderungan mereka untuk mengada-ada disebut "berhalusinasi". Jangan mengandalkan mereka untuk sesuatu yang penting, terutama sesuatu yang tidak penting bagi pekerjaan atau kesehatan Anda. Mereka hanya boleh digunakan untuk tujuan hiburan atau percobaan saat ini.

Namun, teknologinya hanya akan menjadi lebih baik seiring waktu - tidak lama lagi kita akan melihat Alpaca (atau AI lain yang dijalankan secara lokal) terintegrasi ke dalam server Discord, mod Minecraft, dan sejumlah aplikasi kreatif lainnya. Penyempurnaan lebih lanjut juga akan menghasilkan model yang lebih cepat dan lebih akurat yang dapat dijalankan pada perangkat keras yang lebih lemah.