วิธีเรียกใช้ AI แบบ ChatGPT บนพีซีของคุณเอง

Chatbots กำลังเป็นที่นิยมในขณะนี้และทุกคนต้องการการกระทำ Google มี Bard, Microsoft มี Bing Chat และ ChatGPT ของ OpenAI มีความหมายเหมือนกันกับ AI ณ จุดนี้ แต่ถ้าคุณไม่ต้องการใช้บริการคลาวด์สำหรับแชทบอทของคุณล่ะ เรามี AI แบบ ChatGPT ที่คุณสามารถดาวน์โหลด — อัลปาก้า

อัลปาก้าคืออะไร?

Alpaca เป็นรูปแบบภาษา (โดยทั่วไปคือ chatbot) เหมือนกับ ChatGPT มันมีความสามารถในการตอบคำถาม ให้เหตุผล เล่าเรื่องตลก และเกือบทุกอย่างที่เราคาดหวังจากแชทบอท Alpaca ถูกสร้างขึ้นโดยนักวิจัยของ Stanford โดยการปรับแต่ง LLaMA ของ Facebook อย่างละเอียด

Alpaca แตกต่างจาก ChatGPT และแชทบอทอื่น ๆ ส่วนใหญ่ที่มีอยู่ในปัจจุบัน โดยทำงานได้อย่างสมบูรณ์บนพีซีของคุณเอง ซึ่งหมายความว่าจะไม่มีใครสามารถสอดแนมการสนทนาของคุณหรือสิ่งที่คุณถามอัลปาก้าได้ และการแลกเปลี่ยนของคุณจะไม่รั่วไหลโดยไม่ได้ตั้งใจเช่นกัน นอกจากนี้ยังหมายความว่าคุณไม่ต้องจ่ายค่าธรรมเนียมรายเดือน คุณสามารถฝึกโมเดลเพิ่มเติมเพื่อให้เหมาะกับความต้องการของคุณมากขึ้นหากคุณมีฮาร์ดแวร์ และคุณสามารถรวมเข้ากับแอปพลิเคชันใดก็ได้ที่คุณต้องการ คุณถูกจำกัดด้วยฮาร์ดแวร์และการเขียนโปรแกรมของคุณเท่านั้น

อย่างไรก็ตาม มันยังทำงานได้อย่างสวยงามเหมือนกับแชทบอทแบบเก่าทั่วไปที่คุณสามารถพูดคุยด้วยได้ และเราจะแสดงวิธีเรียกใช้มันบนพีซีแทบทุกเครื่อง

Alpaca เปรียบเทียบกับ ChatGPT อย่างไร

เรามาทำความเข้าใจกันก่อน: ChatGPT โดยเฉพาะอย่างยิ่ง ChatGPT ที่ใช้ GPT-4 นั้นฉลาดกว่าและเร็วกว่า Alpaca ในขณะนี้

ความเร็วของ Alpaca ส่วนใหญ่จะถูกจำกัดโดยคอมพิวเตอร์ที่ใช้งานอยู่ — หากคุณมีพีซีสำหรับเล่นเกมที่เร็วมากซึ่งมีคอร์จำนวนมากและ RAM จำนวนมาก คุณจะได้รับประสิทธิภาพที่ดีจากมัน พีซีที่ช้ากว่าซึ่งมีคอร์น้อยกว่าจะใช้เวลาในการสร้างการตอบสนองนานขึ้น แน่นอนว่า มันไม่ยุติธรรมหรือสมเหตุสมผลเลยที่จะเปรียบเทียบกับ ChatGPT ในเรื่องนี้ — เราไม่รู้ว่า ChatGPT ใช้งานบนคอมพิวเตอร์ประเภทใด แต่แน่นอนว่ามีประสิทธิภาพมากกว่าเดสก์ท็อปพีซีทั่วไปของคุณอย่างแน่นอน

ปัจจุบัน Alpaca มีสามสายพันธุ์หลัก ได้แก่ 7B, 13B และ 30B โดยทั่วไปแล้ว ยิ่งจำนวนมาก แชทบอทก็จะฉลาดขึ้น

Alpaca โดยเฉพาะรุ่น 7B นั้น "โง่" กว่า ChatGPT อย่างเห็นได้ชัด มันไม่มีเหตุผลเช่นกันและจะไม่ผ่านการทดสอบของทัวริงอย่างแน่นอน อย่างไรก็ตาม 7B ก็ยังดีหากคุณต้องการคำแนะนำเกี่ยวกับสูตรอาหาร

รุ่น 13B และ 30B เป็นอีกเรื่องหนึ่ง 13B สามารถให้การสนทนาที่สอดคล้องกันเหมือนมนุษย์ และสามารถตอบคำถามที่ซับซ้อนได้ 30B นั้นน่าประทับใจยิ่งกว่า ถ้าคุณมีฮาร์ดแวร์สำหรับรัน และอยู่ในระยะที่โดดเด่นของ ChatGPT มันจะแว็กซ์ปรัชญาหรือสร้างเรื่องตลกโดยไม่พลาดจังหวะหากได้รับแจ้ง

คุณต้องใช้อะไรในการเรียกใช้ Alpaca?

Alpaca มีความต้องการของระบบที่ค่อนข้างยืดหยุ่น หลักเกณฑ์เหล่านี้อยู่เหนือเกณฑ์ขั้นต่ำแต่เป็นแนวทางที่ดี เราจะติดตั้งสิ่งนี้บน Windows ด้วย หากคุณกำลังติดตั้งสิ่งนี้บนระบบที่ใช้ Linux หรือ macOS ให้ข้ามส่วน Windows Subsystem สำหรับ Linux ไป ซึ่งไม่เกี่ยวข้องกับคุณ

• แรม 16 GB
  • 32 GB นั้นดีกว่า และจำเป็นหากคุณต้องการรันรุ่น 30B
• พื้นที่เก็บข้อมูล 35 GB บน SSD หากคุณต้องการทั้งสามรุ่น
  • 4 GB สำหรับรุ่น 7B, 8 GB สำหรับรุ่น 13B และ 20 GB สำหรับรุ่น 30B
  • 500MB สำหรับ Ubuntu เริ่มต้นที่มี WSL2
  • อีกสองสาม GBs ระหว่างการพึ่งพาอื่น ๆ
• CPU ที่ทันสมัยเหมาะอย่างยิ่ง
  • ซีพียู Ryzen รุ่นใดก็ได้
  • โปรเซสเซอร์ Intel รุ่นที่ 7 หรือใหม่กว่า
• ระบบย่อย Windows สำหรับ Linux 2 (WSL2)
• โกไอที
• นักเทียบท่า
• โครงการชุมชน เสิร์จ ซึ่งทำให้ Alpaca มีเว็บอินเตอร์เฟสที่ดี

คำเตือน: ขณะนี้ไม่มีเหตุผลที่จะสงสัยว่าโครงการนี้มีข้อผิดพลาดด้านความปลอดภัยที่สำคัญหรือเป็นอันตราย เราตรวจสอบโค้ดและเรียกใช้ซอฟต์แวร์ด้วยตนเองแล้วและไม่พบสิ่งใดที่เกี่ยวข้อง ไม่ได้หมายความว่าจะปลอดภัย ระมัดระวังเสมอกับสิ่งที่คุณพบบนอินเทอร์เน็ต และประเมินความปลอดภัยเป็นระยะๆ

วิธีเรียกใช้ Alpaca ในเครื่องบนพีซีของคุณ

สิ่งสำคัญคือคุณต้องทำตามขั้นตอนเหล่านี้ตามลำดับที่ได้รับ นักเทียบท่าอาจจะหยุดทำงานหากคุณไม่ทำเช่นนั้น โดยต้องติดตั้งทั้ง WSL2 และนักเทียบท่าใหม่ทั้งหมด

ติดตั้งระบบย่อย Windows สำหรับ Linux 2

ระบบย่อย Windows ของ Microsoft สำหรับ Linux 2 (WSL2) อนุญาตให้คุณเรียกใช้ซอฟต์แวร์ Linux ใน Windows มีค่าใช้จ่ายต่ำและมีประโยชน์มากในหลาย ๆ กรณี Docker สำหรับ Windows ใช้ WSL2 ดังนั้นเราต้องติดตั้ง WSL2 ก่อน

หมายเหตุ: หากคุณติดตั้ง WSL2 ไว้แล้ว ให้เรียกใช้ wsl –update ใน PowerShell เพื่อให้แน่ใจว่าทุกอย่างได้รับการอัปเดต

เปิดหน้าต่าง PowerShell ในฐานะผู้ดูแลระบบ จากนั้นป้อนคำสั่ง:

wsl --install

จะใช้เวลาสักครู่ในการดาวน์โหลดไฟล์ WSL2 และ Ubuntu ทั้งหมด คุณต้องรีสตาร์ทพีซีของคุณหลังจากการติดตั้งเสร็จสิ้น

เมื่อรีสตาร์ทแล้ว ให้เปิด PowerShell อีกครั้ง (ไม่จำเป็นต้องเป็นผู้ดูแลระบบ) แล้วเรียกใช้:

wsl -l -v

คุณควรเห็นบางอย่างเช่นภาพด้านล่างหากทุกอย่างถูกต้อง คุณไม่จำเป็นต้องติดตั้ง Ubuntu โดยเฉพาะ คุณสามารถติดตั้ง distro ที่คุณต้องการได้ Ubuntu เป็นเพียงค่าเริ่มต้น

ติดตั้งนักเทียบท่า

Docker เป็นโปรแกรมที่ให้คุณเรียกใช้โปรแกรมใน "คอนเทนเนอร์" คอนเทนเนอร์นั้นคล้ายกับเครื่องเสมือน แต่มักจะมีค่าใช้จ่ายน้อยกว่าและมีประสิทธิภาพมากกว่าสำหรับแอปพลิเคชันจำนวนมาก เสิร์จใช้ Docker เพื่อทำให้การติดตั้งสะดวกมาก

ที่เกี่ยวข้อง: นักเทียบท่าทำอะไรและเมื่อใดที่คุณควรใช้

ก่อนอื่นให้ดาวน์โหลดตัวติดตั้ง Docker จากเว็บไซต์ Docker หากคุณกำลังจะใช้งาน Docker บน Linux หรือ macOS ต้องแน่ใจว่าคุณได้ติดตั้งโปรแกรมติดตั้งที่เหมาะสม

หมายเหตุ: หากคุณใช้เซิร์ฟเวอร์ Linux แบบไม่มีส่วนหัว คุณจะต้องทำตามคำแนะนำที่เหมาะสมสำหรับ Linux distro เพื่อให้ Docker ทำงาน

เรียกใช้โปรแกรมติดตั้งและเตรียมพร้อมที่จะรอสักครู่ นักเทียบท่าจะใช้เวลาสักครู่ในการตั้งค่าสิ่งต่าง ๆ เบื้องหลัง เมื่อเสร็จแล้ว คุณจะต้องรีสตาร์ทพีซีของคุณ

หลังจากรีสตาร์ท ให้เปิด PowerShell แล้วเรียกใช้ wsl -l -v อีกครั้ง คราวนี้คุณควรเห็นบางรายการที่เกี่ยวข้องกับ Docker ด้วย

ติดตั้ง GIT บน Windows

ข้อกำหนดเบื้องต้นสุดท้ายคือ Git ซึ่งเราจะใช้เพื่อดาวน์โหลด (และอัปเดต) เสิร์จโดยอัตโนมัติจาก Github ไม่จำเป็นอย่างยิ่งเนื่องจากคุณสามารถดาวน์โหลด ZIP และแตกไฟล์ด้วยตนเองได้ตลอดเวลา แต่ Git นั้นดีกว่า

ตรงไปที่เว็บไซต์ Git และดาวน์โหลดเวอร์ชันที่ถูกต้องสำหรับระบบปฏิบัติการของคุณ ผู้ใช้ Windows เพียงแค่เรียกใช้ไฟล์ปฏิบัติการ อย่างน้อยตรวจสอบให้แน่ใจว่าได้ดูตัวเลือกการติดตั้งแทนการคลิกอย่างรวดเร็วผ่านตัวเลือกทั้งหมด หนึ่งที่แสดงในภาพด้านล่างเป็นสิ่งสำคัญอย่างยิ่ง

เมื่อติดตั้ง Git เสร็จแล้ว คุณก็พร้อมที่จะติดตั้ง Serge และ Alpaca

ติดตั้งเสิร์จและอัลปาก้า

ก่อนอื่น ตรวจสอบให้แน่ใจว่า Docker Desktop กำลังทำงานอยู่ จากนั้นเปิด PowerShell หรือ Windows Terminal โดยเปิดหน้าต่าง PowerShell (ไม่ใช่ผู้ดูแลระบบ) และเรียกใช้คำสั่งต่อไปนี้:

git clone https://github.com/nsarrazin/serge.git && cd serge

ซึ่งจะดาวน์โหลดไฟล์จาก GitHub ไปยังโฟลเดอร์บนพีซีของคุณ จากนั้นเปลี่ยนไดเร็กทอรีที่ใช้งานไปยังโฟลเดอร์ที่สร้างขึ้น

คำสั่งต่อไปที่คุณต้องเรียกใช้คือ:

cp .env.sample .env

บรรทัดนั้นสร้างสำเนาของ .env.sample และตั้งชื่อสำเนาว่า ".env" ไฟล์ประกอบด้วยอาร์กิวเมนต์ที่เกี่ยวข้องกับฐานข้อมูล ในเครื่อง ที่เก็บการสนทนาของคุณและพอร์ตที่เว็บเซิร์ฟเวอร์ในเครื่องใช้เมื่อคุณเชื่อมต่อ

จากนั้นเรียกใช้:

docker compose up -d

นักเทียบท่ารวบรวมคอนเทนเนอร์ต่าง ๆ เข้าด้วยกันเป็นแพ็คเกจที่เรียบร้อย คุณสามารถตรวจสอบไฟล์ docker-compose.yml ในโฟลเดอร์ Serge หากคุณต้องการดูสิ่งที่เกี่ยวข้องที่นี่โดยเฉพาะ

คำสั่งสุดท้ายจะเริ่มต้นการดาวน์โหลด และที่นี่คุณต้องเลือกก่อนดำเนินการต่อ มีสามรุ่นที่แตกต่างกันที่คุณสามารถดาวน์โหลดได้: 7B, 13B และ 30B 7B เป็นโมเดลที่เรียบง่ายและ "โง่ที่สุด" ในขณะที่ 30B เป็นโมเดลที่ซับซ้อนและฉลาดที่สุด 13B เป็นจุดกึ่งกลาง

การติดตั้ง Linux (และอาจเป็น macOS) จะสามารถหลีกเลี่ยงได้ด้วย RAM ของระบบที่น้อยกว่าการติดตั้ง Windows — Windows นั้นค่อนข้างจะกินแรมน้อย คุณควรเริ่มต้นด้วยรุ่น 7B ก่อนเนื่องจากเป็นตัวเลือกที่มีความต้องการน้อยที่สุด คุณสามารถดาวน์โหลด 13B หรือ 30B ภายหลังได้เสมอหากต้องการ

รันคำสั่งต่อไปนี้เพื่อดาวน์โหลดโมเดล 7B (หรือแทนที่ 13B หรือ 30B)

docker compose exec api python3 /usr/src/app/utils/download.py tokenizer 7B

เตรียมรอได้เลย โดยเฉพาะอย่างยิ่งหากคุณเลือกรุ่น 30B เซิร์ฟเวอร์ Huggingface ดูเหมือนว่าจะมีความเร็วสูงสุดที่ประมาณ 20 เมกะไบต์ต่อวินาที ดังนั้นคุณจะดูที่ 50 วินาทีต่อกิกะไบต์ที่ดาวน์โหลดในกรณีที่ดีที่สุด

ใช้เสิร์จและอัลปาก้า

นักเทียบท่าและคอนเทนเนอร์ที่จำเป็นทั้งหมดกำลังทำงานอยู่ หากคุณปฏิบัติตามคำแนะนำเหล่านี้ อย่างไรก็ตาม คุณจะต้องเปิดใช้งานอีกครั้งหากคุณรีสตาร์ทคอมพิวเตอร์ ในการทำเช่นนั้น เพียงเปิด Docker Desktop แล้วคลิกปุ่มสามเหลี่ยมเล็กๆ ไอคอนทางด้านซ้ายของคอลัมน์ "ชื่อ" จะเปลี่ยนเป็นสีเขียวเมื่อคอนเทนเนอร์ทำงาน

ทุกอย่างถูกติดตั้งและพร้อมใช้งาน ณ จุดนี้ เพียงเปิดเบราว์เซอร์ของคุณแล้วป้อน “localhost:8008″ ลงในแถบที่อยู่ เหมือนกับเวลาที่คุณเข้าชม Facebook หรือเว็บไซต์อื่นๆ

หมายเหตุ: หากคุณโฮสต์ Alpaca/Serge บนคอมพิวเตอร์เครื่องอื่น คุณจะต้องป้อนที่อยู่ IP ในเครื่องของอุปกรณ์นั้นแทน localhost

หน้าจอหลักแสดงการสนทนาก่อนหน้าของคุณทางด้านซ้ายและการตั้งค่าสำหรับการสนทนาใหม่แสดงอยู่ตรงกลาง

มีการตั้งค่าจำนวนมากพอใช้ได้ แต่มีห้ารายการที่คุณควรให้ความสนใจ:

• อุณหภูมิ – กำหนดอิสระในการตอบของ AI ตัวเลขที่ต่ำกว่าจะทำให้ได้คำตอบที่ตายตัวมากขึ้น ในขณะที่ตัวเลขที่มากขึ้นจะมีความคิดสร้างสรรค์มากกว่า
• ความยาวข้อความสูงสุดที่สร้างขึ้นในโทเค็น – ระยะเวลาในการตอบกลับที่บอทเขียนได้
• Model Choice – เลือกระหว่าง 7B, 13B, 30B และรุ่นอื่นๆ ที่คุณติดตั้ง
• n_threads – จำนวนเธรดที่ Serge/Alpaca สามารถใช้กับ CPU ของคุณได้ การจัดสรรเพิ่มเติมจะปรับปรุงประสิทธิภาพ
• พร้อมท์ล่วงหน้า สำหรับการเริ่มต้นการสนทนา – ให้บริบทก่อนที่การสนทนาจะเริ่มต้นโดยให้อคติกับวิธีที่แชทบอทตอบกลับ

ในกรณีนี้ เราได้เพิ่มอุณหภูมิและเธรด เลือกรุ่น 13B และบอกแชทบอทว่าเป็นของเถื่อน

นี่คือตัวอย่างการสนทนา

คุณสามารถพูดคุยเกี่ยวกับทุกสิ่งที่คุณต้องการกับ Alpaca และคุณไม่ต้องกังวลว่าจะเกิดอะไรขึ้นกับข้อมูลของคุณ มันยังคงอยู่ในอุปกรณ์ของคุณภายใต้การควบคุมของคุณตลอดเวลา

โปรดจำไว้ว่า ChatGPT, Alpaca และแชทบ็อตอื่น ๆ นั้นดูน่าเชื่อถือ แต่มันไม่ได้อยู่ในช่วงเวลานี้ พวกเขารวบรวมความรู้สึกอย่างมาก: "ถ้าคุณไม่สามารถทำให้พวกเขาตื่นตาด้วยความฉลาดได้ให้ทำให้พวกเขายุ่งเหยิงด้วย BS" แนวโน้มที่จะทำสิ่งต่าง ๆ ของพวกเขาได้รับการขนานนามว่าเป็น "ภาพหลอน" อย่าพึ่งพาสิ่งที่จำเป็นโดยเฉพาะอย่างยิ่งที่ไม่ใช่สิ่งที่จำเป็นอย่างยิ่งต่องานหรือสุขภาพของคุณ ในขณะนี้ควรใช้เพื่อความบันเทิงหรือเพื่อการทดลองเท่านั้น

อย่างไรก็ตาม เทคโนโลยีนี้มีแต่จะดีขึ้นเรื่อยๆ เมื่อเวลาผ่านไป — อีกไม่นานเราจะได้เห็น Alpaca (หรือ AI อื่นๆ ที่รันในเครื่อง) รวมเข้ากับเซิร์ฟเวอร์ Discord ม็อด Minecraft และแอปพลิเคชันสร้างสรรค์อื่นๆ อีกมากมาย การปรับแต่งเพิ่มเติมจะส่งผลให้ได้โมเดลที่รวดเร็วและแม่นยำยิ่งขึ้นซึ่งสามารถทำงานบนฮาร์ดแวร์ที่อ่อนแอกว่าได้