NVIDIA RTX AI Garage วิธีการรัน LLM ยอดนิยมบนเครื่องพีซีของคุณ

NVIDIA RTX AI Garage วิธีการรัน LLM ยอดนิยมบนเครื่องพีซีของคุณ

Nvidia เผยมีผู้คนจำนวนมากขึ้นกำลังรัน LLM โดยตรงบนพีซีของตนเองเพื่อลดต้นทุนการสมัครสมาชิกและเพิ่มความเป็นส่วนตัวและควบคุมโปรเจคการทำงานต่างๆ ได้มากขึ้น ด้วยโมเดลน้ำหนักเปิดขั้นสูงแบบใหม่และเครื่องมือฟรีสำหรับรันแบบโลคัล ผู้คนจำนวนมากขึ้นต้องการทดลอง AI บนแล็ปท็อปหรือเดสก์ท็อปของตนเองโดยตรง GPU RTX ช่วยเร่งประสบการณ์เหล่านี้ มอบ AI ที่รวดเร็วและฉับไว และด้วยการอัปเดต Project G-assist ผู้ใช้แล็ปท็อปสามารถเริ่มใช้คำสั่งเสียงและข้อความที่ขับเคลื่อนด้วย AI เพื่อควบคุมพีซีของตนได้

RTX AI Garage ล่าสุดของ NVIDIA เน้นย้ำถึงวิธีที่นักศึกษา ผู้ที่ชื่นชอบ AI และนักพัฒนาสามารถเริ่มต้นใช้งาน LLM บนเครื่องพีซีได้ตั้งแต่วันนี้:

Ollama: หนึ่งในวิธีที่เข้าถึงได้ง่ายที่สุดในการเริ่มต้น เครื่องมือโอเพนซอร์สนี้มีอินเทอร์เฟซที่เรียบง่ายสำหรับการรันและโต้ตอบกับ LLM ผู้ใช้สามารถลากและวางไฟล์ PDF ลงในข้อความแจ้งเตือน สนทนาสนทนา และแม้แต่ลองใช้เวิร์กโฟลว์แบบหลายโหมดที่รวมข้อความและรูปภาพเข้าด้วยกัน

AnythingLLM: สร้างผู้ช่วย AI ส่วนตัว ทำงานบน Ollama ช่วยให้ผู้ใช้โหลดบันทึก สไลด์ หรือเอกสารเพื่อสร้างติวเตอร์ที่สร้างแบบทดสอบและแฟลชการ์ดสำหรับงานวิชาของนักเรียน — เป็นส่วนตัว รวดเร็ว และใช้งานได้ฟรี

LM Studio: สำรวจโมเดลมากมาย ขับเคลื่อนด้วยเฟรมเวิร์ก llama.cpp ยอดนิยม และมอบอินเทอร์เฟซที่ใช้งานง่ายสำหรับการรันโมเดลบนเครื่อง ผู้ใช้สามารถโหลด LLM ต่างๆ แชทแบบเรียลไทม์ และทำหน้าที่เป็นจุดสิ้นสุด API ภายในเครื่องเพื่อผสานรวมเข้ากับโปรเจกต์ที่กำหนดเองได้ Project G-Assist: ควบคุมพีซีของคุณด้วย AI ด้วยการอัปเดตล่าสุด ผู้ใช้พีซีสามารถใช้เสียงหรือข้อความเพื่อปรับการตั้งค่าแบตเตอรี่ พัดลม และประสิทธิภาพได้

ความก้าวหน้าล่าสุดใน RTX AI PC ประกอบด้วย:

Ollama ได้รับการเพิ่มประสิทธิภาพครั้งใหญ่บน RTX: การอัปเดตล่าสุดประกอบด้วยประสิทธิภาพสูงสุด 50% สำหรับ gpt-oss-20B ของ OpenAI และโมเดล Gemma 3 ที่เร็วขึ้นสูงสุด 60% และระบบจัดตารางเวลาโมเดลที่ชาญฉลาดยิ่งขึ้นเพื่อลดปัญหาหน่วยความจำและปรับปรุงประสิทธิภาพของ GPU หลายตัว

Llama.cpp และ GGML ได้รับการปรับแต่งสำหรับ RTX: การอัปเดตล่าสุดมอบการอนุมานที่รวดเร็วและมีประสิทธิภาพยิ่งขึ้นบน GPU RTX รวมถึงการรองรับโมเดล NVIDIA Nemotron Nano v2 9B, การเปิดใช้งาน Flash Attention ตามค่าเริ่มต้น และการปรับแต่งเคอร์เนล CUDA

ดาวน์โหลดอัปเดต G-Assist v0.1.18 ผ่านแอป NVIDIA ซึ่งมีคำสั่งใหม่สำหรับผู้ใช้แล็ปท็อปและคุณภาพคำตอบที่ดีขึ้น

Microsoft เปิดตัว Windows ML พร้อม NVIDIA TensorRT สำหรับการเร่งความเร็ว RTX ซึ่งมอบการอนุมานที่เร็วขึ้นสูงสุด 50% การปรับใช้งานที่คล่องตัวยิ่งขึ้น และการรองรับ LLM, การกระจาย และโมเดลประเภทอื่นๆ บนพีซี Windows 11