เปิดตัว llm-d 1.0 ยกระดับการประมวลผล AI แบบกระจายศูนย์ให้มีประสิทธิภาพสูง

กลุ่มผู้พัฒนาโครงการโอเพนซอร์ส llm-d ประกาศปล่อยเวอร์ชัน 1.0 ซึ่งเป็นโซลูชันสำหรับการปรับใช้และขยายขนาดการประมวลผล (Inference) ของโมเดลภาษาขนาดใหญ่ (LLM) ให้มีประสิทธิภาพมากขึ้นบนโครงสร้างพื้นฐานสมัยใหม่

โครงการนี้ก่อตั้งโดยยักษ์ใหญ่ด้านเทคโนโลยีอย่าง IBM, Red Hat, Google Cloud, CoreWeave และ NVIDIA โดยมีเป้าหมายเพื่อช่วยให้องค์กรจัดการกับความท้าทายด้านต้นทุนและทรัพยากรในการรัน AI ระดับโปรดักชัน

llm-d 1.0 มาพร้อมฟีเจอร์ใหม่ เช่น การจัดการ Multi-tenant ที่ช่วยจัดลำดับความสำคัญของงาน และการดำเนินงานแบบ Zero-downtime เพื่อให้ระบบทำงานได้อย่างต่อเนื่อง

ผลการทดสอบระบุว่าสามารถลดต้นทุนการประมวลผลลงได้ 5-10 เท่าสำหรับงานประเภท Agentic workloads และเพิ่มปริมาณงาน (Throughput) ได้ถึง 3 เท่าเมื่อเทียบกับการตั้งค่าแบบเดิม