NVIDIA Rubin CPX: Vera CPU Arm เปลี่ยนเกม Agentic AI · Dev365TH เรียนออนไลน์

ทำไมงาน Agentic AI ถึงเป็นต่างจาก LLM ธรรมดา

ลองนึกภาพ AI Agent ที่ต้องอ่านเอกสาร 50 หน้า ตัดสินใจเรียก API 3 ตัว แล้วสรุปผลกลับมาให้ผู้ใช้ — ทั้งหมดนี้เกิดขึ้นในคำขอเดียว บริบท (context) ที่ Agent ต้องจดจำอาจกระโดดจากไม่กี่พันโทเคนไปเป็น ล้านโทเคน ได้ในพริบตา

ปัญหาคือ สถาปัตยกรรม GPU รุ่นปัจจุบันออกแบบมาเพื่องาน inference แบบดั้งเดิม คือรับ input สั้น ๆ แล้ว generate ออกมา แต่ Agentic AI มีรูปแบบการทำงานที่ต่างออกไปโดยสิ้นเชิง

Prefill vs Decode: สองงานที่หน้าตาเหมือนกันแต่ขัดแย้งกัน

การ inference มีสองเฟสหลักที่ต้องการทรัพยากรต่างกันโดยสิ้นเชิง:

Prefill (ประมวลผล input)

ต้องประมวลผลโทเคนจำนวนมากพร้อมกัน
กิน memory bandwidth สูงมาก
เป็นงาน compute-bound เมื่อ context ยาว
ในงาน Agentic AI อาจต้อง prefill ล้านโทเคนในครั้งเดียว

Decode (สร้าง output)

สร้างโทเคนทีละตัว ทีละขั้น
กิน memory capacity มากกว่า bandwidth
เป็นงาน memory-bound
ต้องการ latency ต่ำเพื่อตอบสนองแบบ real-time

เมื่อพยายามทำทั้งสองงานใน GPU ตัวเดียว จะเกิด interference — งาน prefill ที่หนักจะไปดึงทรัพยากรจากงาน decode ที่กำลังทำอยู่ ทำให้ response time กระโดดขึ้นมาทันที

Rubin CPX: แนวคิด Disaggregated Inference ที่เป็นจริง

NVIDIA เล็งเห็นปัญหานี้และออกแบบ Rubin CPX ให้รองรับการแยกงาน prefill และ decode ออกจากกันได้อย่างมีประสิทธิภาพ จุดเปลี่ยนสำคัญอยู่ที่การใช้ GDDR7 ความจุ 128GB บนแพ็กเกจเดียวกับ Vera CPU

GDDR7 ให้ bandwidth สูงกว่า GDDR6 ประมาณ 1.5-2 เท่า พร้อม latency ที่ต่ำลง ทำให้เหมาะกับงาน prefill ที่ต้องอัดโทเคนจำนวนมากเข้าระบบอย่างรวดเร็ว

สถาปัตยกรรมโดยรวมของ Rubin CPX ประกอบด้วย:

Rubin GPU สำหรับงาน compute หนัก
Vera CPU แบบ Arm สำหรับจัดการ orchestration และ data movement
GDDR7 128GB เป็น memory กลางที่ทั้งสองฝั่งเข้าถึงได้ผ่าน high-speed interconnect
NVLink เชื่อมระหว่าง CPX หลายตัวเพื่อขยายขนาดได้

การแยก prefill ไว้บน CPX ตัวหนึ่ง และ decode ไว้อีกตัวหนึ่ง ช่วยให้แต่ละงานใช้ทรัพยากรได้เต็มที่โดยไม่รบกวนกัน

Vera CPU: ทำไม Arm ถึงเหมาะกับงานนี้กว่า x86

นี่คือจุดที่หลายคนอาจมองข้าม ในงาน Agentic AI บน Modal และแพลตฟอร์ม cloud คล้ายกัน CPU ไม่ได้ทำหน้าที่แค่ boot ระบบ แต่ต้องจัดการภาระงานหนักหลายอย่างพร้อมกัน

ภาระงานของ CPU ในระบบ Agentic AI

Tokenization และ detokenization ของ context ยาว
KV Cache management ระหว่าง prefill และ decode
Routing และ scheduling ของ request หลายตัว
Tool calling เช่น HTTP requests, database queries
Data preprocessing ก่อนส่งเข้า GPU

Vera CPU ซึ่งเป็นสถาปัตยกรรม Arm มีข้อได้เปรียบเชิงโครงสร้างหลายอย่าง:

1. Power Efficiency ที่ส่งผลต่อ TCO โดยตรง

Arm ใช้พลังงานต่อ core ต่ำกว่า x86 อย่างชัดเจน ใน data center ที่รันงาน 24/7 ความต่างนี้คูณด้วยจำนวน node หลายพันเครื่องกลายเป็นเงินล้านบาทต่อปี

2. Core Count ที่หนาแน่น

Vera CPU ออกแบบมาให้มีจำนวน core มาก แต่ละ core มีประสิทธิภาพพอเหมาะกับงาน I/O และ orchestration ซึ่งเป็นงานที่ต้องการ concurrency มากกว่า single-thread performance

3. Memory Bandwidth ที่ตรงจุด

Vera ใช้ LPDDR5X หรือเทียบเท่า ซึ่งให้ bandwidth สูงพอสำหรับการย้าย KV Cache ระหว่าง CPU และ GPU โดยไม่เป็น bottleneck ในขณะที่ x86 platform หลายตัวยังติดอยู่กับ DDR5 ที่ bandwidth ต่ำกว่า

4. Integration แบบ chiplet เดียวกัน

เพราะ Vera และ Rubin อยู่ในแพ็กเกจเดียวกัน การสื่อสารระหว่าง CPU และ GPU มี latency ต่ำมาก เมื่อเทียบกับการใช้ CPU ภายนอกแบบ x86 ที่ต้องผ่าน PCIe หรือ CXL

Modal ซึ่งเป็นแพลตฟอร์ม cloud compute สำหรับนักพัฒนา ได้ทดสอบสถาปัตยกรรมนี้ในสภาพแวดล้อมจริง ผลที่ได้น่าสนใจหลายประการ:

ผลลัพธ์เชิงประสิทธิภาพ

Prefill throughput สำหรับ context 1 ล้านโทเคน เร็วขึ้นประมาณ 2.3 เท่า เมื่อเทียบกับการรันบนแพลตฟอร์ม x86 + GPU แบบดั้งเดิม
Tail latency (P99) ลดลงอย่างมีนัยสำคัญ เพราะงาน prefill ไม่ไปรบกวน decode อีกต่อไป
Token cost ต่อล้านโทเคนลดลง เนื่องจากใช้พลังงานน้อยลงและ utilization สูงขึ้น

เหตุผลที่ x86 ตามไม่ทันในงานนี้

ไม่ใช่ว่า Intel หรือ AMD ทำ CPU ไม่ดี แต่ปัญหาอยู่ที่ integration แพลตฟอร์ม x86 ต้องการ chipset, PCIe controller, และ memory controller แยกจากกัน ทำให้เส้นทางข้อมูลยาวขึ้น

ในขณะที่ Rubin CPX รวมทุกอย่างไว้ในแพ็กเกจเดียว CPU เข้าถึง memory ของ GPU ได้โดยตรง และในทางกลับกัน GPU ก็ส่งผลลัพธ์กลับได้โดยไม่ต้องผ่าน bus ภายนอก

สิ่งที่นักพัฒนาควรรู้

ถ้าคุณกำลังสร้างแอปพลิเคชันที่ใช้ Agentic AI มีหลายสิ่งที่ควรเตรียมตัว:

ออกแบบให้รองรับ Disaggregated Inference

แยก logic ของ prefill และ decode ออกจากกันตั้งแต่ตอนนี้
คิดถึง KV Cache เป็น resource ที่ต้องจัดการ ไม่ใช่ implementation detail
ใช้ framework ที่รองรับการ routing request ไปยัง node ที่เหมาะสม

เลือกเครื่องมือที่เข้ากับสถาปัตยกรรมใหม่

vLLM และ SGLang เริ่มมีการรองรับ prefill-decode disaggregation
TensorRT-LLM ของ NVIDIA เองก็มี feature ในทิศทางนี้
ถ้าใช้ Modal หรือแพลตฟอร์มคล้ายกัน ให้ตรวจสอบว่ามี Rubin CPX instance ให้เลือกใช้หรือไม่

คำนวณ cost ใหม่

สูตรคำนวณ cost เดิมที่คิดแค่ GPU hours อาจไม่ตรงอีกต่อไป เพราะในสถาปัตยกรรม CPX ต้นทุนกระจายอยู่ที่ทั้ง CPU, GPU, และ memory รวมเป็นหน่วยเดียว

มุมมอง: นี่ไม่ใช่แค่เรื่องของ NVIDIA

สิ่งที่น่าสนใจกว่าตัวสเปกคือ ทิศทางของอุตสาหกรรม การที่ NVIDIA เลือก Arm แทน x86 สำหรับ CPU ในแพ็กเกจ AI บ่งบอกว่าโลกของ AI infrastructure กำลังเปลี่ยนไป

ไม่ใช่แค่เรื่อง performance ต่อ watt แต่เป็นเรื่องของ co-design การออกแบบ CPU และ GPU ให้ทำงานร่วมกันได้อย่างเป็นธรรมชาติตั้งแต่ระดับ silicon น่าจะเป็นแนวทางหลักในอนาคต

AMD มีแนวโน้มจะเดินทางเดียวกันกับสถาปัตยกรรม APU ระดับ data center ส่วน Intel อาจต้องพึ่งพาการทำงานร่วมกับพันธมิตรอย่าง TSMC เพื่อสร้างแพ็กเกจที่แข่งได้

สรุป

Rubin CPX กับ Vera CPU ไม่ใช่แค่การอัปเกรดสเปก แต่เป็นการคิดใหม่ว่า AI infrastructure ควรออกแบบอย่างไรเมื่องานเปลี่ยนไปจาก chatbot ธรรมดาเป็น Agent ที่ต้องตัดสินใจและทำงานหลายขั้นตอน

การแยก prefill และ decode บน GDDR7 128GB พร้อม Vera CPU แบบ Arm เป็นคำตอบที่เป็นรูปธรรมสำหรับปัญหาที่หลายคนเริ่มเจอจริง

ถ้าคุณกำลังวางแผนสร้างระบบ Agentic AI ถึงเวลาแล้วที่จะศึกษาสถาปัตยกรรมแบบ disaggregated และเตรียม codebase ให้พร้อมรองรับการเปลี่ยนแปลงนี้

ลองไปดู vLLM หรือ SGLang ล่าสุดว่ามี feature อะไรที่ใช้ทดสอบ prefill-decode separation ได้วันนี้ แล้วมาแชร์ในชุมชนว่าผลเป็นอย่างไร — ถ้าเจอ bottleneck ตรงไหน อย่าลืมมาคุยกันต่อในกระทู้นะครับ