| รุ่นการ์ดจอบน RunPod | VRAM / ความเร็ว | ค่าเช่า (เปิด 10 ชม./วัน) | โมเดลที่แนะนำให้รัน |
|---|---|---|---|
| NVIDIA RTX 4090 | 24GB • ~110 tok/s | $132/mo (~฿4,550) | คุ้มสุดสำหรับ Qwen 2.5 Coder 32B (AWQ) หรือ Llama 3.3 8B–14B งานภายในทีม |
| NVIDIA RTX A6000 | 48GB • ~135 tok/s | $147/mo (~฿5,070) | เพิ่มเงินแค่ $0.05/ชม. แต่ได้ VRAM 48GB รันโมเดลใหญ่ 70B (Q4) จบในใบเดียว! |
| NVIDIA L40S Ada / A100 80GB | 48–80GB • 195–220 tok/s | $258–$417/mo | สำหรับงาน Production ที่มีลูกค้าเรียกพร้อมกันหลายสิบคนตลอดทั้งวัน |
กฎจำง่ายๆ: โมเดลขนาด 32B แบบบีบอัด 4-bit (AWQ) ใช้ VRAM ประมาณ 18GB (รันบน RTX 4090 24GB ได้) ส่วนโมเดล 70B แบบ 4-bit ใช้ VRAM ประมาณ 39GB (ต้องใช้ RTX A6000 48GB หรือ L40S 48GB)
เมื่อเปิดเครื่องบน RunPod แล้ว ให้รันคำสั่งด้านล่างนี้ คุณจะได้ URL ที่ทำงานเหมือน OpenAI API ทุกประการ เพียงแค่เปลี่ยน baseURL ในโค้ดเดิมก็ใช้งานได้ทันทีโดยไม่เสียค่า Token อีกต่อไป
python3 -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-Coder-32B-Instruct-AWQ \
--quantization awq \
--enable-prefix-caching \
--gpu-memory-utilization 0.92 \
--max-model-len 32768 \
--port 8000
ไม่ต้องจ่ายครับ บน RunPod คุณสามารถตั้งเวลาเปิด-ปิด Pod หรือใช้ Serverless Endpoint เพื่อให้คิดเงินเฉพาะชั่วโมงที่เปิดใช้งานจริง (เช่น วันละ 10 ชม.) ช่วยประหยัดค่าเช่าลงไปได้อีกกว่า 58% เมื่อเทียบกับการเปิดทิ้งไว้ 24 ชม.