InferCap
Toolkit CLI cho preflight inference LLM, cấu hình serving, xác minh triển khai, benchmark, telemetry và phân tích capacity.
InferCap làm được gì?
Preflight phần cứng
Kiểm tra Python, PyTorch, vLLM, system memory và NVIDIA GPU.
Tìm model theo family
Lọc kiến trúc tương thích và xếp hạng model có khả năng vừa GPU.
Cấu hình serving
Sinh lệnh vLLM theo profile safe, balanced, latency hoặc throughput.
Xác minh endpoint
Kiểm tra endpoint OpenAI-compatible và model ID đang được serve.
Benchmark có cấu trúc
Chạy concurrency, burst hoặc request-rate với TTFT, latency, TPS và RPS.
Phân tích saturation
Tìm operating point trước khi throughput, TTFT hoặc error rate vượt ngưỡng.
Một workflow từ model đến capacity
- Chọn model chính xác hoặc tìm theo family.
- Kiểm tra khả năng tương thích với hardware.
- Xem và điều chỉnh lệnh vLLM được đề xuất.
- Xác minh endpoint rồi chạy benchmark.
- Đọc telemetry và tìm mức tải ổn định.
uv run infercap check --model <model> --jsonBài toán
Triển khai LLM thường bắt đầu bằng nhiều câu hỏi: model có vừa GPU không, cấu hình serving nào hợp lý và GPU đạt giới hạn ở đâu?
Cách tiếp cận
InferCap kiểm tra Python, PyTorch, vLLM, system memory, NVIDIA GPU, kiến trúc model và memory ước lượng; đồng thời gợi ý lệnh vLLM, xác minh endpoint, benchmark và phân tích saturation.
Tài liệu có sẵn
Repository công khai gồm CLI yêu cầu Python 3.12+, tests, tài liệu quick start/architecture, output benchmark JSON/PNG và giao diện web.
Đóng góp & Bối cảnh
Tự thiết kế và xây dựng dự án như một toolkit mã nguồn mở.
Phạm vi & Giới hạn dự án
Phiên bản hiện tại tập trung vào NVIDIA GPU và vLLM. Ước lượng memory chỉ dùng để kiểm tra tính khả thi, không bảo đảm runtime ổn định.