LLM 추론·서빙용 고속 오픈소스 엔진

대규모 언어 모델(LLM)을 빠르고 메모리 효율적으로 추론하고 서비스로 띄우는 라이브러리이다. OpenAI 호환 API 서버를 제공해 기존 클라이언트 코드를 크게 바꾸지 않고 연결할 수 있다.

1인 사업자 활용: 직접 GPU 서버를 운영하면 여러 고객 요청을 한 번에 처리하는 자체 LLM API를 만들어 외부 API 비용을 줄이는 데 참고할 수 있다.

• 자체 GPU 서버에 오픈소스 LLM을 올려 API로 제공할 때
• 여러 사용자 요청을 동시에 처리해 처리량을 높일 때
• LoRA 어댑터 여러 개를 하나의 베이스 모델에 얹어 운영할 때

uv pip install vllm

판정: 스킬 파일만 — 상시 비용이 설명 몇 줄뿐

라이선스 Apache-2.0 · 마지막 수정 2026-10-21 · 형태 skill · 추세 관찰 중

주의: NVIDIA·AMD 등 GPU 환경이 필요하며, CPU나 Mac에서는 지원 범위가 제한될 수 있다. 설치 전 사용하려는 하드웨어 지원 여부를 문서에서 확인해야 한다.

별 기록

2026-10-22 카드 모아 보기 →