oMLX Apple Silicon LLM 서버

Mac에서 돌리는 로컬 LLM 서버 — oMLX, 계층형 KV 캐시와 연속 배칭

개요 로컬 LLM 서버를 써본 사람이라면 대부분 같은 불만에 맞닥뜨린다. 편하거나 제어하거나, 둘 중 하나만 된다. oMLX는 이 선택지를 거부한다. Apple Silicon Mac에 최적화된 추론 서버로, RAM과 SSD를 2계층 KV 캐시로 쓰고, 연속 배칭으로 동시 요청을 처리하고, macOS 메뉴바 앱으로 전부 제어한다. GitHub 스타 1.4만, 릴리스 71개. 실사용 기반이 탄탄하다. Llama, Qwen, Mistral, Gemma 계열 등 mlx-lm이 지원하는 모델이라면 대부분 올릴 수 있다. ...

2026년 5월 16일 · 3 분 · 637 단어 · TechLLM
transformers에서 MLX로 모델을 포팅하는 AI 에이전트 스킬 개념도

에이전트가 PR을 열면 안 되는 이유 — HuggingFace의 transformers→MLX 포팅 스킬

에이전트가 코드를 짜고, 이슈를 찾고, PR까지 열어준다. 좋아 보인다. 그런데 오픈소스 메인테이너들은 지금 곤혹스럽다. PR이 10배 늘었는데, 대부분 쓸 수 없는 것들이다. HuggingFace가 이 문제를 정면으로 파고든 글을 2026년 4월 공개했다. transformers 모델을 Apple Silicon용 MLX 프레임워크로 포팅하는 AI 스킬을 만들면서, 에이전트 시대 오픈소스 기여가 어때야 하는지 기준을 제시했다. ...

2026년 5월 10일 · 3 분 · 611 단어 · TechLLM