Granite Embedding Multilingual R2 다국어 임베딩 모델

Granite Embedding Multilingual R2 — 97M으로 sub-100M SOTA, 32K 컨텍스트

개요 IBM이 Granite Embedding Multilingual R2를 Apache 2.0으로 공개했다. 97M과 311M 두 모델이다. 97M 모델은 MTEB 다국어 검색 벤치마크에서 60.3점을 기록해 sub-100M 오픈 다국어 임베딩 모델 중 1위다. 2위인 multilingual-e5-small(50.9점)과 9.4점 차이다. 311M 모델은 65.2점으로 500M 미만 오픈 모델 중 2위다. 둘 다 200개 이상 언어를 지원하고, R1 대비 64배 늘어난 32K 토큰 컨텍스트를 처리한다. 기존 다국어 임베딩 모델은 언어 커버리지를 넓히면 크기가 커지고, 소형 모델은 언어를 줄여야 했다. R2는 이 트레이드오프를 상당 부분 해소했다. ...

2026년 5월 16일 · 4 분 · 676 단어 · TechLLM
Darwin Family 학습 없는 추론 모델

학습 없이 GPQA Diamond 88.89% — Darwin Family, 가중치 재조합으로 프론티어 추론 달성

개요 강력한 오픈소스 LLM이 수백 개 쌓였다. VIDRAFT의 Darwin Family는 여기서 시작한다. 이미 존재하는 모델들의 가중치 공간에 원하는 능력이 잠들어 있다면? 새로 훈련하는 대신 그 잠재력을 꺼내면 된다. Darwin-28B-Opus는 그래디언트를 한 번도 쓰지 않고 GPQA Diamond 88.89%를 찍었다. 완전 훈련된 부모 모델을 뛰어넘는 수치다. ...

2026년 5월 16일 · 3 분 · 606 단어 · TechLLM
oMLX Apple Silicon LLM 서버

Mac에서 돌리는 로컬 LLM 서버 — oMLX, 계층형 KV 캐시와 연속 배칭

개요 로컬 LLM 서버를 써본 사람이라면 대부분 같은 불만에 맞닥뜨린다. 편하거나 제어하거나, 둘 중 하나만 된다. oMLX는 이 선택지를 거부한다. Apple Silicon Mac에 최적화된 추론 서버로, RAM과 SSD를 2계층 KV 캐시로 쓰고, 연속 배칭으로 동시 요청을 처리하고, macOS 메뉴바 앱으로 전부 제어한다. GitHub 스타 1.4만, 릴리스 71개. 실사용 기반이 탄탄하다. Llama, Qwen, Mistral, Gemma 계열 등 mlx-lm이 지원하는 모델이라면 대부분 올릴 수 있다. ...

2026년 5월 16일 · 3 분 · 637 단어 · TechLLM
2028년 AI 패권 시나리오

2028년 AI 패권, 두 가지 시나리오 — Anthropic의 경고

개요 2028년까지 2년이 채 안 남았다. Anthropic이 5월 14일 내놓은 리포트는 이 시간이 AI 패권의 분기점이 된다고 경고한다. 민주주의가 주도하는 세계로 갈지, 권위주의가 장악하는 세계로 갈지는 지금 내리는 정책 결정에 달렸다. ...

2026년 5월 16일 · 3 분 · 605 단어 · TechLLM
비동기 연속 배칭 커버 이미지

LLM 추론 속도를 공짜로 24% 높이는 법 — 비동기 연속 배칭

개요 H200 GPU는 시간당 5달러다. 하루 쓰면 120달러. 그런데 기본 설정으로 돌리면 GPU의 24%는 그냥 논다. HuggingFace 팀이 CUDA 스트림과 이벤트만으로 이 낭비를 없애는 방법을 공개했다. 모델을 바꿀 필요도, 새 커널을 짤 필요도 없다. ...

2026년 5월 16일 · 4 분 · 720 단어 · TechLLM
AI 에이전트 팀 구성 가이드

AI 에이전트 팀을 제대로 구성하는 법

개요 AI 에이전트 하나는 강력하다. 그런데 에이전트 팀이 함께 작동하면 차원이 다른 이야기가 된다. 2026년 5월 6일, Anthropic은 Code with Claude 행사에서 Claude Managed Agents의 멀티에이전트 오케스트레이션을 발표했다. 이제 단일 작업에 최대 20개의 전문화된 에이전트를 동시에 병렬로 실행할 수 있다. 순서대로가 아니라, 진짜 동시에. ...

2026년 5월 16일 · 4 분 · 643 단어 · TechLLM
Petri 3.0 architecture showing auditor/target model separation and Bloom integration

Anthropic, 얼라인먼트 테스트 도구 Petri를 Meridian Labs에 기증 — 버전 3.0 핵심 정리

핵심 요약 Anthropic의 오픈소스 얼라인먼트 테스트 도구 Petri가 Meridian Labs로 이전되며 새로운 주인에게 건너갔다 버전 3.0의 핵심 변화 3가지: 적응성(분리 구조) · 현실성(Dish 애드온) · 심층성(Bloom 연동) 영국 AI 보안연구소(AISI)가 이미 saboteur 평가 주요 수단으로 활용 중 MCP/Linux Foundation 기증과 같은 구조 — 중립적 평가 생태계 구축 의도 Petri 설치·사용 문서: meridianlabs-ai.github.io/inspect_petri/ Petri란 무엇인가 — Claude를 시험하는 도구 Anthropic은 최근 자사의 핵심 AI 정렬 테스트 도구인 Petri를 Meridian Labs라는 비영리 기관에 기증했다. Petri는 Anthropic의 Fellows 프로그램에서 탄생하며, Claude 시리즈의 신뢰성을 검증하기 위해 만들어진 도구다. 이미 Claude Sonnet 4.5부터 모든 Claude 모델에 공식 적용되어 있다. ...

2026년 5월 15일 · 4 분 · 763 단어 · TechLLM
광고 없는 깨끗한 칠판 위에서 사고하는 모습의 일러스트

Claude는 광고하지 않는다 — Anthropic이 "사고의 공간"을 지키기 위해 내린 비즈니스 모델 선언

핵심 요약 Anthropic이 2026년 2월 4일 공식 발표로 Claude에 광고를 도입하지 않겠다고 명시 선언했다. 검색·소셜과 다르게 AI 대화에서는 광고가 사용자에게 미치는 영향이 통제되지 않는다는 판단이다. 핵심 논리는 인센티브 구조 충돌. 광고 모델은 Claude의 Constitution이 명시한 “진정으로 도움이 된다(genuinely helpful)“는 원칙과 충돌하고, “수면 문제” 같은 일상 질문조차 광고 거래 기회로 변질될 수 있다. 광고가 응답에 직접 영향을 주지 않더라도 engagement 최적화라는 부수 인센티브가 들어온다. 가장 도움 되는 AI 상호작용이 짧은 대화일 수 있다는 점에서 이 인센티브는 “도움” 원칙과 어긋난다. 대안 비즈니스 모델은 엔터프라이즈 계약 + 유료 구독. 60개국 교육자 지원, 정부 AI 교육 파일럿, 비영리 할인 등 공익 활동으로 접근성을 확장한다. 상거래는 agentic commerce(사용자 위임)와 사용자 주도 third-party 통합(Figma·Asana·Canva)으로 지원한다. 광고주가 시작하는 상호작용은 거부. 비유는 단순하다 — “노트북, 잘 만든 도구, 깨끗한 칠판에는 광고가 없다.” Claude도 그래야 한다는 정체성 선언이다. “Claude는 광고를 위한 곳이 아니다” — 선언의 배경 Anthropic은 발표 첫 문장을 단단하게 박아둔다. “광고를 위한 좋은 장소는 많지만, Claude와의 대화는 그중 하나가 아니다.” 광고 자체를 부정하지 않는다는 점은 분명하다 — Anthropic도 자체 광고 캠페인을 운영했고, AI 모델은 광고 산업 고객들을 돕고 있다. 다만 Claude 안에 광고를 넣는 순간 Claude가 되고자 하는 것을 망가뜨린다는 판단이다. ...

2026년 5월 15일 · 5 분 · 1011 단어 · TechLLM
ChatGPT 모바일 앱에서 데스크톱 Codex 에이전트를 조종하는 일러스트

OpenAI Codex가 ChatGPT 모바일에 들어왔다 — 출퇴근길에서 데스크톱 에이전트를 조종하는 시대

핵심 요약 OpenAI가 데스크톱 코딩 에이전트 Codex를 iOS/Android ChatGPT 모바일 앱에서 조종할 수 있게 했다 (2026-05-14, preview). 폰에서 스레드 작업, 출력 검토, 명령 승인, 모델 변경, 새 작업 시작이 모두 가능하다. 파일·credentials·로컬 설정은 데스크톱에 그대로 남고, 스크린샷·터미널 출력·diff·테스트 결과·승인 요청만 실시간으로 폰에 흘러온다. OpenAI는 트래픽이 폭증한 Anthropic Claude Code를 빠르게 추격 중이다. Sora 비디오 도구 같은 사이드 프로젝트를 정리하고 엔터프라이즈와 코딩 도구에 집중하는 흐름의 연장선이다. 보안 모델의 핵심은 secure relay layer — 신뢰된 머신을 인터넷에 노출하지 않고 ChatGPT 로그인 디바이스 간에 활성 세션·컨텍스트를 동기화한다. 함께 발표된 업데이트: Remote SSH GA, Hooks GA, 엔터프라이즈/비즈니스용 프로그래매틱 액세스 토큰, ChatGPT Enterprise의 로컬 환경에서 HIPAA 준수 사용 지원. 출시 범위는 Free 플랜과 Go 플랜을 포함한 모든 ChatGPT 플랜, 모든 지원 지역. Windows의 Codex 앱 연결은 곧 추가 예정. OpenAI가 모바일 카드를 꺼낸 이유 지난 몇 달간 OpenAI 내부에서 가장 자주 들리는 단어는 “side quest 정리"였다. Sora 비디오 생성 도구를 종료하고, 사내 매출 책임자 메모에서 엔터프라이즈 비즈니스 성장에 집중하겠다고 못박은 흐름은 모두 같은 방향을 가리킨다. 문제의 본질은 Anthropic Claude Code의 폭발적 성장이다. 코딩 에이전트가 새로운 ChatGPT 시대의 기본기로 자리 잡는 사이, OpenAI는 자신들이 가진 가장 큰 자산인 ChatGPT 사용자 베이스를 코딩 에이전트와 결합하는 방식으로 따라잡으려 하고 있다. ...

2026년 5월 15일 · 6 분 · 1092 단어 · TechLLM