AI 안전 & 보안

핵심 요약 Anthropic의 오픈소스 얼라인먼트 테스트 도구 Petri가 Meridian Labs로 이전되며 새로운 주인에게 건너갔다 버전 3.0의 핵심 변화 3가지: 적응성(분리 구조) · 현실성(Dish 애드온) · 심층성(Bloom 연동) 영국 AI 보안연구소(AISI)가 이미 saboteur 평가 주요 수단으로 활용 중 MCP/Linux Foundation 기증과 같은 구조 — 중립적 평가 생태계 구축 의도 Petri 설치·사용 문서: meridianlabs-ai.github.io/inspect_petri/ Petri란 무엇인가 — Claude를 시험하는 도구 Anthropic은 최근 자사의 핵심 AI 정렬 테스트 도구인 Petri를 Meridian Labs라는 비영리 기관에 기증했다. Petri는 Anthropic의 Fellows 프로그램에서 탄생하며, Claude 시리즈의 신뢰성을 검증하기 위해 만들어진 도구다. 이미 Claude Sonnet 4.5부터 모든 Claude 모델에 공식 적용되어 있다. ...

핵심 요약 Anthropic이 2026년 2월 4일 공식 발표로 Claude에 광고를 도입하지 않겠다고 명시 선언했다. 검색·소셜과 다르게 AI 대화에서는 광고가 사용자에게 미치는 영향이 통제되지 않는다는 판단이다. 핵심 논리는 인센티브 구조 충돌. 광고 모델은 Claude의 Constitution이 명시한 “진정으로 도움이 된다(genuinely helpful)“는 원칙과 충돌하고, “수면 문제” 같은 일상 질문조차 광고 거래 기회로 변질될 수 있다. 광고가 응답에 직접 영향을 주지 않더라도 engagement 최적화라는 부수 인센티브가 들어온다. 가장 도움 되는 AI 상호작용이 짧은 대화일 수 있다는 점에서 이 인센티브는 “도움” 원칙과 어긋난다. 대안 비즈니스 모델은 엔터프라이즈 계약 + 유료 구독. 60개국 교육자 지원, 정부 AI 교육 파일럿, 비영리 할인 등 공익 활동으로 접근성을 확장한다. 상거래는 agentic commerce(사용자 위임)와 사용자 주도 third-party 통합(Figma·Asana·Canva)으로 지원한다. 광고주가 시작하는 상호작용은 거부. 비유는 단순하다 — “노트북, 잘 만든 도구, 깨끗한 칠판에는 광고가 없다.” Claude도 그래야 한다는 정체성 선언이다. “Claude는 광고를 위한 곳이 아니다” — 선언의 배경 Anthropic은 발표 첫 문장을 단단하게 박아둔다. “광고를 위한 좋은 장소는 많지만, Claude와의 대화는 그중 하나가 아니다.” 광고 자체를 부정하지 않는다는 점은 분명하다 — Anthropic도 자체 광고 캠페인을 운영했고, AI 모델은 광고 산업 고객들을 돕고 있다. 다만 Claude 안에 광고를 넣는 순간 Claude가 되고자 하는 것을 망가뜨린다는 판단이다. ...

출처: Let’s Data Science 문서유형: 뉴스 해설 #OpenAI #GPT55 #Cybersecurity #AI안전 핵심 요약 OpenAI가 보안 방어자를 위한 특화 모델 GPT-5.5-Cyber를 제한적으로 공개할 준비를 하고 있습니다. Sam Altman은 이 모델을 먼저 검증된 “critical cyber defenders”에게 제공하겠다고 밝혔고, 정부 및 보안 생태계와 함께 신뢰할 수 있는 접근 방식을 만들겠다고 설명했습니다. ...

출처: Anthropic 문서유형: 번역·해설 #Anthropic #ProjectGlasswing #ClaudeMythos #Cybersecurity #ZeroDay #AIAgent 핵심 요약 Anthropic이 Project Glasswing을 발표했습니다. AWS, Apple, Google, Microsoft, NVIDIA, Cisco, CrowdStrike, Linux Foundation, JPMorganChase 등 주요 기업이 참여하는 사이버보안 협력 프로젝트입니다. ...

출처: Import AI 454 문서유형: 번역·해설 #ImportAI #AIResearch #Alignment #AutomatedResearch #AI안전 #Huawei #Kimi 핵심 요약 이번 Import AI 454의 가장 자극적인 신호는 분명합니다. AI가 AI 연구를 자동화하기 시작했다는 것입니다. Anthropic의 자동화된 정렬 연구 실험은 Claude 기반 에이전트들이 아이디어를 제안하고, 실험을 돌리고, 결과를 분석하며, 인간 연구자보다 높은 성과를 낸 사례를 보여줍니다. ...

출처: TechLLM 문서유형: 모델 해설 #OpenAI #PrivacyFilter #PII #개인정보보호 #RAG #LLMOps #온프레미스 #비식별화 핵심 요약 OpenAI Privacy Filter는 PII 탐지와 마스킹을 위한 양방향 토큰 분류 모델이다. Apache 2.0 라이선스, 128K 컨텍스트, 온프레미스 배포, 파인튜닝 가능성까지 갖춰 실무형 전처리 레이어로 꽤 매력적이다. 다만 이 모델은 완전한 익명화 엔진이 아니라, privacy-by-design을 돕는 보조 도구에 가깝다. ...