기술 뉴스보다,
실제로 써먹는 LLM 인사이트

AI 에이전트의 안전성을 여러 공격 방법으로 시험하고, 시험에서 배운 점을 다음 지침에 반영하는 방법이다. 무엇이 문제였나 — 한 가지 공격 방식만 쓰면 에이전트의 다른 약점을 찾지 못할 수 있다. 어떻게 풀었나 — 이 방법은 여러 공격 도구를 시험하고, 성공과 실패 기록을 짧은 지침으로 정리한다. 그래서 뭐가 좋아졌나 — 새 지침은 별도 검증에서 점수가 나아질 때만 채택하며, 논문에서는 도구 호출을 줄이면서 공격 성능을 높였다. ...

큰 모델의 일부만 작은 추가로 바꾸는 LoRA의 크기(랭크)를 정할 때, 실제 작업에서 모델이 ‘어느 단어를 얼마나 볼지’를 얼마나 잘 따라갈 수 있는지 계산하는 이론이다. 무엇이 문제였나 — LoRA의 랭크가 낮으면 추가 장치가 담을 수 있는 변화 방향이 적어 목표와 다른 주의 분포가 될 수 있습니다. 어떻게 풀었나 — 논문은 실제 작업 입력에서 자주 쓰이는 변화 방향에 가중치를 주어, 각 랭크의 오차 상한과 하한을 계산합니다. 그래서 뭐가 좋아졌나 — 결과는 attention 확률 분포의 차이까지를 다루며, 최종 답변이 같은지나 작업 점수가 좋아지는지는 보장하지 않습니다. ...

도구가 틀린 답을 줄 때 AI가 맞는 답을 지키는지, 둘 다 믿기 어려우면 충돌을 알리는지 평가한다. 무엇이 문제였나 — 문제: AI는 검색이나 외부 도구가 준 값을 그대로 믿을 수 있지만, 그 값이 틀렸을 수도 있다. 어떻게 풀었나 — 평가 방법: AI가 도구 없이 낸 답과 도구가 준 답을 각각 정답과 비교해 네 가지 상황으로 나눈다. 그래서 뭐가 좋아졌나 — 발견: 모델들은 대체로 도구 답을 잘 따르지만, 도구가 틀렸을 때 기억이 맞아도 그 답을 지키는 경우는 드물었다. ...

AI가 일을 하며 겪은 실수와 성공을 정리해 두고, 다음번에 쓸 작업 안내서를 계속 고치는 방법을 제안한 논문입니다. 무엇이 문제였나 — AI의 성공과 실패 기록은 되어도, 다음 작업 안내서에는 잘 이어지지 않았습니다. 어떻게 풀었나 — 실행 기록에서 반복되는 문제와 효과적인 방법을 위키에 모은 뒤 안내서를 고치고, 검증 점수가 좋아질 때만 새 안내서를 채택합니다. 그래서 뭐가 좋아졌나 — 다섯 과제와 다섯 모델에서 기존 방법보다 평균 성능이 높았고, 작은 모델이 더 큰 모델의 기본 성능을 넘기도 했으며, 다른 모델이 만든 스킬이 자기 모델의 스킬보다 잘 맞기도 했습니다. ...

칩 설계 AI가 만든 결과를 여러 검사 도구와 연결해, 설계 전체를 확인하고 다음 일을 정하는 방법을 설명한 논문이다. 무엇이 문제였나 — AI는 설계 코드를 만들 수 있지만, 코드가 그럴듯하거나 일부 검사에 통과해도 실제 칩에서 제대로 작동한다는 보장은 없다. 어떻게 풀었나 — 논문은 한 번 만들기, 검사 결과를 받아 고치기, 여러 설계 단계를 이어 관리하기라는 세 가지 AI 역할을 나누어 설명한다. 그래서 뭐가 좋아졌나 — 저자들은 검사 결과와 설계 정보를 다음 단계까지 이어 주는 관리 역할이 큰 설계의 오류를 줄이는 데 도움이 될 수 있다고 제안한다. ...

이 연구는 모델 파일 검사 도구가 위험을 얼마나 잘 찾아내는지뿐 아니라, 실제로 판단을 끝내는지도 비교합니다. 무엇이 문제였나 — 검사 도구가 답한 파일만으로 정확도를 계산하면, 판단을 못 한 파일이 많아도 성능이 좋아 보일 수 있습니다. 어떻게 풀었나 — 연구진은 합성 모델 파일 170개를 145개 묶음으로 나눠 세 도구를 비교했습니다. 악성·정상 파일에는 기준 답이 있었고, 손상된 파일 10개에는 기준 답을 정하지 않았습니다. 그래서 뭐가 좋아졌나 — ModelScan은 답을 낸 67개에서는 모두 맞았지만, 기준 답이 있는 135개 중 절반가량만 판단했습니다. ModelAudit는 모두 판단했지만 정상 파일 65개 중 60개를 위험하다고 경고했습니다. ...

에이전트의 말투를 바꿔도 실제 업무의 승인과 기록이 흔들리지 않도록 두 일을 나누는 설계를 제안했다. 무엇이 문제였나 — 문제: 에이전트의 말투와 지시를 고칠 때마다 실제 업무까지 다시 검사해야 하거나, 검사를 줄이면 업무 기록을 믿기 어려울 수 있다. 어떻게 풀었나 — 방법: 대화와 말투 설정은 한 영역에 두고, 실제 업무는 다른 영역에서 정해진 승인과 기록 절차를 거치게 한다. 그래서 뭐가 좋아졌나 — 결과: 파일럿 구현에서는 persona 변경 뒤 실행 측 재검증이 없었고, 한 A/B 검사에서 정해 둔 실행 기록 항목에 persona 정보가 섞이지 않았다. ...

작은 AI가 만든 풀이 앞부분을 학습 중에 큰 AI에게 보여 주고, 큰 AI가 나머지를 이어 풀도록 해 더 다양한 답을 찾게 하는 연구다. 무엇이 문제였나 — 큰 AI는 정답률을 높이는 과정에서 자주 쓰는 풀이에 집중하여 다른 답을 찾을 가능성이 줄어들 수 있다. 어떻게 풀었나 — 작은 AI가 쓴 틀릴 수도 있는 풀이 앞부분을 학습 때 가끔 붙이고, 큰 AI가 그 뒤를 이어 풀게 한다. 그래서 뭐가 좋아졌나 — 한 문제에 여러 번 답을 시도할 때 정답을 찾을 가능성이 커졌고, 학습 중 선택의 폭도 유지됐다. ...

전압에 따라 작은 메모리의 저항이 어떻게 바뀌고 안정되는지 계산하는 모델을 만든 연구다. 무엇이 문제였나 — 아날로그 메모리는 전압을 받을 때 저항이 조금씩 변하므로 그 움직임을 예측하기 어렵다. 어떻게 풀었나 — 연구진은 메모리 안의 산소 빈자리 이동과 전자 흐름, 열을 함께 계산해 측정 결과와 비교했다. 그래서 뭐가 좋아졌나 — 또한 전압을 조절하면 메모리 상태가 안정되는 지점을 옮길 수 있고, 이를 학습 시뮬레이션에 적용했다. ...