개요
이스라엘의 초기 단계 VC Hetz Ventures를 이끄는 Judah Taub이 Computer Weekly에 짧지만 단단한 글을 한 편 올렸습니다. 제목은 “뇌는 한 번도 언어 모델이었던 적이 없다”. 요지는 단순합니다. 우리는 분명 굉장한 걸 만들었지만, 그걸 ‘도착점’으로 착각하고 있다는 겁니다.
지난 3년의 AI 진보는 거의 전부 텍스트 위에서 벌어졌습니다. 그래서 텍스트만 더 키우면 일반 지능(AGI)에 닿을 수 있다는 환상이 업계에 자리잡았습니다. Taub은 그 환상에 정면으로 반박합니다. 텍스트를 더 키우는 길은 더 좋은 자동완성기에 닿는 길이지, 일반 지능에 닿는 길이 아니라는 겁니다.
대신 진짜 흥미로운 일은 변두리에서 일어나고 있습니다. 표 형태 데이터로 학습하는 모델, 영상으로 물리 법칙을 익히는 모델, GPS·방향성 음향·고해상도 시각 센서를 한꺼번에 다는 로봇. 이들이 각자의 채널에서 신호를 뽑고, 그걸 다시 하나의 그림으로 합쳐 내는 융합 레이어(fusion layer) — 이게 다음 라운드의 진짜 핵심이라는 진단입니다.
핵심 요약
- 뇌는 언어 모델이 아니라 융합 엔진 — 깨어 있는 매 순간, 신경계는 창문으로 들어오는 빛의 각도, 손끝에 닿는 표면의 결, 내이의 미세한 기울기, 방이 비었음을 알려주는 잔향 같은 수십 개의 데이터 스트림을 동시에 받아들입니다. 어느 하나가 지배하지 않고, 끊임없이 가중치를 매겨 하나의 일관된 모델로 모읍니다. 합치는 행위 자체가 곧 지능이라는 겁니다.
- 유창함은 지능이 아니다 — Taub은 청각을 잃은 피아니스트의 비유를 듭니다. 악보는 완벽히 읽지만 음악은 한 번도 듣지 못한 상태. 지금의 LLM이 정확히 거기 와 있다는 표현입니다.
- 자동완성기는 자동완성기다 — “장엄하고 가끔 숨을 멎게 하는 자동완성기이지만, 그래도 자동완성기"라는 표현이 글의 한가운데를 관통합니다.
- 새 아키텍처는 ‘더 똑똑한 모델 하나’가 아니다 — 감각 채널마다 특화된 모델을 여러 개 두고, 그 출력들을 실시간으로 가중치 매겨 통합하는 융합 레이어가 따로 존재하는 구조. 그리고 이 융합 레이어는 “아직 거의 존재하지 않는다”.
- 세 가지 전장에서 이미 시작됐다 — 방위에서는 위성·음향·전자정보·생체 피드를 통합한 적보다 빠른 작전 그림, 헬스케어에서는 유전체·영상·웨어러블·행동 패턴을 실시간으로 묶는 진단, 금융에서는 항만 정체 위성 데이터·공장 음향·전력 소비를 직접 읽어 내는 신호로 무게중심이 옮겨 갑니다.
- 결정적 한 줄 — “모두가 언어 모델이 더 똑똑해지는 것을 지켜본다. 그러나 거의 아무도 세계가 읽힐 수 있게 되는 것을 지켜보지 않는다.”
본문
자동완성기를 도착점으로 착각한 업계
Taub의 진단은 두 단계로 짜여 있습니다. 먼저 LLM이 도달한 지점을 정확히 인정합니다. 텍스트는 인류 지식의 가장 밀도 높은 압축이고, 그 광맥을 캐낸 결과 진짜 기적이 나왔다고. 글을 읽고 쓰고 추론하고 토론하는 그 유창함은 지금 봐도 으스스할 정도입니다.
그러나 유창함은 지능이 아닙니다. 글에 등장하는 비유가 인상적입니다. 청각을 잃은 콘서트 피아니스트는 악보를 완벽히 읽지만 음악을 들은 적이 없습니다. 한 채널에 대한 비범한 능력과, “그 채널이 곧 전부"라는 점점 커지는 착시. Taub은 지금의 AI가 바로 그 자리에 있다고 봅니다.
여기서 글이 칼을 빼듭니다. 텍스트를 더 키우는 일은 일반 지능으로 가는 길이 아니라, 더 좋은 자동완성기로 가는 길이라는 겁니다. “장엄하고, 가끔은 숨을 멎게 하는, 그러나 결국 자동완성기"라는 표현이 그대로 박혀 있습니다.
뇌는 다중 채널을 동시에 처리하는 융합 엔진
대안으로 제시되는 모델은 익숙합니다. 우리 자신, 사람의 뇌입니다.
깨어 있는 매 순간 신경계가 동시에 받아들이는 것들을 떠올려 봅시다. 창문으로 들어오는 빛의 각도, 손끝에 닿는 표면의 결, 내이의 미세한 기울기가 알려주는 바닥의 기울어짐, 방이 비었다는 사실을 의식보다 먼저 알려주는 잔향. 이 스트림 가운데 어느 하나가 다른 것을 지배하지 않습니다. 끊임없이 가중치를 매기고, 서로 교차 검증하고, **하나의 일관된 ‘나는 지금 어디에 있고, 무엇이 벌어지고, 무엇이 중요한가’**라는 모델로 압축합니다.
핵심은 마지막 한 문장입니다. 우리는 세상을 한 번에 한 감각씩 경험하지 않습니다. 한꺼번에 경험하고, 그렇게 합쳐 내는 행위 자체가 곧 지능입니다. 이 정의를 받아들이면, 텍스트라는 단일 채널의 유창함은 지능의 한 조각일 뿐이라는 결론이 자연스럽게 따라옵니다.
변두리에서 자라고 있는 새 아키텍처
Taub이 가장 흥미롭다고 꼽는 이야기는 변두리에서 진행 중입니다. 주류 금융·테크 매체가 거의 다루지 않는 영역입니다.
- 표 형태 데이터(tabular data) 모델 — 세계의 언어 표면이 아니라, 숫자로 구조화된 현실에서 신호를 뽑아내는 시스템.
- 영상 모델 — 사물이 어떻게 움직이고 떨어지고 충돌하는지, 텍스트가 끝내 완전히 담아내지 못하는 물리를 배워 가는 모델.
- 다감각 로봇 — GPS, 방향성 음향, 고해상도 시각 센서를 함께 단 기계. Taub은 인상적인 비유를 씁니다. 시야가 흐려진 환경의 인간 병사보다 더 많은 기능적 감각으로 물리 공간을 항해하는 시스템이라고.
여기서 등장하는 새 아키텍처는 “더 똑똑한 모델 하나"가 아닙니다. 감각 채널마다 특화된 AI 시스템을 여러 개 두고, 마치 뇌가 눈·귀·손에서 오는 신경 신호를 결합하듯 그 출력을 묶어 내는 구조입니다. 그리고 그 묶음을 책임지는 융합 레이어가 따로 존재합니다. Taub의 한 문장이 묵직합니다. “진짜 가치는 이 융합 레이어에서 만들어질 것이다. 그런데 그건 아직 거의 존재하지 않는다.”
방위·헬스케어·금융이 가장 먼저 흔들린다
추상적인 이야기가 아닙니다. Taub은 세 영역을 콕 짚어 보여 줍니다.
방위. 군사적 우위는 전장 센서 데이터를 적보다 빨리 융합하는 쪽이 가져갑니다. 위성 영상, 음향 시그니처, 전자정보(SIGINT), 생체 피드를 하나의 일관된 작전 그림으로 묶어 내는 능력이 그 자체로 결정적인 변수가 됩니다. 단일 채널의 우위가 아니라 채널들 사이의 융합 속도가 승부를 가르는 셈입니다.
헬스케어. 진단은 차트를 잘 읽는 기예에서, 유전체 데이터·영상·웨어러블 바이오센서·행동 패턴을 실시간으로 통합하는 과학으로 옮겨 갑니다. 환자에 대한 종합적인 그림이라는 표현이 한국 의료에서도 흔히 쓰이는데, 이번에는 그 그림을 AI 인프라 차원에서 그려 낸다는 의미가 됩니다.
금융. 우위는 언어 — 실적 발표, 뉴스, 공시 — 를 처리하는 능력에서 물리 세계를 직접 읽는 능력으로 이동합니다. 항만 정체를 보여 주는 위성 데이터, 공장 가동률을 알려 주는 음향 모니터링, 경제 산출의 대리 지표인 전력 소비. 모두 텍스트가 아니라 센서가 직접 보내 주는 신호입니다.
글의 마지막 화살
Taub이 글을 닫는 방식이 유난히 날카롭습니다. 흐름이 어디로 가는지는 더 이상 질문거리가 아니라고 합니다. 질문은 누가 그 모든 것을 묶어 내는 아키텍처를 짓느냐, 그리고 다 짓기 전에 우리가 무엇을 짓고 있는지 이해할 수 있느냐입니다.
그리고 그가 던지는 마지막 한 줄이 가장 오래 남습니다.
“모두가 언어 모델이 더 똑똑해지는 것을 지켜본다. 거의 아무도 세계가 읽힐 수 있게 되는 것을 지켜보지 않는다.”
언어 모델이 더 똑똑해지는 모습은 누구나 봅니다. 그 옆에서 카메라·마이크·전자기 센서·생체 신호가 결합되며 세계 자체가 점점 더 기계가 읽기 좋은 형태로 바뀌고 있다는 사실은, 같은 속도로 주목받지 못하고 있습니다. Taub이 던지는 화두는 그 시선의 비대칭을 메우자는 제안입니다.
실무자가 볼 핵심 포인트
- LLM에만 베팅한 로드맵을 다시 보자 — 텍스트 한 채널의 품질을 키우는 일과, 텍스트·표·영상·센서를 묶는 융합 레이어를 만드는 일은 완전히 다른 투자입니다. 사내 AI 전략이 전자에만 쏠려 있는지 점검할 시점입니다.
- 데이터 자산 평가도 바뀐다 — ‘얼마나 큰 텍스트 코퍼스를 가졌는가’에서 ‘얼마나 다양한 채널의 데이터를 동기화해서 가질 수 있는가’로 무게중심이 옮겨갑니다. 사내 텔레메트리, 영상, 센서 로그가 의외의 핵심 자산이 될 수 있습니다.
- 융합 레이어가 비어 있다는 신호 — Taub은 이 레이어가 “아직 거의 존재하지 않는다"고 단언합니다. 곧 표준 아키텍처와 도구가 정의되어야 한다는 뜻이고, 한국 스타트업·연구 그룹에게도 시간 창이 열려 있다는 뜻입니다.
- 방위·헬스케어·금융 세 곳을 주시 — 가장 먼저 큰 돈과 정책이 움직이는 영역입니다. 사내 도메인이 어디든, 이 세 영역에서 어떤 융합 아키텍처가 표준으로 자리잡는지를 한 분기에 한 번씩 정리해 두면 본업의 의사결정에도 도움이 됩니다.
- ‘유창함 = 지능’이라는 마케팅 문구를 의심하자 — 데모가 유창하다는 사실은 모델이 답을 잘 만든다는 신호일 뿐, 그 답이 현실 맥락에 맞춰져 있다는 신호는 아닙니다. 도입 검토 시에는 단일 채널 성능보다 현실 맥락 통합 능력을 확인할 수 있는 시나리오를 별도로 마련해 두는 편이 좋습니다.