개요
1982년, John Hopfield는 PNAS에 다섯 쪽짜리 논문을 발표했다. 제목은 “Neural networks and physical systems with emergent collective computational abilities”. 이 논문은 단순한 이진(binary) 뉴런들의 연결망이 기억을 저장하고, 불완전한 단서만으로도 기억을 복원할 수 있음을 보였다. 수십 년 뒤 이 작업은 딥러닝과 현대 AI 혁명의 기초 중 하나로 인정받아 2024년 노벨 물리학상으로 이어졌다. UPenn 신경과학자 Maria Geffen이 이 논문과의 첫 만남과 그 영향을 The Transmitter에 기고했다.
핵심 요약
- 1982년 홉필드 네트워크: 이진 뉴런 + 헤비안 연결 행렬로 기억 저장·복원 구현
- 두 가지 혁신: 비동기 업데이트 + 부분 입력에서 완전한 기억 복원 — 둘 다 생물학에서 직접 뽑아낸 아이디어
- 어트랙터 상태: 네트워크가 자발적으로 안정 상태에 수렴하는 성질 — 뇌의 지속 활성(sustained activity) 모델로 사용
- Nobel Prize 2024: 단순한 계산 모델이 수십 년 뒤 물리학상을 받은 이유
- Maria Geffen의 교훈: 연구 질문을 항상 생물학에 뿌리 내려야 한다
홉필드 네트워크가 한 것
홉필드가 만든 네트워크는 매우 단순하다. 뉴런은 0 또는 1의 이진 값을 가진다. 연결 가중치는 헤비안 원칙(동시에 활성화된 뉴런들은 강한 연결을 가진다)으로 설정된다. 이 단순한 설계에서 예상치 못한 두 가지 창발적 성질이 나왔다.
첫째, 비동기 업데이트다. 모든 뉴런이 동시에 갱신되는 대신, 무작위 순서로 각자 갱신된다. 이 방식이 실제 뇌가 작동하는 방식에 더 가깝다.
둘째, 어트랙터 수렴이다. 어떤 입력에서 시작해도 네트워크는 학습된 패턴 중 하나로 수렴한다. 부분적인 입력(예: 기억의 일부)을 줘도 완전한 패턴을 복원한다. 인간 기억이 단서에서 전체를 떠올리는 방식과 같다. Geffen은 이를 이렇게 설명한다. “Bad Bunny"라고 말하면 뇌가 “Puerto Rico"를 떠올리는 것과 같다.
왜 짧은 논문이 수십 년을 살아남았나
Geffen이 강조하는 이 논문의 핵심은 생물학적 뿌리다. 비동기 업데이트와 부분 입력 복원이라는 두 아이디어는 수학적 편의를 위해 도입된 게 아니라, 실제 뇌가 그렇게 작동하기 때문에 선택됐다. 그 출발점이 계산 모델에 내구성을 줬다.
통계 물리학과 동역학계(dynamical systems)의 언어로 뇌의 기본 성질을 기술한 방식도 독창적이었다. 연결 행렬(connectivity matrix)을 정의하면 네트워크 성질에 대해 정확한 질문을 던질 수 있다. 최적 업데이트 방식은 무엇인가? 여러 입력을 동시에 처리하는 방법은? 다층 네트워크로 확장하면? 현대 딥러닝의 핵심 질문들이 이 논문의 기초 위에 서 있다. 홉필드 자신은 “이렇게 짧고 단순한 논문이 수십 년 뒤 이렇게 큰 영향을 미칠 줄 몰랐다"는 취지로 말한 적이 있다. 아이디어의 정확성이 분량을 이긴 사례다.
Geffen의 궤적: 수염에서 청각까지
Geffen은 프린스턴 학부생 시절 지도교수 Clarence Schutt의 권유로 홉필드를 만났다. 심리학에 관심 있던 수학 실력자가 어디서부터 시작해야 할지 몰라 고민하던 차였다. 홉필드의 계산신경과학 수업을 들었고, 직접 홉필드 밑에서 학부 논문을 썼다.
홉필드는 당시 어트랙터 개념을 뇌에서 찾고 있었다. 지속적인 뉴런 활성(sustained neuronal activity)의 실제 사례를 찾던 중 쥐의 수염 피질(whisker cortex)에서 힌트를 발견했다. Geffen은 수염의 길이, 두께, 곡률을 측정해 탄성 계수를 추정하고, 수염의 기하학이 설치류의 질감 지각에 결정적임을 밝혔다.
이 작업은 이후 청각 시스템 연구로 이어졌다. 박사후 연구에서는 소리의 프랙탈 성질과 복잡한 소리가 청각 시스템에서 어떻게 표현되는지를 연구했다. 현재 Geffen 연구실은 청각·후각, 청각·시각, 청각·체감각 통합을 연구하며, 복잡한 네트워크가 어떻게 정보를 처리하고 부호화하는지를 탐구한다. 출발점은 언제나 홉필드 논문의 핵심 원칙이다. 계산 모델은 생물학에 뿌리를 둬야 한다. 홉필드와 함께 일하며 몸에 밴 이 원칙이 그녀의 전체 연구 커리어를 관통한다.
실무자가 볼 핵심 포인트
- Hopfield net은 현대 어텐션 메커니즘의 조상이다 — 2020년 Ramsauer 등은 홉필드 네트워크를 현대화해 트랜스포머의 어텐션이 홉필드 업데이트 규칙과 동등함을 보였다. 1982년 논문은 아직 현역이다
- 어트랙터 = 기억 = 맥락 이해 — LLM이 프롬프트에서 패턴을 복원하는 방식은 홉필드 네트워크가 부분 입력에서 기억을 복원하는 방식과 구조적으로 닮아있다
- 생물학 기반 모델이 오래 살아남는다 — 편의를 위해 설계된 모델보다 실제 시스템의 원리에서 출발한 모델이 더 오래, 더 넓게 쓰인다
- 노벨 물리학상 2024 — Hopfield와 Geoffrey Hinton이 수상했다. AI가 물리학의 언어로 뇌를 설명하려는 시도에서 시작됐음을 다시 확인시켜준다
- 단 다섯 쪽 — 논문 길이와 영향력은 비례하지 않는다. 핵심 아이디어가 명확하고 생물학적으로 근거가 있으면 충분하다