데이터베이스가 어떤 실세계 대상을 담고 있는지, AI가 추론하되 그 추론을 데이터로 직접 확인해서 틀린 부분을 잡아내는 자동 설명서 생성기다.
무엇이 문제였나 — 비전문가가 데이터를 쓰려면 ‘이 테이블이 무엇을 의미하는지, 어떻게 연결되는지’를 전문가가 손으로 적어야 하는 병목이 있었다. 어떻게 풀었나 — TYTAN은 DB 구조는 결정론적으로 분석하고, 의미 해석은 LLM에 맡긴 뒤, 모든 제안을 실제 데이터에 대해 검증하고 모호하면 사용자에게 한두 줄 질문한다. 그래서 뭐가 좋아졌나 — 그 결과 누구나 자연어로 복잡한 분석 질문을 할 수 있게 해주는 신뢰할 수 있는 데이터 설명서가 거의 자동으로 만들어진다.
외국어로 된 거대한 서류 더미가 있다고 치자. AI 통역사가 대충 ‘이건 계약서, 저건 명단’이라고 부르는 게 아니라, TYTAN은 통역사가 부른 이름을 실제 서류 내용과 일일이 대조해서 확인한다. 그래도 헷갈리면 당신에게 ‘이 표는 독립 항목인가요, 아니면 두 표를 잇는 다리인가요?‘라고 정확히 한 가지만 묻는다. 결국 서류 더미 전체가 누구나 읽을 수 있는 색인으로 정리된다.
논문 정보
Donna Hooshmand, Shubham Shahi, Cameron Barrie, Abhratanu Dutta, Marko Sterbentz, Harper Pack, Kristian J. Hammond · Northwestern University (C3 Lab) · arXiv preprint (arXiv:2608.06331, 2026년 8월 공개) · 2026
왜 중요한가
오늘날 기업의 데이터는 사람이 쓰기엔 너무 복잡하고, AI가 SQL을 짜도 테이블 의미를 몰라 틀리기 일쑤다. TYTAN은 그 의미를 데이터 자체에서 끌어내어 검증하므로, 비전문가도 자연어로 정확한 분석을 할 수 있는 길을 연다. 특히 메타데이터가 아예 없는 CSV 묶음에서도 구조를 복원할 수 있어 레거시 데이터 자동화에 즉시 활용 가치가 있다.
핵심 지표
| 지표 | 값 | 설명 |
|---|---|---|
| 참조 도메인 커버리지 | 100% | 7개 참조 도메인에서 엔티티·속성·집계가능 속성 전부 참조 스키마와 매칭(Table 1), 누락 0건 |
| 자가 생성 검색 테스트 통과 | 3758/3758건 | 8개 DB에서 ring이 만든 모든 검색 지시(ID 고유성·속성 매핑·조인 실행·레퍼런스 해석)를 실제 DB에 실행해 전부 통과(FIFA blind 2,071건 포함) |
| 속성 역할 정확도 | 92~100% | 매칭된 속성의 분석 역할 정확도. college 93.9%, hospital 94.7%, 나머지 5개 도메인 100%(Table 3). 21건 오분류(식별자를 수치로)는 검증 후 100%로 수정 |
| 블라인드 기대 리콜 | 100% | 메타데이터가 전혀 없는 FIFA WC2026 10표에서, 5명 독립 평가자(인간 2+LLM 3)가 만족 가능하다고 본 기대치 전부 충족(Table 4). 불가능 41건은 데이터 자체 결손 |
어떻게 동작하나
TYTAN은 세 단계를 교차로 돈다. 먼저 DB에서 표·컬럼·키·값 샘플·카디널리티·결측률을 결정론적으로 프로파일링한다. 그 위에서 LLM이 엔티티·속성·이름을 제안하면, 매 제안을 DB에 대해 검증한다. 조인 후보는 (1) 전체 값 중첩이 0이면 즉시 배제하고, (2) 자기 자신이 PK이거나 수치형 측정값이거나 이미 참조가 있는 컬럼 등은 결정론적 가드로 걸러내며, (3) 남은 것만 LLM이 신뢰도 임계값 이상으로 승인한다. 엔티티 식별자는 선언 PK → LLM 제안 → 후보 탐색 순으로 항상 데이터에 대해 유일성을 검증하고, 수치형은 후보에서 제외한다. 컬럼 역할은 ‘증거는 정제할 수 있지만 의미를 덮지 못한다’는 원칙으로, LLM 의미 판단을 유지하되 값/메타데이터와 충돌하면 정제한다. 검증 가능한 사실(유일성·중첩·저장 타입)은 모두 DB에서 직접 계산해 LLM 밖으로 빼내어, 환각을 구조적으로 차단한다.
핵심 수식:
J(a \to b) = [\,\mathrm{Overlap}(V_a, V_b) \neq \varnothing\,] \wedge [\,a \notin PK \wedge a \notin Numeric\,] \wedge [\,\mathrm{ref}(a) = \bot\,] \wedge [\,\mathrm{LLM}_{conf}(a,b) > \tau\,]
J(a→b)는 컬럼 a가 b를 참조하는 조인을 최종 수용할지(참/거짓). 첫째 항은 두 컬럼 값 집합의 교집합이 비어있지 않아야 함(전체 distinct 기준, 0 중첩이면 즉시 배제). 둘째 항은 a 자신이 기본키이거나 수치형 측정값(골·저지 등)이면 후보에서 제외. 셋째 항은 a에 이미 검증된 참조가 없어야 함(중복 참조 방지). 넷째 항은 LLM이 두 컬럼의 이름·타입·샘플 값을 보고 판단한 신뢰도가 고정 임계값 τ를 넘어야 함. 네 조건 모두 참일 때만 조인이 ring에 들어간다.
한계와 주의할 점
- 평가 데이터베이스가 8개(참조 7+블라인드 1)로 규모가 작아, 도메인과 스키마 패턴의 다양성에 대한 일반화가 불확실하다.
- 참조 스키마를 저자가 직접 작성·수정했고, 동일한 저자진이 SATYRN 평가에도 참여해 evaluator와 developer가 겹쳐 독립성이 약하다.
- 인간 평가자가 2명뿐이고, LLM annotator 3개 중 하나는 생성기와 같은 모델 패밀리라 inter-model 수렴과 진짜 정답이 섞여 있다(논문도 이를 인정).
- downstream 분석 정확도는 SATYRN에 위임하고 평가하지 않아, ring이 실제 질문 응답 품질에 미치는 영향이 직접 증명되지 않는다.
- clarification loop의 기본 답변 질을 항목별로 정량 평가하지 않아(논문이 한계로 명시), 무인 모드의 신뢰도가 충분히 입증되지 않는다.
- 작은 정수 ID 범위가 여러 표에서 겹치면 가짜 조인이 LLM 검증까지 통과: FIFA 1차 실행에서 3개 spurious join(골/세이브 수와 순차 ID 중첩) 발생, 병원 데이터 메타데이터 제거 시 4개 누출(Table 5).
- 복합 키 후보 탐색이 예산 한계로 끝까지 못 돌면 미검증 fallback id가 들어가, retrieval 테스트가 ID 고유성 위반으로 잡아낸다(본문이 명시한 사례).
- 값 중첩이 0이어도 전체가 아닌 샘플만 보면 진짜 관계를 과소평가할 수 있어, 데이터 접근이 제한된 환경에서 조인 누락이 생긴다.
- 반복 커버리지 탐색 단계에서 새로 만든 엔티티가 참조 타겟으로 보이지 않아 외래키가 발견되지 않거나, 같은 표 쌍의 두 번째 FK가 첫째에 덮여 사라진다(FIFA 1차 실행이 두 사례를 동시에 보고).
단계별 도입 로드맵
| 단계 | 목표 | 액션 | 기대 효과 |
|---|---|---|---|
| Phase 1 | 관계형·테이블 데이터 대상 프로덕션 안정화 | clarification 기본 답변의 항목별 품질을 정량 평가 지표로 추가하고, 병원 데이터에서 드러난 small-integer 중첩 탐지 가드(3개 이상 키스페이스 중첩)의 임계값을 적응형으로 조정하며, 평가 DB를 참조 스키마 보유 도메인으로 추가 확대 | 무인 모드 신뢰도와 조인 발견 회수율을 정량 보증해 기업 도입의 마지막 허들을 제거 |
| Phase 2 | 비정형·그래프 소스로 표현 범위 확장 | JSON·이벤트 로그의 평탄화를 넘어 원본 위계를 보존하는 프로파일링 단계 추가, 지식 그래프(Kellou-Menouer et al. 2022 경로)는 이미 노출된 엔티티·관계를 직접 ring으로 매핑하는 별도 어댑터 개발, 복합키 후보 탐색을 선언 FK 없이도 작동하도록 강화 | 평탄화 손실을 없애고 그래프·반정형 데이터까지 단일 파이프라인으로 커버 |
| Phase 3 | 지속적 자가 갱신과 다중 소스 통합 | DB가 변경될 때 ring의 변경된 부분만 재검증하는 증분 갱신 도입, 평행 다중 FK(예: 홈팀/원정팀)의 경로 탐색을 전부 지원하도록 집계가능 속성 계산 확장(현재는 하나만 순회), cross-run 안정성 지표를 CI 게이트로 통합 | 스키마가 데이터와 함께 살아 숨 쉬고, 다중 관계를 온전히 반영해 운영 환경에서 장기 신뢰 확보 |
원문 PDF: 2026-08-08-tytan-interactive-neurosymbolic-construction-of-analytic-semantic-schema.pdf