차세대 AI 아키텍처 지형도

2026-11-10

차세대 AI 아키텍처 지형도 — LLM 다음은 무엇인가

조사일: 2026년 11월 9일

문제의식: 얀 르쿤을 비롯한 일부 연구자들은 "언어모델 기반 생성형 AI는 지능의 종착지가 아니다"라고 본다. 그 대안으로 제시되는 접근들을 계보별로 정리한다.

0. 지형도 한눈에 보기

대안 진영은 하나가 아니다. 무엇이 LLM의 결함인가에 대한 진단이 다르고, 그에 따라 처방도 갈린다.

계보	LLM의 문제 진단	처방	대표 주자
① JEPA / 잠재 예측	토큰 표면에서 예측해 인과·물리 구조를 못 배움	잠재 공간에서 미래 표현을 예측	얀 르쿤, AMI Labs, Meta FAIR
② 생성형 월드 모델	세계를 시뮬레이션하지 못함	상호작용 가능한 3D/비디오 세계를 생성	DeepMind Genie, NVIDIA Cosmos, World Labs
③ 체화 AI / VLA	몸이 없어 행동 결과를 학습 못 함	로봇 몸체에서 시각-언어-행동 통합 학습	Physical Intelligence, Gemini Robotics, Figure
④ 경험 기반 RL	인간 데이터를 모방할 뿐 스스로 학습 안 함	배포 후에도 계속 학습하는 에이전트	리처드 서튼, Oak Lab
⑤ 뉴로심볼릭	조합적 일반화·검증 가능성 부재	신경망 + 기호 논리/프로그램 합성 결합	ARC Prize 진영, AlphaGeometry 계열
⑥ 액티브 인퍼런스	목표·불확실성 처리가 임시방편	자유에너지 최소화라는 단일 원리로 지각·행동 통합	칼 프리스턴 계열
⑦ 아키텍처 대안	트랜스포머 자체의 구조적 제약	아래 3갈래로 세분	—
├ ⑦-A 계산 효율	어텐션의 2차 복잡도, 메모리 부재	SSM, 확산, 명시적 메모리	Mamba-2, Titans, 확산 LLM
├ ⑦-B 해석가능성	블랙박스라 과학적 발견에 못 씀	엣지에 학습 가능한 1변수 함수	KAN
└ ⑦-C 엣지·적응	온디바이스 배포 불가, 학습 후 경직	연속시간 순환 + 입력 적응 동역학	LNN / Liquid AI LFM

⑦은 성격이 다릅니다 — 패러다임 교체가 아니라 특정 제약 아래의 트랜스포머 대안입니다. 그리고 ⑦ 안에서도 고치려는 대상이 서로 다릅니다. KAN의 동기는 효율이 아니라 해석가능성이고, LNN의 동기는 엣지 배포와 적응성입니다. 이 셋을 "효율 개선"으로 뭉뚱그리면 각각의 성패를 평가할 수 없습니다 (§7에서 분리해 다룹니다).

1. JEPA — 르쿤의 핵심 주장

1.1 무엇이 다른가

JEPA(Joint Embedding Predictive Architecture, 결합 임베딩 예측 아키텍처)는 르쿤이 2022년, LLM 붐 이전에 제안한 프레임워크입니다.

핵심 차이는 예측을 어디서 하는가입니다.

	생성형 모델 (LLM·확산)	JEPA
예측 대상	원본 관찰 공간 (토큰, 픽셀)	학습된 잠재 표현 공간
무엇을 예측	모든 세부사항	예측 가능한 추상 구조만
부담	예측 불가능한 노이즈까지 모델링	예측 불가능한 부분을 버릴 수 있음

르쿤의 논지: 영상에서 다음 프레임의 모든 픽셀을 맞히려 하면 모델은 나뭇잎의 흔들림 같은 본질적으로 무작위인 것에 용량을 낭비합니다. 반면 "공이 떨어진다"는 추상 수준에서 예측하면 인과 구조가 남습니다.

요약된 주장: 진짜 지능은 단어를 생산하는 데서 시작하지 않는다. 세계의 내부 모델을 만들고, 그 모델로 "내가 행동하면 무슨 일이 일어날지" 예측하는 데서 시작한다.

1.2 V-JEPA 구조

V-JEPA(비디오 JEPA)는 세 개의 네트워크로 구성됩니다.

타깃 인코더 — 원본 비디오 클립 전체를 처리
컨텍스트 인코더 — 마스킹된 버전을 처리
프리딕터 — 가려진 패치의 표현을 예측

학습 목표는 픽셀 복원이 아니라 잠재 표현의 일치입니다.

1.3 2026년 진척

V-JEPA 2.1 (2026년 3월 25일, arXiv 2603.14482): 시간적으로 더 일관된 밀집 특징(dense feature)으로 레시피 개선. 100만 시간 이상 비디오로 학습, 실로봇 grasping 성공률이 V-JEPA 2-AC 대비 +20%p
LeJEPA (Balestriero & LeCun, 2025년 11월): JEPA 계열의 고질적 문제인 표현 붕괴(collapse) 를 휴리스틱 없이 해결. 기여는 두 갈래
- 이론: 다운스트림 예측 위험을 최소화하는 JEPA 임베딩 분포가 등방성 가우시안(isotropic Gaussian) 임을 유일 최적해로 증명
- 방법: 이를 강제하는 SIGReg(Sketched Isotropic Gaussian Regularization). 랜덤 1D 투영 + 특성함수 매칭, 선형 시간·메모리, 튜닝 파라미터 1개, 핵심 구현 약 50줄
- 의미: stop-gradient, teacher-student, 복잡한 증강 없이 동작 — 이 계열의 실용화를 막던 걸림돌 해소
2026년 5월 말: 르쿤 연구그룹이 며칠 간격으로 arXiv 프리프린트 2편 공개. JEPA가 언제 충실한 세계 모델을 학습할 수 있는지 형식적으로 규정하고, 동시에 현행 구현이 그 기준에 얼마나 못 미치는지 벤치마크로 보임
V-JEPA 2 로봇 실험: 잠재 공간에서 예측하는 작은 모델이 픽셀을 생성하는 훨씬 큰 모델보다 계획·충돌 예측에서 우수하다는 초기 결과

1.4 AMI Labs

르쿤은 2025년 12월 Meta 퇴사 → 파리에서 AMI Labs(Advanced Machine Intelligence Labs) 창업
2026년 3월 10.3억 달러 시드 조달 (pre-money 35억 / post-money 약 45.3억 달러) — 유럽 사상 최대 시드
투자자: Cathay Innovation, Greycroft, Hiro Capital, HV Capital, Bezos Expeditions 등
타깃 도메인: 산업, 로보틱스, 헬스케어 — LLM의 한계가 가장 치명적인 영역을 의도적으로 선택

1.5 평가

주목할 점은 르쿤 자신의 그룹이 JEPA의 취약성을 논문으로 공표했다는 것입니다. 형식적 조건을 정의하고 현행 구현이 미달함을 보인 것은 이 계열이 아직 "작동하는 대안"이 아니라 "유망한 가설" 단계임을 뜻합니다. 픽셀에서 시작하는 안정적인 end-to-end JEPA 학습은 여전히 실무적 장애물로 남아 있습니다.

2. 생성형 월드 모델 — 다른 종류의 "월드 모델"

여기서 용어 혼선에 주의해야 합니다. 르쿤이 말하는 월드 모델(잠재 예측)과, 업계에서 상품화되는 월드 모델(생성형 3D/비디오 시뮬레이터)은 같은 이름의 다른 것입니다.

2.1 Google DeepMind — Genie 3 / Project Genie

텍스트 프롬프트로 약 720p / 24fps 플레이 가능한 3D 세계 생성. 단 생성 길이 60초 상한
2026년 1월 말 미국 Google AI Ultra 구독자에게 프로토타입 웹앱 "Project Genie" 로 공개 (Genie 3는 이를 구동하는 모델명)
자기회귀 방식: 확산의 반복 디노이징을 단일 forward pass로 대체 → 스텝당 빠르지만 긴 시간축에서 화질·일관성 저하가 트레이드오프

2.2 NVIDIA — Cosmos

2,000만 시간 규모의 실세계 영상(약 9,000조 토큰, 1억 클립 추출)으로 학습 — NVIDIA 공식 발표 수치
3개 축:
- Cosmos Predict — 최대 30초 연속 비디오 생성 (2.5 버전 기준, Text2World/Image2World/Video2World 통합)
- Cosmos Transfer — 시뮬레이션을 다른 환경으로 적응
- Cosmos Reason — 계획용 비전-언어 모델
자율주행·로보틱스·비디오 분석용 물리 인지 합성 데이터 생성이 목적
자체 호스팅 가능하다는 점에서 실무자에게 접근성이 가장 높음

2.3 World Labs (페이페이 리) — Marble

텍스트·이미지·비디오·거친 3D 레이아웃 → 탐색 가능한 3D 세계
Marble 1.1 Plus (2026년 4월): 자동 확장 동적 큐브로 더 큰 세계 지원
World API(REST)로 프로그래밍 방식 생성, .spz/.ply/.glb 익스포트
World Labs는 월드 모델을 3종으로 구분하고, Marble을 "렌더링·시뮬레이션·계획을 하나의 시스템으로 통합"하는 여정의 첫 장으로 규정. 회사 스스로 목적지까지 수년 남았다고 인정

2.4 이 계열의 위치

생성형 월드 모델은 당장 상용화된다는 점에서 강점이 있습니다(합성 데이터, 게임, 로봇 학습 환경). 다만 르쿤의 관점에서는 이들이 여전히 픽셀 공간에서 생성하므로 그가 비판하는 문제를 그대로 안고 있습니다. 즉 "월드 모델 진영"이라고 묶이지만 철학적으로는 대립합니다.

3. 체화 AI / VLA — 몸을 통한 학습

VLA(Vision-Language-Action, 시각-언어-행동) 모델은 관찰과 언어 지시를 받아 연속적인 로봇 제어 신호를 직접 출력합니다. 언어모델의 인터페이스는 유지하되 출력을 물리 행동으로 옮긴 접근입니다.

주요 모델

모델	주체	특징
π0 / π0.5	Physical Intelligence	범용 VLA 레퍼런스, 가장 많이 인용됨
Gemini Robotics 1.5	Google DeepMind	Gemini의 추론·에이전트 패러다임을 물리 세계로 확장, 모션 전이(motion transfer)
Helix	Figure AI	휴머노이드 상반신 35 DoF 전체(손목·몸통·머리·개별 손가락)를 200Hz 연속 제어하는 최초의 VLA (2025년 2월). 후속 Helix 02(2026년 2월)는 보행·전신 자율성까지 확장
Isaac GR00T N1	NVIDIA	휴머노이드 특화 파운데이션 모델

2026년 구도

업계는 두 진영으로 갈립니다.

순수 모델 랩 — VLA 시스템만 만들고 하드웨어는 파트너에 의존 (Physical Intelligence)
풀스택 로봇 제조사 — 하드웨어와 모델을 함께 개발 (Figure)

2025년에 π0, GR00T N1, Gemini Robotics, Helix가 VLA를 데모에서 프로덕션 시스템으로 옮겼고, 2026년은 그 확장 단계입니다.

월드 모델과의 관계

VLA는 월드 모델의 경쟁자가 아니라 소비자에 가깝습니다. Cosmos 같은 시뮬레이터가 학습 데이터를 공급하고, JEPA 같은 잠재 예측기가 계획 모듈로 들어가는 조합이 자연스럽습니다. 실제로 V-JEPA 2가 로봇 계획에 쓰인 것이 그 사례입니다.

4. 경험 기반 강화학습 — 서튼의 노선

르쿤과 다른 각도에서 현재 패러다임을 비판하는 축입니다.

4.1 진단

리처드 서튼(2024년 튜링상 수상, 강화학습의 아버지)은 업계가 "길을 잃었다" 고 말합니다. 그의 진단은 르쿤과 다릅니다 — 문제는 아키텍처가 아니라 학습의 원천입니다.

AI 역사를 3개 시대로 봅니다:

시뮬레이션 시대
인간 데이터 시대 (현재) — 서튼은 이를 목적지가 아니라 과도기로 규정
경험 시대 — 에이전트가 실세계와 계속 상호작용하며 학습

다음 토큰 예측 패러다임은 한계에 다다랐고, 진짜 지능은 배포된 이후에도 계속 학습하는 데서 나온다는 주장입니다.

4.2 OaK 아키텍처

2026년 5월 MIT Dertouzos 강연에서 제시. 세 가지 특징:

모든 구성요소가 지속적으로 학습
각 학습 가중치가 전용 스텝사이즈를 가지며, 온라인 교차검증으로 메타학습
상태·시간의 추상화가 5단계 진행으로 계속 생성

4.3 Oak Lab

2026년 7월, 서튼이 전 제자 Khurram Javed와 캐나다(토론토)에서 Oak Lab 창업. OaK 아키텍처 기반의 지속 학습 에이전트가 목표. 두 사람 모두 직전까지 존 카맥의 Keen Technologies에 있었습니다.

OaK의 3번째 특징인 "5단계 진행"은 구체적으로: 특징 생성 → 서브문제 설정 → 서브문제 해결 학습 → 전이(월드) 모델 학습 → 그 모델로 계획.

4.4 병목

OaK의 전제 조건은 신뢰할 수 있는 지속 학습(continual learning) 입니다. 즉 새로운 것을 배우면서 이전 것을 잊지 않는 문제(catastrophic forgetting)를 풀어야 하는데, 이는 수십 년간 미해결 상태입니다. 2026년에 관련 프로토타입에서 유의미한 진전이 보고되고 있으나 아직 해결됐다고 보기는 어렵습니다.

5. 뉴로심볼릭 — 신경망 + 기호

5.1 접근

신경망의 패턴 인식과 기호 논리의 조합성·감사가능성·데이터 효율성을 결합합니다. 대표적으로:

System 1 / System 2 하이브리드 — 빠른 국소적 휴리스틱(신경망)과 느린 조합적 프로그램 합성(기호)을 결합
DreamCoder 계열 Wake-Sleep 합성 — 프로그램 열거 → 라이브러리 압축 → 신경 인식 문법 학습의 교대
AlphaGeometry 계열 — 기호 엔진과 언어모델의 결합

5.2 ARC-AGI가 보여주는 것

ARC-AGI는 "학습 분포 밖 추상 추론" 벤치마크로, 이 논쟁의 리트머스지 역할을 합니다.

뉴로심볼릭 팀들이 공개 리더보드 상위를 일상적으로 차지 — 순수 트랜스포머보다 우세
ARC Prize 2024 우승팀(ARChitects)은 비공개 평가셋(private eval) 에서 53.5% 달성 — Kaggle P100 GPU 1장, 12시간, 인터넷 차단 조건. 방법은 테스트타임 학습(TTT). 2020년 우승 20.6% 대비 약 2.6배
- 참고: 대회 중 최고점은 MindsAI의 55.5%였으나 오픈소스 미공개로 수상 자격 상실. 2024년 한 해에 SOTA가 33% → 55.5%로 상승
그러나 ARC-AGI-1 → ARC-AGI-2로 넘어가면 프로그램 합성·뉴로심볼릭·신경망 접근 모두 2~3배 점수 하락

마지막 항목이 중요합니다. 뉴로심볼릭도 조합적 일반화 문제를 풀지 못했습니다. 벤치마크가 조금 어려워지면 함께 무너집니다.

ARC-AGI-3가 2026년 3월 25일 출시 (150개 이상 환경, 1,000개 이상 레벨). 출시 시점 프런티어 모델 전부 1% 미만(최상위 LM 0.4% 미만)인 반면 인간은 전 환경 해결. 상금 200만 달러, 최종 제출 2026년 11월 2일, 결과 발표 12월 4일

5.3 남은 과제

견고한 추상화 발견, 표현 선택, 확장 가능한 테스트타임 적응, DSL 탐색 효율, 그리고 인간과의 체계적 일반화 격차 해소.

6. 액티브 인퍼런스 / 자유에너지 원리

개요

칼 프리스턴이 통계물리학의 제1원리로 제안한 자유에너지 원리(FEP) 에 기반합니다.

핵심 발상: 생물학적 에이전트는 선호하는 상태에 머물기 위해 자유에너지를 최소화한다. 지각과 행동이 별개 메커니즘이 아니라 동일한 원리의 두 표현입니다. 에이전트는 선호하는 관찰에 대한 사전 믿음을 갖고, 그 믿음을 실현하도록 행동하며, 자유에너지 최소화가 놀라운 상태를 회피하게 만듭니다.

매력과 한계

매력: 목표 설정, 탐색-활용 균형, 불확실성 처리가 별도 휴리스틱 없이 하나의 원리에서 도출됨. 해석가능성이 높음
한계: 대규모 실증이 거의 없음. 관련 연구는 주로 소규모 시뮬레이션, 물리 AI 에이전트 엔지니어링 관점, 해석가능 변형(FEPS) 등에 머물러 있음. LLM에 비견할 만한 스케일 성과가 아직 없습니다

이 계열은 이론적 완결성이 높지만 실증 부담이 가장 큰 축입니다.

인접: 뉴로모픽 / 스파이킹 신경망

생물학적 신경망을 모방한 SNN은 엣지 추론의 에너지 효율에서 주목받습니다. 다만 DNN과의 공정 비교가 어렵다는 문제가 있습니다 — 실제 하드웨어 동작과 연결된 공통 에너지 분해 기준이 없어 기존 분석들의 비교 근거가 취약합니다. 즉 "훨씬 효율적"이라는 주장은 아직 표준화된 검증을 거치지 않았습니다.

7. 아키텍처 대안 — 세 갈래로 나눠 봐야 하는 것들

이 축은 흔히 "포스트 트랜스포머"로 뭉뚱그려지지만, 고치려는 대상이 서로 다릅니다. 계산 복잡도를 고치는 것, 해석가능성을 고치는 것, 배포 환경을 고치는 것을 섞어 놓으면 각각의 성패를 평가할 수 없습니다. 셋으로 나눕니다.

7-A. 계산 효율 — 어텐션의 2차 복잡도

접근	고치려는 것	현황
SSM / Mamba	어텐션의 2차 복잡도	Mamba-2가 SSM과 어텐션이 수학적으로 같은 동전의 양면임을 증명. 트랜스포머만큼 빠르게 학습하면서 추론은 O(N) 순환 모드
확산 LLM	순차 생성의 느린 속도, 제어 어려움	텍스트를 병렬 생성 → 속도와 제어성 향상. 이론적으로는 기존 비자기회귀(NAR) 디코딩과 연속선상 — 아래 7-A-1 참조
Titans (명시적 메모리)	추론 시점에 새 정보를 못 배움	명시적 메모리로 추론 중 학습
선형 어텐션 / 병렬 RNN	시퀀스 길이에 따른 자원 증가	시퀀스 길이와 무관한 상수 자원

Mamba-2의 결과가 시사적입니다. SSM과 어텐션이 수학적으로 통합된다는 것은, 이 축의 경쟁이 "근본적으로 다른 지능"이 아니라 "같은 계산의 더 효율적인 형태" 를 다투고 있음을 뜻합니다.

7-A-1. 확산 LLM은 기존 비자기회귀(NAR) 디코딩과 무엇이 다른가

확산 LLM이 새로운 패러다임처럼 소개되지만, 비자기회귀 디코딩 연구와 상당 부분 같은 것입니다. 이 관계를 정확히 잡아두는 편이 좋습니다.

계보: NAT(Gu et al., 2018) → Mask-Predict/CMLM(Ghazvininejad et al., 2019) → D3PM(2021) → Diffusion-LM(2022) → DiffusionBERT(2022) → SEDD(2023) → MDLM(2024) → LLaDA·Mercury·Gemini Diffusion(2025~)

이론적으로는 연속선상

MDLM(Sahoo et al., NeurIPS 2024)의 SUBS 파라미터화가 결정적입니다. 흡수 상태(absorbing state) 확산 손실이 고전적 MLM 손실들의 가중 혼합으로 환원됩니다. 즉 마스킹 확산 언어모델의 목적함수는 "마스킹 비율별 MLM 손실의 가중 평균"입니다.

Mask-Predict/CMLM도 똑같이 양방향 어텐션 + 마스킹 손실로 학습하고, 전체 시퀀스를 동시에 예측한 뒤 반복 정련합니다. construct-destruct 패턴이 구조적으로 동일합니다. 새 메커니즘이 발명된 것이 아닙니다.

실제 차이 — 네 가지

#	차이	내용
1	목적함수의 근거	CMLM은 매 반복 전체 시퀀스를 결정론적으로 복원하도록 강제하고 마스킹 비율도 임의로 정함. 확산은 이를 확률 과정으로 모델링해 노이즈 스케줄이 곧 손실 가중치가 되고 우도의 변분 하한(ELBO)이 정의됨. DiffusionBERT의 지적: CMLM은 디노이징 과정 자체를 명시적으로 모델링하지 못함
2	스텝 수가 다이얼이 됨	고전 NAT는 1회 통과, 반복 정련은 고정 소수 회. 확산은 같은 가중치로 스텝 수를 임의 조절해 품질↔연산량을 추론 시점에 교환. 실용적으로 가장 큰 차이
3	any-order 인수분해	AR은 좌→우, 마스킹 확산은 임의 순서로 결합분포를 인수분해. 단 이건 확산의 발명이 아니라 NAR이 이미 가졌던 성질 — 확산이 한 것은 이를 대규모에서 학습 가능하게 만든 것
4	스케일 (진짜 차이)	NAR은 기계번역 규모에 머물렀으나 확산 LLM은 8B급 상용 제품으로 진입

보고된 처리량 (2026년 기준)

모델	처리량	하드웨어
Seed Diffusion Preview	2,146 tok/s	H20
Gemini Diffusion	1,479 tok/s	미공개 (Gemini 2.0 Flash Lite 대비 약 5배)
Mercury Coder Mini	1,109 tok/s	H100
LLaDA 2.x	800+ tok/s	미공개

⚠️ 모두 벤더 자체 측정이고 하드웨어·배치 조건이 제각각입니다. 직접 비교는 성립하지 않습니다.

해결되지 않은 것

① 다중모드 문제(multimodality problem)가 그대로입니다. 한 스텝에서 여러 토큰을 병렬 디코딩하면 조건부 독립 가정 때문에 토큰 간 의존성이 깨져 품질이 저하됩니다 — Gu et al.(2018)이 NAT에서 지적한 바로 그 문제입니다. 확산은 이를 제거한 것이 아니라 스텝을 더 밟아 완화하는데, 그건 속도 이점을 반납하는 것입니다. 같은 트레이드오프를 더 매끄러운 다이얼로 관리할 뿐입니다.

② KV 캐시와 구조적으로 충돌합니다. 임의 순서 생성에는 양방향 어텐션이 필요한데, 이는 AR의 KV 캐싱과 근본적으로 양립 불가입니다. 캐시가 없으니 매 스텝 전체 어텐션을 재계산합니다.

그래서 나온 해법이 시사적입니다. Block Diffusion은 출력을 고정 크기 블록으로 나눠 블록 간에는 자기회귀적으로, 블록 내에서만 확산 병렬 디코딩을 수행합니다. KV 캐싱 호환성을 되찾기 위해 자기회귀를 다시 들여온 것입니다. Fast-dLLM(NVIDIA), HERALD 등이 이 방향입니다.

함의

7-E에 정리한 패턴이 여기서도 반복됩니다. Mamba-2가 SSM≡어텐션으로 수렴하고, LFM2가 GQA를 유지하고, 확산 LLM이 블록 단위 AR로 돌아옵니다. 순수 대안으로 출발해 하이브리드로 수렴하는 것이 이 축의 일관된 결말입니다.

7-B. 해석가능성 — KAN(Kolmogorov-Arnold Network)

KAN의 동기는 효율이 아닙니다. 2024년 4월 MIT 계열 연구자들이 MLP 대안으로 제안했고, 노리는 것은 해석가능성과 과학적 발견입니다.

구조: MLP는 노드에 고정 활성함수를 두고 엣지에 선형 가중치를 둡니다. KAN은 이를 뒤집어 엣지에 학습 가능한 1변수 함수(B-스플라인) 를 둡니다. 결과적으로 복잡한 함수가 1차원 성분들로 분해되어, 데이터에서 기호 수식(symbolic formula)을 추출할 수 있습니다.

실제로 작동하는 영역: 과학적 발견. 알려진 물리 법칙을 높은 정밀도로 재발견했고, 일부 문제에서는 해석적 해를 직접 찾아내 PINN(물리 정보 신경망) 대비 수 자릿수 높은 정확도를 보였습니다. 센서 기반 시스템처럼 투명성과 계산 제약이 동시에 걸리는 곳에서도 탐색되고 있습니다.

한계 — 냉정하게

과장된 원 논문 주장: "차원의 저주를 극복한다"는 원 논문의 핵심 주장은 성립하지 않는다는 비판이 주류입니다. 본질적으로 스플라인 기저 활성함수를 쓰는 MLP라는 것이 비판의 요지
해석가능성이 규모에 반비례: 네트워크가 커질수록 해석가능성이 사라집니다. KAN의 존재 이유가 규모와 함께 소멸하는 구조적 문제
불확실성 추정 부재: 결정론적이라 예측의 신뢰구간을 주지 않습니다. 물리·생물·공학처럼 법칙 규명이 목적인 분야에서 치명적
입력 경계 사전지식 요구: 직교다항식 변형에서는 도메인 정규화가 필수인데, 실데이터에서 입력 범위를 미리 알기 어려움
채택 실패: pykan 라이브러리가 초기 주목을 받았으나 지속적인 개발자 채택으로 이어지지 못했습니다

정리: KAN은 "LLM의 대안"이 아니라 좁은 과학 도메인의 해석가능한 회귀 도구로 자리 잡는 중입니다. SVGP-KAN(가우시안 프로세스 결합으로 불확실성 정량화) 같은 변형이 한계를 메우려 하고 있습니다.

7-C. 엣지 배포·적응 — LNN(Liquid Neural Network)

LNN의 동기도 효율만이 아닙니다. MIT CSAIL의 Ramin Hasani 등이 개발한 연속시간 순환 신경망으로, 핵심은 시간 상수가 입력에 따라 변한다는 점 — 학습 이후에도 입력에 맞춰 동역학이 바뀌는 적응성이 원래 매력이었습니다.

상용화: 2023년 12월 MIT CSAIL 스핀아웃 Liquid AI(보스턴)가 LFM(Liquid Foundation Models) 시리즈를 출시.

LFM2: 350M / 700M / 1.2B / 3B 변형, 온디바이스·엣지 추론 타깃. 아키텍처·사전학습·후속학습을 기기 측 지연시간과 최대 메모리 제약 아래 공동 최적화
LFM2.5-350M (2026년 3월): 28조 토큰 학습 + 강화학습 스케일링
LFM2.5-230M: 최소 모델, 클라우드 GPU부터 저가 CPU까지 구동
주장: 트랜스포머 대비 낮은 메모리 사용량, 빠른 온디바이스 추론, 긴 시퀀스 안정성

중요한 단서 — 지금의 LFM은 순수 LNN이 아닙니다

LFM2의 실제 구조는 16블록 = 게이트형 단거리 컨볼루션 10블록 + GQA(Grouped Query Attention) 6블록 의 하이브리드입니다. 즉 어텐션을 버리지 않았습니다.

LTC(Liquid Time-Constant) 이론에 근거를 두되, 구현은 "곱셈 게이트와 짧은 컨볼루션을 가진 선형 1차 시스템"
통합 개념은 LIV(Linear Input-Varying) 연산자 — 가중치를 입력으로부터 즉석 생성하며, 컨볼루션·순환·어텐션을 하나의 입력 인지 프레임워크로 묶음

이는 7-A의 Mamba-2 교훈과 같은 패턴입니다. "트랜스포머를 대체한다"고 출발한 계열이 실제 제품에서는 트랜스포머 요소와 결합합니다.

정리: LNN/LFM은 지능의 새 패러다임이라기보다 엣지·온디바이스라는 배포 제약에 최적화된 하이브리드 아키텍처입니다. 이 목표에서는 실제로 작동하는 제품이 나와 있다는 점에서 ①~⑥의 대안들보다 성숙도가 높습니다.

7-D. 인접: 재귀 추론 — HRM과 TRM

효율 축과 뉴로심볼릭 축 사이에 걸치는 사례로, 분석 방법론의 교훈이 커서 함께 둘 만합니다.

HRM(Hierarchical Reasoning Model, Sapient Intelligence, 2025년 7월 오픈소스): 2,700만 파라미터로 사전학습 없이 1,000개 예제만 학습해 스도쿠·고난도 수학에서 성과. ARC-AGI에서 DeepSeek R1, OpenAI o3를 능가했다고 발표. 뇌 피질에서 착안한 고수준 느린 계획 모듈 + 저수준 빠른 실행 모듈 구성
2026년 5월: HRM-Text 발표 — 10억 파라미터 추론 언어모델, 최대 1,000배 적은 토큰으로 학습

그런데 ARC Prize 재단의 독립 검증이 흥미롭습니다. 절제실험(ablation) 결과, 성능을 만든 것은 "계층 구조"가 아니라 문서화가 부실했던 "외부 정련 루프(outer refinement loop)" 였습니다. 계층 구조를 동급 트랜스포머로 바꿔도 성능 차이가 거의 없었던 반면, 정련 루프를 제거하자 성능이 붕괴했습니다. 즉 이득의 원천은 구조적 계층성이 아니라 시간적 깊이(temporal depth) 였습니다.

TRM(Tiny Recursive Model, 2025년 10월): 이 발견을 반영해 두 개의 순환망과 외부 제어 루프를 단일 재귀 코어로 단순화. 레이어를 줄이고 재귀 횟수를 늘리는 편이 일반화에 유리하며, 4층(HRM)보다 2층이 최적

교훈: 새 아키텍처의 성능 주장은 "어느 구성요소가 실제로 기여했는가" 의 절제실험을 거치기 전까지 유보해야 합니다. 뇌에서 착안했다는 서사가 매력적일수록 더 그렇습니다. 이 문서의 다른 계보들에도 같은 잣대가 적용되어야 합니다.

7-E. 이 축 전체에 대한 판단

7-A~7-D를 관통하는 패턴이 있습니다.

순수 대안으로 출발해 하이브리드로 수렴한다 — Mamba-2(SSM≡어텐션), LFM2(컨볼루션+GQA)
성능 주장의 원인이 종종 홍보된 것과 다르다 — HRM의 계층 구조 vs 정련 루프
틈새에서 먼저 성공한다 — KAN은 과학 발견, LNN은 엣지 배포

따라서 이 축은 ①~⑥과 달리 "LLM을 대체하는가"로 평가하면 안 됩니다. "특정 제약(메모리, 해석가능성, 지연시간) 아래 트랜스포머보다 나은가"가 올바른 질문입니다. 그 기준에서는 이미 답이 나온 것들이 있습니다.

8. 반론 — LLM 진영은 무엇이라 답하는가

이것은 미해결 과학 논쟁이며, 한쪽으로 정리하는 서술은 정직하지 않습니다.

8.1 주요 랩 리더들의 입장

샘 올트먼, 다리오 아모데이, 데미스 허사비스는 대체로 르쿤이 틀렸다고 봅니다. 특히 허사비스는 "스케일링을 최대한 밀어붙여야 한다"며 2030년까지 AGI 도래 확률을 50%로 봅니다.

8.2 일리야 수츠케버 — 제3의 입장

수츠케버의 견해는 양쪽 어디에도 정확히 속하지 않아 흥미롭습니다.

2025년 11월 Dwarkesh 팟캐스트: "스케일링의 시대에서 연구의 시대로" 전환 중. 컴퓨트는 다시 풍부해졌고 병목은 아이디어로 되돌아왔다. 모두가 대규모 클러스터를 가진 지금, 차별화 요소는 GPU 수가 아니라 올바른 패러다임이다
2026년 7월: 일반화 방식에서 돌파구를 만들었다고 시사. RL 최적화를 넘어 사전학습의 일부 측면을 바꾸는 접근
2026년 7월 27일: SSI가 NVIDIA와 장기 전략 파트너십 체결. NVIDIA 투자액 약 50억 달러(FT·Reuters 보도), Vera Rubin 플랫폼 접근 제공, 기존 Google Cloud TPU 계약에 GPU 경로 추가. SSI 발표 문구는 "향후 12개월 내 컴퓨트 10배". SSI 최신 공개 밸류에이션 320억 달러

즉 수츠케버는 "스케일링만으로는 부족하다" 는 데 르쿤과 동의하지만, "그래서 JEPA/월드 모델이 답이다" 라는 데는 동의하지 않습니다. 새 레시피가 필요하다는 것까지가 공통분모입니다.

8.3 각 진단에 대한 반론 요약

르쿤의 비판	LLM 진영의 응답
LLM은 단순 패턴 매칭, 추론 불가	추론 모델(o 시리즈, 확장 사고)이 실제로 수학·코딩에서 작동 중
인과 구조를 학습할 유인이 없음	RL 후속 학습으로 인과적 행동을 유도 가능
환각은 구조적 결함	도구 사용·검색·검증 루프로 실무상 관리 가능
스케일링은 막다른 길	다만 연쇄사고 등 프롬프트 전략의 수익 체감은 연구로 확인됨 — 이 부분은 반론이 약함

8.4 대안 진영이 아직 증명하지 못한 것

JEPA: 형식적 조건은 정의됐으나 현행 구현이 그 기준에 미달한다는 것이 자체 연구로 확인됨
월드 모델: 긴 시간축 일관성 미해결, 상용 제품도 "여정의 첫 장" 수준
뉴로심볼릭: ARC-AGI-2에서 다른 접근과 함께 2~3배 하락
지속 학습: catastrophic forgetting 미해결
액티브 인퍼런스: 대규모 실증 부재

어느 대안도 아직 LLM 규모의 실용 성과를 내지 못했습니다.

9. 어떻게 볼 것인가

9.1 대립이 아니라 층위일 가능성

가장 개연성 높은 시나리오는 하나가 다른 하나를 대체하는 것이 아니라 역할 분담입니다.

   [ 언어·지시 인터페이스 ]  ← LLM (강점: 지시 이해, 지식, 인터페이스)
              ↓
   [ 계획·상태 예측 ]        ← JEPA 계열 잠재 월드 모델 (강점: 인과, 효율)
              ↓
   [ 시뮬레이션·데이터 생성 ] ← Genie / Cosmos 계열 (강점: 학습 환경)
              ↓
   [ 물리 행동 ]             ← VLA (강점: 실행)
              ↕
   [ 배포 후 지속 학습 ]      ← OaK 계열 RL (강점: 적응)

V-JEPA 2가 로봇 계획 모듈로 쓰이고, Cosmos가 VLA 학습 데이터를 공급하는 현재 구도가 이미 이 방향입니다.

9.2 무엇을 신호로 볼 것인가

논쟁의 승부를 가를 관찰 지점:

ARC-AGI-3 결과 (2026년 3월 출시) — 조합적 일반화에서 어느 접근이 격차를 좁히는가
JEPA 계열의 자체 벤치마크 통과 — 르쿤 그룹이 정의한 형식적 조건을 실제 구현이 만족하는 시점
지속 학습 벤치마크 — catastrophic forgetting 없이 배포 후 학습이 작동하는 첫 사례
VLA의 실환경 신뢰성 — 데모가 아닌 산업 현장 가동률
수츠케버 SSI의 공개 — "새 레시피"가 무엇인지 드러나는 시점

9.3 실무자 관점의 제언

지금 쓸 것: LLM + 에이전트. 대안들은 아직 프로덕션 대체재가 아닙니다
지금 실험할 것: 로보틱스·물리 시뮬레이션이 필요하다면 Cosmos(자체 호스팅 가능)가 진입 장벽이 가장 낮습니다. 온디바이스 배포가 요건이라면 Liquid AI의 LFM2 계열이 이미 실사용 가능한 선택지입니다 (§7-C). 과학 데이터에서 수식을 뽑아내는 것이 목적이라면 KAN이 좁지만 확실한 용도를 갖습니다 (§7-B)
지금 추적할 것: JEPA 계열 논문과 Oak Lab. 둘 다 아직 제품이 없지만 성공하면 파급이 큽니다
경계할 것: 두 가지입니다
- "월드 모델"이라는 용어가 최소 두 가지 다른 것을 가리킵니다. 자료를 읽을 때 잠재 예측형인지 생성형 시뮬레이터형인지 먼저 확인하십시오
- 새 아키텍처의 성능 주장은 절제실험 결과를 확인하기 전까지 유보하십시오. HRM 사례에서 보듯 홍보된 원인(계층 구조)과 실제 원인(정련 루프)이 다를 수 있습니다 (§7-D)

부록: 용어 정리

용어	의미
JEPA	Joint Embedding Predictive Architecture. 잠재 공간에서 미래 표현을 예측하는 자기지도 아키텍처
월드 모델	(좁은 뜻) 환경의 내부 표현을 학습해 미래 상태를 예측하는 시스템 / (넓은 뜻) 상호작용 가능한 세계를 생성하는 모델 — 두 의미가 혼용됨
VLA	Vision-Language-Action. 시각·언어 입력에서 연속 행동 출력을 내는 로봇 모델
EBM	Energy-Based Model. 호환성을 에너지 함수로 표현하는 모델. 르쿤 프레임워크의 기반
SSM	State Space Model. 어텐션 없이 선형 시간으로 시퀀스를 처리하는 아키텍처 (Mamba 등)
KAN	Kolmogorov-Arnold Network. 엣지에 학습 가능한 1변수 함수(B-스플라인)를 두어 기호 수식 추출을 노리는 MLP 대안
LNN / LTC	Liquid Neural Network / Liquid Time-Constant. 시간 상수가 입력에 따라 변하는 연속시간 순환 신경망
LIV	Linear Input-Varying. 가중치를 입력에서 즉석 생성해 컨볼루션·순환·어텐션을 통합하는 LFM2의 연산자 프레임워크
GQA	Grouped Query Attention. KV 캐시를 줄인 어텐션 변형. LFM2가 여전히 채택 중
절제실험	Ablation. 구성요소를 하나씩 제거해 실제 성능 기여를 분리하는 검증 방법
NAR / NAT	Non-AutoRegressive (Transformer). 좌→우 순차 생성 없이 전체 시퀀스를 동시 생성하는 계열
CMLM	Conditional Masked Language Model. Mask-Predict 방식으로 마스킹된 토큰을 반복 정련하는 NAR 모델
다중모드 문제	Multimodality problem. 토큰을 조건부 독립으로 병렬 생성할 때 서로 다른 정답 후보가 뒤섞여 품질이 무너지는 현상. NAR의 근본 난점
any-order 생성	좌→우가 아닌 임의 순서로 결합분포를 인수분해해 생성하는 방식
KV 캐시	자기회귀 추론에서 이전 토큰의 키·값을 재사용해 재계산을 피하는 기법. 양방향 어텐션과 양립 불가
지속 학습	Continual learning. 이전 지식을 잊지 않으면서 새 지식을 학습
OaK	Options and Knowledge. 서튼의 지속 학습 에이전트 아키텍처
SIGReg	Sketched Isotropic Gaussian Regularization. LeJEPA에서 표현 붕괴를 막는 정규화 기법
TTT	Test-Time Training. 추론 시점에 해당 문제에 맞춰 모델을 미세조정하는 기법. ARC Prize 2024 우승 방법
액티브 인퍼런스	자유에너지 최소화로 지각과 행동을 통합 설명하는 프레임워크
조합적 일반화	학습한 요소를 처음 보는 방식으로 조합해 적용하는 능력. LLM의 대표적 약점으로 지목됨

출처

JEPA / 르쿤 — 1차 자료

JEPA / 르쿤 — 해설

AMI Labs

월드 모델 — 1차 자료

월드 모델 — 해설

체화 AI / VLA

경험 기반 RL / 서튼

뉴로심볼릭 / ARC-AGI

액티브 인퍼런스 / 뉴로모픽

아키텍처 대안 — 계산 효율 (7-A)

확산 LLM vs NAR 디코딩 (7-A-1)

KAN (7-B)

LNN / Liquid AI (7-C)

HRM / TRM (7-D)

논쟁 / 반론