Micro-LNN: 감쇠항과 RBF-KAN으로 만든 작고 안정적이며 해석 가능한 동역학 모델
2026-11-09
연구 목적
진자, 날씨, 로봇처럼 시간에 따라 변하는 시스템을 동역학계라고 합니다. Neural ODE 이후에는 신경망으로 벡터장 $\mathrm{d}y/\mathrm{d}t = f_\theta(y)$를 배우는 방식이 널리 쓰입니다. 하지만 기존 방법은 세 가지 한계를 동시에 해결하지 못했습니다.
- 과도한 파라미터: 간단한 저차원 시스템에도 수천 개의 파라미터를 씁니다.
- 장기 롤아웃 불안정: MLP나 KAN 같은 정적 회귀 모델은 한 스텝 오차는 작아도, 예측을 다시 입력으로 넣으면(autoregressive rollout) 오차가 쌓여 발산합니다. 반대로 큰 LNN은 Lorenz 어트랙터에서 고정점으로 무너집니다. 논문은 이 둘을 같은 불안정성의 서로 반대 모습으로 봅니다.
- 해석 불가: 대부분의 모델은 학습 결과를 사람이 읽는 방정식으로 되돌릴 수 없습니다.
핵심 아이디어
Micro-LNN의 벡터장은 아주 단순합니다.
$$\frac{\mathrm{d}y}{\mathrm{d}t} = -\frac{y}{|\tau|} + \mathrm{KAN_RBF}(y)$$
- 감쇠항 $-y/|\tau|$ (LNN에서 가져옴): 야코비안에 모든 방향으로 같은 음의 고유값을 더해, 상태가 발산하지 않도록 붙잡습니다.
- RBF-KAN 벡터장: 고정 격자 위의 가우시안 RBF를 간선 함수로 씁니다. 각 함수는 자기 구역에서만 작동하는 국소적이고 매끄러운 함수입니다.
논문의 핵심 주장은 "발산하지 않는 것만으로는 부족하다"는 것입니다. 같은 감쇠항을 가진 LNN도 조밀한 MLP 벡터장 때문에 지나치게 수축해 가짜 고정점으로 빠집니다. 감쇠항은 전체적인 유계성을, 국소 RBF-KAN은 어트랙터의 모양을 맡아야 둘 다 지켜집니다.
학습이 끝나면 벡터장을 격자에서 샘플링하고 다항식 라이브러리에 대해 SINDy 방식의 희소 회귀를 풀어 방정식을 복원합니다. 3D 카오스에는 KAN 층 두 개를 쌓은 Micro-LNN$^{+}$를, 17D 고차원에는 시간상수와 구동항을 KAN으로 조절하는 adaptive Liquid cell을 사용합니다.
실험 설정
난이도가 점점 올라가는 세 가지 벤치마크를 씁니다.
- 2D 감쇠 조화 진동자: 궤적 1개로 1,000 epoch 학습한 뒤, 학습에 쓰지 않은 초기조건 4개에서 2배 긴 구간($t\in[0,20]$)까지 롤아웃합니다.
- 3D Lorenz 어트랙터: 16개 초기조건의 짧은 궤적으로 학습합니다(multiple shooting, $W=25$). 카오스에서는 점 단위 오차가 큰 의미가 없으므로, 장기 불변 통계(total-variation 거리, 날개 체류 비율, 날개 전환 횟수)로 평가합니다.
- 17D MuJoCo HalfCheetah-v5: 랜덤 정책으로 모은 데이터에서 길이 30 시퀀스를 만들고, 30-step autoregressive rollout으로 평가합니다.
비교 모델은 MLP-ODE, LNN, KAN이며 모두 같은 적분 틀(RK4 또는 Euler)과 Adam optimizer를 씁니다.
결과
2D 진동자. 파라미터 45개인 Micro-LNN이 4,482개인 MLP보다 일반화가 좋았습니다. 다만 이 과제에서는 순수 KAN의 $R^2$가 가장 높았습니다. 복원된 방정식은 실제 물리와 항 구성과 부호가 맞았습니다($\mathrm{d}x/\mathrm{d}t$에 $+0.566\cdot v$, 참값은 $1.0$).
| Model | # Param | Rollout MSE | $R^2$ |
|---|---|---|---|
| MLP | 4,482 | 0.01108 | 0.8031 |
| LNN | 4,483 | 0.00091 | 0.9838 |
| KAN | 44 | 0.00055 | 0.9902 |
| Micro-LNN | 45 | 0.00512 | 0.9090 |
3D Lorenz. 짧은 구간 점 단위 지표에서는 모든 모델이 비슷하게 낮았고, Micro-LNN이 가장 낮았습니다. 하지만 장기 불변 통계에서 Micro-LNN(1,489 params)은 나비 모양 어트랙터를 재현했고, 날개 전환 횟수 41회가 참값과 정확히 같았습니다. 13배 큰 LNN(19,300 params)은 고정점으로, KAN은 한쪽 날개로 무너졌습니다. 순수 MLP는 TV 거리에서 Micro-LNN보다 조금 나았지만 전환 횟수는 52회였습니다. 방정식 복원에서는 $\mathrm{d}x/\mathrm{d}t=-10.04\cdot x+10.15\cdot y$(참값 $-10\cdot x+10\cdot y$)를 얻었습니다.
| Model | TV x | TV y | TV z | wing(x>0) | switches |
|---|---|---|---|---|---|
| TRUTH | --- | --- | --- | 0.44 | 41 |
| Micro-LNN | 0.08 | 0.094 | 0.059 | 0.36 | 41 |
| LNN | 0.972 | 0.952 | 1.000 | 0.00 | 0 |
| MLP | 0.076 | 0.074 | 0.057 | 0.40 | 52 |
| KAN | 0.513 | 0.415 | 0.268 | 0.00 | 0 |
17D MuJoCo. MLP와 KAN은 30-step 롤아웃에서 크게 발산했습니다($R^2$ −104.45, −88.17). 감쇠항이 있는 Micro-LNN과 LNN은 안정적이었습니다. Micro-LNN은 LNN보다 약 2.6배 적은 파라미터로 rollout MSE가 약 23% 낮았습니다. 랜덤 정책 데이터라서 모든 모델의 $R^2$는 음수였지만 순위는 분명했습니다.
| Model | # Param | Train / Val (1-step) | Rollout MSE | $R^2$ |
|---|---|---|---|---|
| Micro-LNN | 15,353 | 7.65 / 11.22 | 21.57 | −0.47 |
| LNN | 39,953 | 1.47 / 22.21 | 27.88 | −0.89 |
| MLP | 21,009 | 0.36 / 22.97 | 1,552.25 | −104.45 |
| KAN | 113,154 | 0.010 / 22.18 | 1,312.55 | −88.17 |
한계와 다음 단계
파라미터가 적다고 계산이 빠른 것은 아닙니다. RBF의 지수 연산과 순차적인 ODE 적분 때문에 추론 지연과 학습 비용은 기준 모델보다 큽니다. 또 방정식 복원은 항 구성과 부호는 맞히지만, 계수 크기와 일부 고차항(3D의 $\mathrm{d}z/\mathrm{d}t$에서 $x\cdot y$가 $x^2\cdot y$로 근사됨)에는 오차가 남습니다. 앞으로는 RBF 연산의 근사·양자화와 격자 희소화로 추론을 빠르게 하고, 여러 궤적과 능동 탐색으로 계수 정밀도를 높이며, 제어와 부분 관측 환경으로 확장할 계획입니다.