오토인코더를 활용한 단일 범주 판별에서 감쇠 항과 KLD 항이 오탐과 미탐에 미치는 효과 연구: Kaggle 신용카드 사기 탐지 데이터 셋을 중심으로

• 수행 기간: 2023.11.¹

• 수정 기간: 2026.01.

• 구성원: Wang,J.

개요

오토인코더 기반 이상탐지에서 핵심이 되는 것은 잠재 공간의 구조, 즉 좌표계 조직과 사상값 배열이다. 잠재 공간이 디코더의 정의역으로 기능하므로, 그 구조가 복원 규칙의 복잡도를 조정하기 때문이다. 하지만 오토인코더의 손실 함수에는 그 조직과 배열을 규제하는 장치가 부재하다. 이를 보완하기 위하여 제안된 모형이 잡음 제거 오토인코더와 변분 오토인코더이다. 이들은 각각 감쇠 항과 KLD 항을 도입하여 잠재 공간을 규제한다. 본 연구는 두 모형의 손실함수로부터 감쇠 항의 효과를 잠재 공간 해상도 조절 효과로, KLD 항의 효과를 잠재 공간 체계화 효과로 정의하고, 두 컴포넌트가 오탐과 미탐에 미치는 효과를 분석하였다.

분석에 앞서, 관측값 생성에 관한 한 가지 가정을 전제하였다. 이는 모형이 정의하는 정상의 프로토타입(Prototype)이 존재하고, 정상값들은 이 프로토타입을 기반으로 미시 변동이 더해져서 생성된다는 가정이다. 이 가정 하에 정상 매니폴드의 기하 구조(Geometry)와 확률 구조(Probability)는, 프로토타입으로부터의 변동량을 각각 거리와 생성 확률로써 나타내게 된다. 따라서 잠재 공간의 기하 구조(Distance)와 확률 구조(Probability)는 서로 대응된다.

이상의 가정 하에서 감쇠 항의 해상도 조절 효과는 프로토타입으로부터의 미시 변동을 제거하는 효과로 해석된다. 이로써 매니폴드가 내포하는 정보량이 조정되어, 그 기하 구조가 단순화된다. 실험 결과, 감쇠 항은 모형이 유실하는 정보량의 상대적 차이로써 오탐과 미탐에 영향을 미친다는 것을 확인하였다. 경계 사례(Boundary Cases)의 경우 섭동에 의해 추가로 유실하는 정보량이, 관측값 전반이 추가로 유실하는 평균적인 정보량보다 적다. 그 결과, 판정선 근방의 경계값들이 모두 판정선 내부로 편입되어 오탐이 개선되는 한편, 미탐은 심화되었다. 이 결과는 감쇠 항의 효과에 관한 이론적 가정을 뒷받침한다. 하지만 정상과 이상을 구분하지 않는다는 점은, 변동의 크기를 제거함에 있어 프로토타입이 그 기준점으로 작용하지 않는다는 것을 시사한다.

한편, KLD 항의 체계화 효과는 사상값들을 확률 구조에 따라 재배열하는 효과이다. 앞선 가정 하에서 이 효과는 사상값들의 배열을 프로토타입으로부터의 변동량으로 체계화하는 효과로서 해석된다. 실험 결과, KLD 항은 오탐과 미탐을 동시에 개선할 수 있음을 확인하였다. 이는 KLD 항이 프로토타입으로부터의 변동량을 나타내는 구조로서 잠재 공간을 체계화한다는 점을 뒷받침한다고 볼 수 있다. 하지만 이 효과는 감쇠 항의 해상도 조절 강도와 임계값 설정에 영향을 받았다. 이 현상은 KLD 항이 형성된 잠재 공간에 사상값들을 배열하는 규칙을 제공할 뿐, 정상 범주가 형성하는 구조체의 기하 구조를 포착하거나 그 정보량을 조정하는데 관여하지는 못한다는 점을 시사한다.

종합하자면, 잠재 공간의 구조를 기하적 관점과 확률적 관점에서 이해할 수 있다. 기하 구조는 프로토타입으로부터의 변동량을 거리로 해석하는 체계를 제공하고, 확률 구조는 프로토타입으로부터의 변동량을 생성 확률로 해석하는 체계를 제공한다. 감쇠 항은 기하 구조의 형성에는 관여하나, 그 정보량을 조절할 뿐 프로토타입을 기준점으로 설정하여 체계화하지는 못한다. 이에 반해, KLD 항은 형성된 기하 구조를 확률 구조로 재구성함으로써 프로토타입을 기준점으로 잠재 공간을 체계화한다. 하지만 기하 구조의 형성에는 영향을 미치지 못하기 때문에 그 효과가 KLD 항을 비롯한 외부 요인에 의존하게 된다.

요컨대 감쇠 항은 기하 구조의 정보량을 조절함으로써 오탐을 개선하는 한편 미탐은 심화시키고, KLD 항은 형성된 기하 구조를 정상 범주의 표준값을 기준점으로 체계화하여 미탐을 추가 개선한다. 단, 이러한 해석은 정상 범주의 관측값이 하나의 생성 기준점(Prototype)을 중심으로 생성된다는 가정 하에서 성립한다는 점에 유의할 필요가 있다.

오토인코더 기반 이상탐지

지도학습(Supervised Learning)이란 판별(Classification) 혹은 회귀(Regression) 문제를 처리하는 모형을 학습하는 전략이다. 이 전략은 손실 함수(Loss Function)를 최소화하는 모수(Parameter)를 탐색하는 것을 목표로 학습을 전개한다. 이때 손실 함수는 확률론의 관점에서 보자면 종속변수 $y$ 에 대하여 가정된 분포의 음의 로그 우도(Negative Log Likelihood: NLL)와 동치이다. 따라서 지도학습은 조건부 우도 $p(y\mid X)$ 를 최대화하는 전략이 된다.²

$$\begin{aligned} \max{\prod{p(y\mid X)}} \longrightarrow\max{\prod{p(X_{\text{Normal}})}} \end{aligned}$$

이상탐지(Anomaly Detection)는 이항 판별 문제의 일종으로, 정상(Normal)과 이상(Anomaly)을 구분하여 이상 신호를 감지하는 프로세스이다. 하지만 이상 사례가 정상 사례보다 희소하다는 점에서, 이상탐지는 데이터 불균형 문제(Data Imbalance)에서 자유롭지 못하다.³ 이를 보완하기 위하여 비지도학습을 활용한 단일 범주 판별 전략(One-Class Classification)이 활용되고 있다. 이는 정상치의 주변 분포(Marginal Distribution) $p(X)$ 만을 학습하여, 해당 분포 하에서 우도가 낮은 관측치를 이상치로 식별하는 전략이다. 이 전략을 활용하는 대표 사례로서 오토인코더 기반 이상탐지가 있다.

$$\begin{aligned} f &:\mathcal{X}\longrightarrow Z\longrightarrow\mathcal{X}\\ h &:\mathcal{X}\longrightarrow Z\\ g &:Z\longrightarrow\mathcal{X} \end{aligned}$$

오토인코더(Auto-Encoder; AE)란 관측 공간(Observation Space) 상에서 데이터가 분포하고 있는 구조체(Manifold)를 포착하고, 이 구조를 표현하는 저차원 좌표계(Latent Space)를 탐색하는 인공신경망 아키텍처이다. 이는 인코더와 디코더라는 두 컴포넌트로 구성된다. 인코더(Encoder)는 관측 공간 상의 매니폴드를 표현하는 잠재 공간을 형성하고, 디코더는 이 잠재 공간의 사상값을 다시 관측 공간으로 복원한다. 이렇게 재구성된 복원값과 입력값의 격차, 즉 재구성오차(Reconstruction Error)를 최소화하는 것이 오토인코더의 학습 목표가 된다.

$$\begin{aligned} \mathcal{L}_{\text{AE}} &=\log{p(X\mid z)}\\ &\approx-\underbrace{\Vert X-g(z)\Vert^{2}}_{\text{Reconstruction Error}} \end{aligned}$$

오토인코더를 활용하여 이상탐지를 수행할 때는 정상치만을 훈련에 사용함으로써 모형이 정상 데이터가 형성하는 매니폴드만을 잠재 공간 상에 표현하고 관측 공간으로 복원하도록 유도한다. 그 결과, 모형은 이상 데이터가 입력되었을 때 이를 잠재 공간 상에 정상 데이터에 적합된 표현으로 사상하고, 정상 매니폴드에 가깝게 왜곡하여 복원한다. 때문에 이상치의 재구성오차는 정상치보다 상대적으로 큰 수치를 형성하게 된다. 통상적으로는 훈련에 포함되지 않은 검증 데이터 셋의 재구성오차 분위수($0.950-0.995$)에 해당하는 임계값을 판정선으로 활용하여 평가 데이터 셋의 샘플을 정상과 이상으로 판별한다.

정규화 메커니즘

오토인코더의 손실 함수를 살펴보면 매니폴드를 탐색하기보다는 좌표값을 복원하는 데 초점을 맞추고 있는 것을 알 수 있다. 이처럼 재구성오차만을 최소화하도록 학습되는 경우, 인코더의 표현학습(Representation Learning)이 제대로 이루어지지 않을 가능성이 높다. 다시 말해, 관측값의 패턴을 표현하는 좌표계가 아니라, 관측 공간 상의 개별 좌표값에 대응하는 좌표계를 형성할 위험이 있다. 이러한 과적합(Overfitting) 문제를 보완하기 위하여 설계된 모형이 잡음 제거 오토인코더와 변분 오토인코더이다. 이들은 이 문제를 각각 섭동(Perturbation)과 잠재 공간의 구조적 제약(Latent Constraint)으로써 보완한다. 두 전략이 과적합을 완화시키는 과정을 살펴보면 각각 다음과 같다.

잡음 제거 오토인코더

잡음 제거 오토인코더(Denoised Auto-Encoder: DAE)란 입력값이 오염되었음을 가정하고, 미시 변동(잡음)을 무시하고 거시 구조(매니폴드)만을 포착하여 표현하고 복원하도록 기획된 모형이다. 이를 위하여 입력 단계에서 잡음을 주입하여 입력값을 인위적으로 훼손하고, 훼손하지 않은 원본을 복원하도록 유도한다. 섭동이 가해진 상태에서 인코더는 모든 입력을 구분하지 못하기 때문에 일부 입력들을 동치로 간주하여($X+\epsilon\approx X$) 섭동에 불변인 좌표계를 탐색하게 된다. 그 결과, 잠재 공간은 개별 좌표값(Point)이 아닌 영역(Region)을 표현하는 좌표계로서 형성된다.

$$\begin{aligned} X-f(X+\epsilon) &\approx X-\left[f(X)+f^{\prime}(X)\cdot\epsilon\right]\quad(\because\text{Tayler Series})\\ &=\left[X-f(X)\right] - f^{\prime}(X)\cdot\epsilon\\ \\ \therefore\mathcal{L}_{\text{DAE}} &=\log{p(X\mid z)}\\ &\approx-\Vert X-f(X+\epsilon)\Vert^{2}\\ &\approx-\left(\underbrace{\Vert X-f(X)\Vert^{2}}_{\text{Reconstruction Error}}+\underbrace{\Vert f^{\prime}(X)\cdot\epsilon\Vert^{2}}_{\text{Penalty}}\right) \end{aligned}$$

위 수식은 잡음 제거 오토인코더의 손실 함수이다. 추가된 감쇠 항(Penalty)은 섭동 방향을 반영한 야코비안 노름(Jacobian Norm)으로, 입력값이 미세하게 변화했을 때 그 복원값이 입력값으로부터 변화한 방향으로 얼마나 가파르게 조정되는가를 규제한다. 이 항을 최소화하도록 학습되기 때문에, 인코더는 개별 샘플($X+\epsilon$)이 아닌 그 근방의 표준값($X$)을 사상하는 좌표계를 형성하게 된다. 즉, 섭동은 잠재 공간의 해상도(Resolution)를 조정하는 장치가 된다. 디코더는 이 좌표계를 입력값으로 취하기 때문에 개별 샘플의 세부적인 정보($X+\epsilon$)를 유실하고 그 근방의 일관된 패턴($X$)만을 복원하게 된다. 이는 매니폴드가 점차 구체적인 굴곡을 상실하고 추상적인 형상으로 복원됨을 의미한다.

변분 오토인코더

$$\begin{aligned} \mathcal{L}_{\text{VAE}} &=\underbrace{\mathbb{E}_{q_{\phi }(z|X)}[\log{p_{\theta}(X|z)}]}_{\text{Decoder}}-\underbrace{D_{KL}\left[q_{\phi}(z|X)\parallel p(z)\right]}_{\text{Encoder}}\\ &\approx-\underbrace{\Vert X-g(z)\Vert^{2}}_{\text{Reconstruction Error}}-\underbrace{D_{KL}\left[q_{\phi}(z|X)\parallel \mathcal{N}(0,I)\right]}_{\text{Kullback–Leibler Divergence}}\\ &\le\log{p(X)} \end{aligned}$$

변분 오토인코더(Variational Auto-Encoder: VAE)란 잠재 공간에 확률 구조를 부여하고 표준정규분포(Standard Normal Distribution)를 활용하여 그 구조에 제약을 부여하는 모형이다. 위 수식은 변분 오토인코더의 목적 함수인 증거 하한(Evidence Lower Bound; ELBO)이다. 추가된 쿨백-라이블러 발산 항(KL Divergence; KLD)은 잠재 표현의 변분 분포 $q_{\phi}(z\mid X)$ 가 사전 분포 $p(z)$ 와 유사한 형태로 응집되도록 규제한다. 이로써 잠재 공간은 사상값들이 영벡터를 중심으로 하나의 응집된 구조를 이루면서 연속적으로 분포하는 좌표계로 재배열된다. 디코더는 잠재 공간을 정의역으로 취하기 때문에, 이 같이 입력 분포에 구조를 부여하는 것은 생성 함수를 연속적이고 일관된 규칙으로서 체계화하여 인접한 사상값에 대하여 유사한 관측값을 출력하도록 유도한다.

실험

실험에는 다음의 데이터 셋을 활용하였다:

• Credit Card Fraud Detection link

위 데이터 셋은 유럽 카드사에서 2013년 9월 이틀 간 발생한 $284,807$ 건의 거래 내역을 담고 있다. 데이터 셋에서 정상은 $284,315$ 건, 이상은 $492$ 건으로, 이상값이 전체의 약 $0.172%$ 를 차지하여 클래스 불균형 문제가 심각한 것을 확인할 수 있다. 개인 정보 보호를 위하여 주성분 분석으로 변환된 28차원의 주성분과 거래 시간 및 거래 금액으로 구성되어 있다. 이 중 거래 시간과 거래 금액을 제외한 주성분만을 실험에 활용하였다. 또한 이들은 주성분 분석을 거친 상태이므로 공분산 구조를 보존하기 위하여 로그 변환, 표준화 등의 전처리를 수행하지 않았다.

위 그림은 정상과 이상의 분포를 알아보기 위하여 정상과 이상의 비율을 10:1 로 구성하여 t-SNE 를 수행한 결과이다. 이상값들이 대체로 정상값들로부터 이격된 채로 응집되어 있음을 확인할 수 있다. 하지만 일부는 정상값 군집에 산포하고 있어, 정상으로 미탐될 가능성이 있는 경계 사례(Boundary Cases)가 존재함을 알 수 있다. 한편, 정상값들은 하나의 거대한 군집과 다수의 소규모 군집들로 구성되어 있다. 마찬가지로 거대 군집에서 이격된 군집들이 이상으로 오탐될 여지가 있다.

단일 범주 판별 전략(One-Class Classification)을 적용하기 위하여 이상값들은 평가(tst) 데이터 셋에만 포함하였다. 또한 성능 평가 지표의 신뢰성을 확보하기 위하여 정상값 중 $492$ 건을 샘플링하여 평가(tst) 데이터 셋의 클래스 비율을 1:1 로 맞추었다. 평가(tst) 데이터 셋에 포함되지 않은 정상값 $283,823$ 건을 8:2 의 비율로 분할하여 각각 훈련(trn)과 검증(val)에 활용하였다.

손실함수로는 MSE(Mean Squared Error)를 사용하였으며, 검증 데이터 셋에 대하여 손실함수 기준 5회 이상 개선되지 않을 경우 학습을 조기 종료하였다. 평가 데이터 셋 성능 평가 지표로는 혼동 행렬(Confusion Matrix), 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), f1 스코어(f1-Score), AUROC, Logloss(BCE)를 사용하였다. 이때 혼동 행렬, 정확도, 정밀도, 재현율, f1 스코어 산출 시에는 검증 데이터 셋에서 손실이 가장 개선되었을 때의 재구성오차 분위수($0.950,0.955,\cdots,0.995$)에 해당하는 값들을 임계값으로 사용하였다.

결과

수식으로부터 감쇠 항과 KLD 항에 관한 다음의 시사점을 얻을 수 있었다. 첫째, 감쇠 항은 잠재 공간 형성 과정에 관여하여 그 해상도를 조절한다. 여기서 해상도란, 관측 공간 표현의 구체화로 인한 과대적합 현상과, 단순화로 인한 과소적합 현상 사이의 일반화 강도를 말한다. 둘째, KLD 항은 형성된 잠재 공간에 특정 확률 구조를 부여하여 관측값들을 재배열한다. 본 연구에서는 두 시사점과 더불어 관측값 생성에 관한 한 가지 가정을 추가하고자 한다. 모형이 정의하는 정상 범주의 표준(Prototype)이 존재하고, 정상치들은 이 프로토타입을 기반으로 미시 변동이 더해져서 생성된다는 가정이다.

이 가정 하에서 정상 범주가 형성하는 매니폴드의 기하 구조는 프로토타입으로부터의 변동량을 거리로써 나타내는 구조가 된다. 또한 매니폴드의 확률 구조는 프로토타입으로부터의 변동량을 생성 확률로써 나타낸다. 프로토타입, 다시 말해 정상 범주의 전형적인 패턴일수록 발생할 가능성이 높기 때문이다. 이에 따라 기하 구조(거리)와 확률 구조(발생 확률)를 동치로 해석할 수 있다. 또한 감쇠 항은 프로토타입으로부터의 미시 변동을 제거하는 장치로 해석 가능하다. 이와 더불어 (사전 분포를 표준정규분포로 설정하는 경우) KLD 항은 잠재 공간을 프로토타입을 중심으로 조직하는 장치가 된다.

재구성오차 분포 분석

위 그림은 잠재 공간의 구조적 제약 여부와 섭동 강도에 따른 평가 데이터 셋 이상 데이터의 재구성오차 분포 변화 양상을 시각화한 것이다. 회색 선은 재구성오차의 최솟값과 최댓값을, 빨간색 선은 검증 데이터 셋에서 산출된 재구성오차 분위수 $0.950, 0.995$ 에 해당하는 임계선을, 파란색 선은 재구성오차의 평균값을, 초록색 선은 재구성오차의 중앙값을 나타낸다. 그래프 축을 살펴보면, $X$축 범위는 약 $0.0-200.0$, $Y$축 범위는 $0.0-0.3$ 으로, 후술할 정상 데이터의 재구성오차 분포와 비교했을 때 전반적으로 유효 지지 없이 분산되어 있음을 확인할 수 있다. 또한 판정선이 분포 중심부 좌측에 위치해 있어, 대부분 판정선 바깥에 위치함이 관찰된다. 이러한 특징은 단일 범주 판별 전략에 따른 결과로서, 학습된 매니폴드가 이상 범주로부터 구분되는 패턴으로서 유효함을 시사한다.

정상치의 재구성오차 분포는 이상치와는 상이한 양상을 보인다. 우선, $X$축 범위는 약 $0.0-4.0$ 으로 한정되어 있고 $Y$축 범위는 $0.0-10.0$ 으로 전반적으로 유효 지지 안에서 $0.0$ 을 중심으로 밀집된 형태를 띠고 있음을 확인할 수 있다. 또한 분포 중심부가 가장 공격적인 판정선 안쪽에 위치해 있어, 학습된 매니폴드가 정상 샘플들이 이루는 구조체로서 유효함을 확인 가능하다. 단, 섭동 강도가 증가할수록 분포가 전반적으로 완만해지는 가운데, 중앙값은 변동이 크지 않은데 비해 평균값과 우측 극단값(최댓값)이 우측으로 이동하는 현상이 관찰된다. 이는 섭동이 잠재 공간의 해상도를 조절하여 복원되는 매니폴드의 형상이 단순화된다는 앞선 이론적 가정을 뒷받침한다.

한편, 잠재 공간의 구조적 제약이 재구성오차에 미치는 영향은 섭동 여부에 따라 상이하다. 섭동이 부재할 때는 확률적 생성 모형의 분포가 결정론적 복원 모형보다 상대적으로 응집된 형상이지만, 섭동을 가했을 때는 동일한 섭동 강도에서 극단값 변화폭이 커진다. 이 결과는 KLD 항의 잠재 공간 표준화 효과가 감쇠 항의 잠재 공간 해상도 조절 효과에 대하여 독립적으로 작용하지 않는다는 점을 시사한다. 이는 전자가 정의된 잠재 공간을 재배열하는 데 반해, 후자는 잠재 공간의 정의에 영향을 미치기 때문이다.

섭동이 부재할 때 표준화 효과는 디코더의 입력 분포를 체계적으로 재배열함으로써 그 출력을 안정화한다. 하지만 섭동을 가하면 사상값의 자유도가 감소하게 된다. 이들 사상값은 관측 공간 상에서 서로 인접한 좌표(Point)가 아닌, 뚜렷이 구분되는 영역(Region)을 나타낸다. 때문에 일정 수준 이격되어야 하지만 구조적 제약으로 인하여 영벡터를 중심으로 응집된다. 그 결과, 정상 범주의 프로토타입(잠재 공간 상의 영벡터)과는 상이한 정상치들이 표준에 가깝게 재구성될 가능성이 높다.

잠재 공간의 구조적 제약 여부에 따른 성능 지표 격차 분석

위 그림은 잠재 공간의 구조적 제약 여부에 따른 성능 지표 격차를 시각화한 것이다. $Y=0$ 은 각 섭동 강도에서 결정론적 복원 모형의 점수를 나타낸다. 임계값 분위수 $0.970$ 을 기준으로, 임계값을 공격적으로 설정할수록 제약 여부에 따른 성능 변화가 뚜렷한 것을 확인할 수 있다. 이 격차는 정밀도, TN, FP(오탐) 보다 재현율, TP(정탐), FN(미탐) 에서 더욱 부각된다. 단, 섭동 강도가 높을 때는 성능이 개선된 것에 반해, 낮을 때는 오히려 악화되었다. 예외적으로, $0.4$ 일 때는 성능이 악화되었으나 강도가 낮을 때보다는 그 변화폭이 작았다. 이 결과는 KLD 항의 잠재 공간 표준화 효과가 정상치 식별보다는 이상치 식별에 효과적이라는 점을 시사한다. 단, 이 효과는 감쇠 항의 잠재 공간 해상도 조절 효과가 긍정적으로 작용하고 있음을 전제했을 때 유효하다.

이상치 식별에 핵심이 되는 것은, 정상치와 유사한 이상치의 재구성오차를 정상치보다 상대적으로 크게 만드는 데 있다. 잠재 공간을 표준화하게 되면 인코더는 정상 범주 기준으로 형성된 사상값 분포 안에서 이상치의 사상값을 샘플링하고, 디코더는 이를 정상 매니폴드 근방으로 조정하여 생성한다. 잠재 공간의 해상도가 높을 때는 사상값 분포가 완만하기 때문에 다양한 출력값을 안정적으로 생성할 수 있어 오히려 이상치 복원력이 향상될 수 있다. 하지만 잠재 공간의 해상도가 낮아질수록 사상값 분포는 영벡터를 중심으로 밀집되므로 점차 정상 범주의 프로토타입에 가까운 출력값만을 생성하게 된다. 비록 섭동 강도가 증가할수록 관측값 전반의 재구성오차가 상향 조정되지만, 이상치의 재구성오차가 비교적 큰 폭으로 증가하여 결과적으로 미탐이 개선될 수 있다.

섭동 강도에 따른 성능 지표 격차 분석

위 그림은 섭동 강도에 따른 성능 지표 격차를 시각화한 것이다. $Y=0$ 은 섭동이 부재할 때의 점수를 나타낸다. 잠재 공간의 구조적 제약 여부에 따라 앙상이 달리 나타나는 것을 알 수 있다. 우선, 결정론적 복원 모형에서는 섭동을 가했을 때 임계값 분위수와 무관하게 정밀도, TN, FP(오탐)이 전반적으로 개선되는 반면, 재현율, TP(정탐), FN(미탐)은 악화되는 경향을 보인다. 이와 달리, 확률적 생성 모형에서는 임계값 분위수 $0.970$ 을 기준으로, 임계값이 공격적일 때는 지표가 전반적으로 개선되었으나 보수적일 때는 오히려 악화되었다. 다만, 두 모형 모두 섭동 강도가 증가함에 따라 성능이 일관되게 개선 혹은 악화되는 단조 관계는 관찰되지 않았다.

위 결과로부터 감쇠 항의 잠재 공간 해상도 조절 효과가 판정선 근방의 관측값에 미치는 영향을 가정해볼 수 있다. 앞서 살펴본 바와 같이, 섭동은 모형이 관측값의 미시 변동을 무시하도록 강제한다. 때문에 섭동이 가해질수록 재구성오차는 전반적으로 상향 조정되고, 판정선 역시 우측으로 이동한다. 하지만 판정선 근방의 관측치들은 섭동이 부재한 상태에서도 모형이 그 전반적인 패턴($X$)을 제외한 미시 변동($X+\epsilon$)을 포착하지 못할 가능성이 높다. 따라서 이들에 대해서는 섭동을 가함으로써 추가로 유실하는 정보량이 비교적 적다. 그 결과, 판정선 근방의 정상치들과 이상치 모두 판정선 내부로 편입되어 오탐이 개선되는 동시에 미탐이 악화될 수 있다.

그러나 이상치 복원력은 KLD 항의 잠재 공간 표준화 효과가 개입되면 그 양상이 달라진다. 이는 KLD 항이 사상값 분포를 표준정규분포에 근사하도록 제약함에 따라, 사상값이 영벡터, 즉 정상 범주의 프로토타입을 중심으로 응집하기 때문이다. 다만, 이 효과가 임계값을 공격적으로 설정할 때와 보수적으로 설정할 때 성능 지표에 상반된 영향을 미치는 이유는, 각 판정선에서 성능 지표에 영향을 미치는 관측값의 특성을 살펴보아야 한다. 임계값이 공격적일 때는 판정선 근방에 재구성오차가 비교적 낮은 관측값들이 분포해 있다. 앞선 가정 하에서 감쇠 항과 KLD 항의 이중 효과는 동일 분위수에서의 판정선을 상승시키는 동시에 판정선 근방 정상치의 재구성오차는 비교적 낮은 상승폭을, 이상치의 재구성오차는 높은 상승폭을 유발한다. 그 결과, 오탐과 미탐이 동시에 개선된다.

하지만 임계값이 보수적일 때는 판정선 근방에 재구성오차가 비교적 높은 관측값들이 분포해 있다. 정상치의 경우 표준으로부터의 미시 변동이 상대적으로 크기 때문에 그 사상값 역시 영벡터로부터 이격될수록 복원에 유리하다. 한편, 이상치의 경우 정상 매니폴드로부터 충분히 이탈해 있으므로, 복원값을 표준에 가깝게 조정하더라도 재구성오차 상승폭은 판정 결과를 변화시킬 만큼 조정되지 않을 수 있다. 이때는 넓게 설정된 정상 범위를 좁히는 것이 미탐 개선에 효과적이다. 요컨대 판정이 보수적일 경우에는 사상값 분포를 완만하게 만들었을 때 정상치 식별에, 재구성오차 분포를 응집시켰을 때 이상치 식별에 유리하다. 따라서 섭동을 제거했을 때 성능 지표가 개선된다.

결론

결론적으로, 감쇠 항과 KLD 항은 모두 오토인코더의 정규화 메커니즘으로서, 잠재 공간의 구조를 규제함으로써 일반화를 도모한다. 하지만 두 항이 개입하는 단계가 서로 다르다. 본 연구에서는 수식으로부터 감쇠 항과 KLD 항의 효과를 각각 잠재 공간의 해상도 조절 효과와 체계화 효과로 구분하여 정의하였다. 이와 더불어 정상 범주의 관측치는 하나의 프로토타입을 기반으로 미시 변동이 더해져 생성된다고 가정하였다.

이러한 가정 하에서 감쇠 항은 잠재 공간의 기하 구조를 얼마나 단순화할 것인지, 다시 말해 프로토타입과 국소 표준 패턴 사이의 미시 변동을 얼마나 제거할 것인지를 결정한다. 반면 KLD 항은 기하 구조를 특정 확률 구조(표준정규분포)로 재조직할 뿐, 형성된 기하 구조를 변화시킬 수는 없다. 실험 결과, KLD 항의 체계화 효과는 감쇠 항의 섭동 강도에 따라 서로 다르게 나타났다. 이는 KLD 항이 독립적으로 작동하는 것이 아니라, 감쇠 항에 의해 형성된 기하 구조를 전제로 기능함을 시사한다.

한편, 감쇠 항의 해상도 조절 효과는 판정선 근방에 위치한 관측치를 정상 범주로 편입시키는 방향으로 작용한다. 이 작용은 모형이 유실하는 정보량의 상대적 차이에서 기인한다. 섭동 강도가 증가할수록 모형이 전반적으로 유실하는 정보량은 증가하지만, 본래 복원이 어려웠던 관측치의 경우에는 추가적으로 유실되는 정보량이 상대적으로 작다. 그 결과, 판정선 근방에 위치한 관측치의 재구성오차 증가폭이 판정선의 상승폭보다 작아지면서 일부 관측치가 정상 범주로 편입된다. 문제는 이러한 효과가 정상치와 이상치를 구분하지 않고 동일하게 작용한다는 점이다.

반면, KLD 항은 정상 범주의 프로토타입을 중심으로 잠재 공간을 재조직한다. 때문에 정상치와 이상치의 재구성오차에 서로 다른 영향을 미친다. 프로토타입을 기반으로 생성되었다는 가정 아래, 정상치는 프로토타입 중심으로 재조직되더라도 상대적으로 적은 정보만을 유실한다. 이에 반해, 이상치는 프로토타입에 기반하지 않으므로 유실하는 정보량이 상대적으로 증가하게 된다. 그 결과, 정상치보다 이상치의 재구성오차가 큰 폭으로 증가하여 오탐과 미탐이 동시에 개선될 수 있다.

이러한 결과는 정상 범주의 관측치가 프로토타입에 미시 변동이 더해져 생성된다는 본 연구의 생성 가정을 뒷받침하는 근거로 해석할 수 있다. 다만, 이 결과가 감쇠 항과 KLD 항을 동시에 적용할 때 항상 최적의 성능이 보장됨을 의미하는 것은 아니다. 감쇠 항과 KLD 항의 결합 효과는 판정 기준이 공격적으로 설정된 경우에는 긍정적인 방향으로 작용한 반면, 판정 기준이 보수적으로 설정된 경우에는 오히려 성능을 저하시킬 수 있음을 확인하였다. 이는 KLD 항의 효과가 잠재 공간의 기하 구조뿐 아니라 경계 사례(Boundary Cases)에도 의존함을 시사한다.

정리하자면, 감쇠 항은 잠재 공간의 기하 구조를 조정함으로써 오탐을 개선하는 한편 미탐을 심화하는 방향으로 작용한다. KLD 항은 형성된 기하 구조를 확률 구조로써 체계적으로 재배열하여 오탐과 미탐을 개선할 수 있다. 하지만 이 효과는 적절한 섭동 강도와 임계값 설정이 수반될 때 유효하다.

Footnotes

1. 본 연구는 초기 오토인코더와 변분 오토인코더에 대하여 입력값의 섭동 강도를 조절하였을 때의 성능 변화 양상을 비교하는 데 그쳤다. 수정 기간 동안 연구 목적 재설정, 모형 및 실험 파이프라인 재설계 후 실험을 재수행하였다. ↩

2. 평균 제곱 오차(Mean Squared Error; MSE)는 가우시안 분포(Gaussian Distribution), 평균 절대 오차(Mean Absolute Error; MAE)는 라플라스 분포(Laplace Distribution), 이진 교차 엔트로피(Binary Cross-Entropy, BCE)는 베르누이 분포(Bernoulli Distribution), 교차 엔트로피(Cross-Entropy)는 카테고리 분포(Categorical Distribution)의 음의 로그 우도에 해당한다. ↩

3. 정상치가 10,000건, 이상치가 100건인 상황을 가정하자. 정상치의 조건부 우도가 건당 0.9, 이상치의 조건부 우도가 건당 0.1 이 되도록 학습된 상황에서 이상치의 조건부 우도를 건당 0.8 로 상향 조정하기 위하여 정상치의 조건부 우도를 건당 0.8 로 하향 조정하였다고 하자. 정상치의 건당 조건부 우도를 소폭 희생하여 이상치의 건당 조건부 우도를 대폭 개선하였음에도 불구하고, 총 조건부 우도는 지수적 감쇄(Exponential Decay)로 인하여 대폭 하락하게 된다. 때문에 범주 간 관측치 수가 불균형할 경우, 모형이 다수 범주에 대하여 편향적으로 학습하게 되어 소수 범주에 대한 예측 성능이 저하되는 문제가 발생한다. ↩