목차
출처
1. 정의
어떤 목적함수(loss/cost function)을 최소화하는 모수를 찾는 문제에서, 그 식의 최소값이 Global Minima이다. 하지만 식이 복잡해 최적화가 어려워 gradient descent와 같이 iterative하게 찾은 최소값이 Global Minima가 아닌 식이 계산되는 로컬에서의 최소값일 수 있는데, 이를 Local Minima라고 부른다.
2. High Dimension Case
고차원 공간 케이스(High Dimension Case)에서는 Local Minima에 빠지는 문제가 잘 발생하지 않는다고 한다.
고차원 공간에서의 critical point는 대부분 saddle point이며, 아닌 경우는 global minimum이거나 또는 global minimum과 유사한 수준의 local minima이기 때문이다.
즉, 고차원의 공간에서 모든 축의 방향으로 오목한 형태가 형성될 확률은 거의 0에 가깝다.
딥러닝 모델을 예로 들자면 수많은 weight들이 모두 local minima에 빠져야만 업데이트를 중단하기 때문에(이론상 불가능한 case) 사실상 큰 문제가 되지 않는다.
cf.) critical point(stationary point): 1차 미분값이 0인 지점
ex.) maxima, minima, saddle point(maxima, minima가 아닌 모든 critical point)
3. Local Minima에 빠지지 않는 최적화 대안
Stochastic Gradient descent와 같이 전체 데이터(Batch)가 아닌 일부 데이터(Mini-bath)에서 계산하면 Global minima를 찾을 확률이 높다.
