Page 122 - 인공지능 수학 교과서

경사하강법

함수의 최솟값 또는 최댓값을 찾아 최적화된 의사 결정 방법을 이해한다.

생각 열기
⇦ ? ⇨
오른쪽 그림과 같은 지형의 장소에서 지점 A에 위치한 선우는 가장
A
낮은 지점 G로 내려가려고 한다. 그런데 눈을 가리고 이동을 하며 자신
이 서 있는 위치의 땅을 더듬어서 경사를 확인하는 것만이 유일한 방법
이라고 한다.

G

? 선우가 몇 걸음 걸은 후 자신이 지점 G 에 도착했는지 어떻게 알 수 있을까?

이차함수 형태로 나타낸 손실함수의 최솟값을 구함으로써 최적의 결과를 비교적 쉽
무수히 많은 값들에
대하여 손실함수의 값을 게 구할 수 있다. 그러나 실제 인공지능의 학습에는 다양한 변수가 있고 자료의 양이 방
일일이 계산하고 최솟값을
구한다고 가정해 보아요.
대하여 손실함수의 정확한 최솟값을 찾기가 어려운 경우가 많다.
이는 컴퓨터의 빠른 계산
속도를 감안하더라도 따라서 손실함수가 최소일 때의 정확한 매개변수의 값을 구하는 대신 충분히 작게
합리적인 접근 방식이
아님을 쉽게 예상할 수 하는 최적의 매개변수를 구해야 하는데 이 과정이 바로 최적화이다.
있겠죠?
최적화의 기법 중 가장 대표적인 경사하강법의 알고리즘과 그 원리에 대하여 알아
보자.

손실함수의 최솟값을 찾아가는 경사하강법

120 Ⅳ. 최적화