Page 125 - 인공지능 수학 교과서

미분계수를 이용하여 어떻게 최소인 점을 찾아갈 수 있을까?

최적화를 위해 손실함수가 최소인 점을 찾아가는 과정을 알아보자.

➊ 경사하강법을 활용한 최적화 과정
이차함수인 손실함수는 최소인 점에서 미분계수가 0이므로 이와 같은 성질을 이용 ▶ 손실함수가 최소인 점으
로 이동하지 못하는 경
하여 실제 인공지능의 학습에서는 손실함수의 미분계수가 0에 가까워지도록 매개변수 우도 발생할 수 있다. 이
를 거듭하여 갱신해 나간다. 점진적으로 매개변수를 조절하여 손실함수가 최소일 때 때는 반복의 횟수를 제
한하여 경사하강법을 종
의 값을 근사적으로 찾아가는 알고리즘을 경사하강법이라고 한다. 료하거나, 임의의 작은
값을 설정하고 이것보다
예를 들어 그림과 같이 이차함수인 손실함수 E(a)
양의 미분계수(경사) 작은 손실값을 가질 때
E(a)에 대하여 임의로 선택한 매개변수 a에서의 P 음의 미분계수(경사) Q 경사하강법을 종료한다.
미분계수를 계산한다. 이때 점 P에서와 같이 미

분계수가 음수가 되면 손실함수가 최소인 점을
찾아가기 위하여 포물선 E(a)를 따라 a축의 양

의 방향으로 이동한다.
O a
a축의 양의 방향 a축의 음의 방향
반대로, 점 Q에서와 같이 미분계수가 양수이 으로 이동 으로 이동
면 포물선 E(a)를 따라 a축의 음의 방향으로 이동한다.
이러한 방법으로 이동하기를 충분히 반복하면 손실함수가 최소가 되는 점에 가까이 ▶ 이차함수의 미분계수는
접선의 기울기로서 접점
이르게 된다. 이때의 매개변수 a의 값을 택하여 만든 예측 모델 f(x)=ax는 최적화되
에서의 곡선의 경사도를
었다고 할 수 있다. 나타낸다.
이러한 경사하강법의 알고리즘을 순서도로 나타내면 다음과 같다.

시작

1단계 최초의 a의 값을 임의로 입력한다.

2단계 미분계수 E'(a)를 계산한다.

a-kE'(a)를 새로운
E'(a)의 값이 0에 아니요
3단계 a의 값으로 정한다.
충분히 가까운가?
(단, k는 양의 상수)
예
현재의 a의 값이 최적이라
4단계 판단하여 예측 모델
f(x)=ax를 완성한다.

종료

1. 최적화와 의사 결정 123