Page 127 - 인공지능 수학 교과서

▶ 미분계수가 0이 되도록

4단계 미분계수 E'(a)의 절댓값이 0.001보다 작을 때 경사가 충분히 0에 가까운 하는 매개변수는 a=1
로 정확하게 구할 수 있
것으로 인정한다고 가정하면, 앞의 표와 같은 규칙성으로부터 매개변수 a
다. 하지만 경사하강법을
의 값은 a_1_0=0.999895142로 최종 결정된다. 이때 최적화된 추세선의 식 이용하여 최소가 되도록
하는 매개변수의 값을
f(x)=ax는 y=0.999895142x가 된다.
근사적으로 구하는 과정
을 살펴 본다.

매개변수 a의 값이 갱신됨에 따라 손실함수 E(a)의 값이 최소화되고, 자료의 산점

도에서 추세선 y=a_nx (n=1, 2, 3, ⋯)가 최적화되는 과정을 각각 그림으로 나타내
면 다음과 같다.

E(a) 공학적 도구를 활용해서
알아보아요!
E(a)=3(a-1)^2+;3@;
y
(2, 3)
3
E(a¼) y=x
y=a£x
y=aªx
2
y=aÁx
E(aÁ)
(1, 1)
1
E(aª) (2, 1)
y

O aÁ aª y 1 a O 1 2 x

예제 5

손실함수 E(a)=2a^2-6a+5에 대하여 최초의 a의 값을 5, 학습률 k의 값을 0.1로 놓
고 경사하강법을 적용하여 매개변수 a를 2회 갱신한 값을 구하시오.

풀이
▶ E'(t)=2×2t-6
E'(t)=4t-6이고, 최초의 a의 값은 a_0=5, 학습률은 k=0.1이므로
=4t-6
E'(a_0)=E'(5)=4×5-6=14에서 a_1=a_0-kE'(a_0)=5-0.1×14=3.6
E'(a_1)=E'(3.6)=4×3.6-6=8.4에서 a_2=a_1-kE'(a_1)=3.6-0.1×8.4=2.76
따라서 매개변수 a를 2회 갱신한 값은 a_2=2.76이다. 답 2.76

문제 5 어떤 자료를 바탕으로 구한 손실함수 E(a)=5a^2+7에 대하여 경사하강법을 적
용하려고 한다. 최초의 a의 값을 1, 학습률 k의 값을 0.05로 놓고 매개변수 a의 갱

신을 반복하면서 부등식 |E'(a)|<2 를 만족할 때, 갱신을 중단하도록 설정하였
다. 경사하강법을 통해 결정된 매개변수 a의 값을 구하시오.

1. 최적화와 의사 결정 125