Endrew Ng 교수님의 Machine Learning강의를 듣고 복습하는 글입니다. (www.coursera.org)
0. 지난 시간 복습
선형회귀 함수와 비용함수에 대해 복습 겸 정리를 하자면,
h(x) : x의 선형함수인 y를 예측하는 것. '가설'이라고 부름.
파라미터 값에 따라 선형함수의 모양이 달라짐.
비용함수의 최솟값을 찾아야 한다. 즉, h(x)와 y간의 차이를 작게 만들어야 한다.
우리의 목표는 J(Θ0,Θ1)의 최솟값을 찾는 것.
1. Const Function - Intuition 1
비용함수에 대한 쉬운 이해를 위해 Θ0=0일 경우로, 가설을 간소화해서 설명하였다.
hypothesis: h(x) = Θ1x
Parameter: Θ1
Const Function: J(Θ1)
Goal: minimize Θ1 J(Θ1)
1) Θ1=1일 경우
h(x) - 가설함수 (for fixed Θ1, this is a function of x)
h(x) = x 이므로,
h(1) = 1, h(2) = 2, h(3) = 3이다.
J(Θ1) - 비용함수 (function of the parameter Θ1), 수평축(x축)은 Θ1
J(Θ1) = 1/2*3 * ((1-1)^2 + (2-2)^2 + (3-3)^2 ) = 0
J(1) = 0 이므로,
다음과 같이 비용함수에는 점으로 찍히게 된다.
2) Θ1=0.5일 경우
h(x) = 0.5x
J(Θ1) = 1/(2*3) * ((0.5-1)^2 + (1-2)^2 + (1.5-3)^2 ) = 0.58
3) Θ1=0일 경우
h(x) = 0
J(Θ1) = 1/(2*3) * ((0-1)^2 + (0-2)^2 + (0-3)^2 )) = 14/6
Θ1 값이 감소할 수록 데이터 포인트들과 h(x)간의 거리는 멀어진다. 즉, 최솟값에 가까워진다.
결국 비용함수의 그래프는 이와 같은 모양이 된다.
결국 학습알고리즘의 최선의 목표는 J(Θ1)값을 최소화 하는 것.
현재 상황에서 minimum case는 Θ1=1일 때이다. (J(1)=0)
2. Const Function - Intuition 2 (간단히)
이번 강의에서는 파라미터 Θ0, Θ1 값에 따른 비용함수 J의 그래프를 보여주었다.
2개의 파라미터이기 때문에, 비용함수는 등고선 그래프로 나타내게 된다.
등고선 그래프에서는 중심(center)에 가까울 수록 최솟값(h(x)와 데이터간의 최소 거리)이고,
좋은 가설h(x)은 비용함수J의 최솟값과 비슷할 수록 더 좋은 가설이 된다.
앞으로는 이보다 더 복잡한 예시(고차원형태와 더많은 파라미터 사용)를 다룰 것이다.
우리가 해야할 것은 Θ0,Θ1, 함수의 최소값을 찾는 것인데, 일일히 수작업으로 나타내는 것은 귀찮은 일이다.
그러므로 자동적으로 Θ0,Θ1,비용함수j의 최소값을 찾아주는 알고리즘에 대해 공부할 것이다.
다음 시간에는 선형회귀 공식을 배우면서 비용함수 j에 대한 더 나은 이해를 할 수 있는 시간이 될 것이다.
'Python > Review' 카테고리의 다른 글
데이터 시각화 기초 (0) | 2021.01.04 |
---|---|
클래스와 넘파이, 그리고 matplotlib (0) | 2021.01.03 |
Parameter Learning (Gradient Descent) (0) | 2020.12.31 |
Linear Regression(선형 회귀) (0) | 2020.12.27 |
What is machine learning? (0) | 2020.12.27 |