CS/AI & ML

PerceptronLecture 3에서의 ~Sigmoid Function~은 ($ -\infty $, $\infty$)를 $ [0, 1] $로 매핑하는 부드러운 곡선 형태를 갖고 있다.~Perceptron~은 Sigmoid Function과 달리 곡선 형태가 아닌 보다 극단적인 형태를 가지고 있다.Perceptron과 Sigmoid Function의 차이부드러운 곡선 대신 hard threshold를 사용한다.$g(0) = 0.5. $\( z \to -\infty \)일 때, \( g(z) \to 0 \).\( z \to \infty \)일 때, \( g(z) \to 1 \). Perceptron의 Update Rule\[ \Theta_j = \Theta_j + \alpha \cdot (y_i - h_\..

Parametric vs. Non-Parametric Learning Algorithms Parametric Learning Algorithms개수가 고정된 파라미터 세트~θ~를 데이터에 맞춘다.파라미터들은 학습 이후 고정된다.파라미터 ~θ~만 예측을 위해 사용되므로, 학습 데이터는 학습 이후 없어도 된다.모델의 크기가 학습 데이터의 크기와 관련이 없다.예시: ~선형 회귀~파라미터 (θ_0​,θ_1​,…,θ_n​)는 ~cost function~을 최소화하기 위해 최적화된다.모델은 $h_\theta(x) = \theta^T x$ 으로 표현된다. Non-Parametric Learning Algorithms파라미터의 수가 고정되어 있지 않다.학습 데이터가 커질수록 모델의 복잡성이 커지고, 계산 비용이 늘어난..