목록역전파 (1)

코딩일기

[Deep Learning] 3. 역전파와 경사하강법

안녕하십니까 다제입니다. 오늘은 역전파와 경사하강법에 대해서 알아보도록 하겠습니다. 아래와 같이 간단하게 설명만 해주면 좋을텐데 많은 글들과 강의에서는 어렵게 말을 해놓는다. 나는 정말 간단하게 이게 무엇인지 정도만 알고 코드가 어떻게 작동되는지 정도만 알고 싶은데.. 그래서 제가 간단하게 정리를 해보았습니다. 1. 역전파를 이해하기 위해 알아야할 개념 -. 편미분 * 일반적으로 해당 공식에서 $f(x) = y^3 + 5x$ 미분을 하게 되면 x, y에 대해 미분을 진행하게 된다. * 그러나, 편미분에서는 x, y 중 1개에 대해서만 미분을 진행하게 된다. * 그럼 x에 대해 편미분을 진행하면 y는 어떻게 될까? 상수처럼 취급되어 사라지게 된다. * 예제를 통해서 알아보도록 하겠습니다. 1) $f(x) ..
Code/딥러닝(NL) 2021. 5. 3. 15:39
이전 Prev 1 Next 다음