코딩일기

안녕하십니까 다제입니다. 오늘은 딥러닝의 학습 규제 전략 (Regularization Strategies)에 대해서 알아보도록 하겠습니다. 1. EarlyStopping 1) 가중치가 최고 유용성 시점을 훨씬 지나서 더 업데이트 되지않도록 학습을 조기 중단함 2) 지난번에 보았던 코드를 가지고 EarlyStopping 실습을 진행해보겠습니다. # 모델생성 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten # 케라스에서는 Sequential 모델은 레이어를 선형으로 연결하여 구성합니다 model = Sequential() # 선형으로 들어가야하기 때문에 28*28 = 784 특성 벡..

안녕하십니까 다제입니다. 오늘은 역전파와 경사하강법에 대해서 알아보도록 하겠습니다. 아래와 같이 간단하게 설명만 해주면 좋을텐데 많은 글들과 강의에서는 어렵게 말을 해놓는다. 나는 정말 간단하게 이게 무엇인지 정도만 알고 코드가 어떻게 작동되는지 정도만 알고 싶은데.. 그래서 제가 간단하게 정리를 해보았습니다. 1. 역전파를 이해하기 위해 알아야할 개념 -. 편미분 * 일반적으로 해당 공식에서 $f(x) = y^3 + 5x$ 미분을 하게 되면 x, y에 대해 미분을 진행하게 된다. * 그러나, 편미분에서는 x, y 중 1개에 대해서만 미분을 진행하게 된다. * 그럼 x에 대해 편미분을 진행하면 y는 어떻게 될까? 상수처럼 취급되어 사라지게 된다. * 예제를 통해서 알아보도록 하겠습니다. 1) $f(x) ..

안녕하십니까 다제입니다. 오늘은 딥러닝의 기초적인 개념에 대해서 학습을 진행토록 하겠습니다. 목차 1. 딥러닝 & 인공지능 정의 2. 딥러닝은 왜 갑자기 인기있는가? 3. 딥러닝과 머신러닝의 차이는 무엇인가? 4. 딥러닝의 구성 5. 활성화 함수 1. 딥러닝 & 인공지능 정의 1-1. 딥러닝의 정의 2개 이상의 Hidden Layer를 가지는 다층 신경망으로써 신경망을 학습할 때 손실 함수(Loss function)를 통해 예측값과 실제값의 차이(로스값)를 평가하고 역전파[경사 하강법(Gradient Descent)]을 통해 최적의 가중치, bias를 찾아 로스값을 최소화하는 학습 방법 1-2. 인공지능의 정의 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을..

안녕하십니까 다제입니다. 오늘은 선형회귀의 중요한 키워드들을 공부해보고자 합니다. 백그라운드 개념으로 필수적이다고 생각되는 가설, 손실함수 & 경사하강법에 대해서 배워보도록 하겠습니다. 저는 경사하강법을 이해하기 위해 미분과 행렬을 배운다고 해도 과언이 아니라고 생각합니다. 1. 경사하강법 저희는 모델(함수)를 만들고 MSE or MAE라는 방법으로 성능을 평가합니다. MSE or MAE의 결과 값이 크면 성능이 안좋고 작으면 성능이 좋다는 걸 알 수 있습니다. 그렇다면 우리는 미분을 통해 특정 지점에서의 순간변화율이 0인 지점을 찾는다면 그 부분이 이 모델에서 성능이 가장 좋은 지점일 것이다. 미분이란? 즉, 우리의 모델과 라이브러리가 고차원의 DataFrame을 계속 미분해가면서 기울기가 가파르지 않..