코딩일기

안녕하십니까 다제입니다. 오늘은 딥러닝에서 하이퍼파라미터 튜닝에 대해서 알아보고자 합니다. 본 글을 작성하기 앞에 해당 글은 아래 블로그를 참고하여 작성되었음을 사전에 안내드립니다. ( 참조블로그 ) 1. 하이퍼파라미터 튜닝기법 종류 설명 적용 시 고려사항 학습률 (Learning Rate) gradient의 방향으로 얼마나 빠르게 이동할 것인지 결정하는 변수 – 너무 작으면 학습의 속도가 늦고, 너무 크면 학습 불가 손실 함수 (Cost Function) 입력에 따른 기대 값과 실제 값의 차이를 계산하는 함수 – 평균 제곱 오차 – 교차 엔트로피 오차 정규화 파라미터 (Regularization parameter) L1 또는 L2 정규화 방법 사용 – 사용하는 일반화 변수도 하이퍼 파라미터로 분류 미니..

안녕하십니까 다제입니다. 오늘은 딥러닝의 학습 규제 전략 (Regularization Strategies)에 대해서 알아보도록 하겠습니다. 1. EarlyStopping 1) 가중치가 최고 유용성 시점을 훨씬 지나서 더 업데이트 되지않도록 학습을 조기 중단함 2) 지난번에 보았던 코드를 가지고 EarlyStopping 실습을 진행해보겠습니다. # 모델생성 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Flatten # 케라스에서는 Sequential 모델은 레이어를 선형으로 연결하여 구성합니다 model = Sequential() # 선형으로 들어가야하기 때문에 28*28 = 784 특성 벡..

안녕하십니까 다제입니다. 오늘은 역전파와 경사하강법에 대해서 알아보도록 하겠습니다. 아래와 같이 간단하게 설명만 해주면 좋을텐데 많은 글들과 강의에서는 어렵게 말을 해놓는다. 나는 정말 간단하게 이게 무엇인지 정도만 알고 코드가 어떻게 작동되는지 정도만 알고 싶은데.. 그래서 제가 간단하게 정리를 해보았습니다. 1. 역전파를 이해하기 위해 알아야할 개념 -. 편미분 * 일반적으로 해당 공식에서 $f(x) = y^3 + 5x$ 미분을 하게 되면 x, y에 대해 미분을 진행하게 된다. * 그러나, 편미분에서는 x, y 중 1개에 대해서만 미분을 진행하게 된다. * 그럼 x에 대해 편미분을 진행하면 y는 어떻게 될까? 상수처럼 취급되어 사라지게 된다. * 예제를 통해서 알아보도록 하겠습니다. 1) $f(x) ..

안녕하십니까 다제입니다. 오늘은 딥러닝의 기초적인 개념에 대해서 학습을 진행토록 하겠습니다. 목차 1. 딥러닝 & 인공지능 정의 2. 딥러닝은 왜 갑자기 인기있는가? 3. 딥러닝과 머신러닝의 차이는 무엇인가? 4. 딥러닝의 구성 5. 활성화 함수 1. 딥러닝 & 인공지능 정의 1-1. 딥러닝의 정의 2개 이상의 Hidden Layer를 가지는 다층 신경망으로써 신경망을 학습할 때 손실 함수(Loss function)를 통해 예측값과 실제값의 차이(로스값)를 평가하고 역전파[경사 하강법(Gradient Descent)]을 통해 최적의 가중치, bias를 찾아 로스값을 최소화하는 학습 방법 1-2. 인공지능의 정의 인간의 지능으로 할 수 있는 사고, 학습, 자기 개발 등을 컴퓨터가 할 수 있도록 하는 방법을..

안녕하십니까 다제입니다. 오늘은 햇갈리는 선형과 비선형개념에 대해서 알아보고 개념을 잡는 시간을 갖도록 하겠습니다. 간단한 질문을 하고 넘어가도록 하겠습니다. 여기서 왼쪽이 선형모델일까요? 오른쪽이 선형모델일까요? 정답은 둘다 선형모델로 표현이 가능하며, 선형모델이 될 수 있습니다. 오잉? 이게 무슨 말이야? 라고 말씀하실 수 있습니다. 흔히 영상이나 블로그들을 보시면 오른쪽에 있는 그래프를 선형관계에 있다고 말을 하는 경우 많기 때문입니다. 그렇다면 선형의 정의는 무엇일까요? 1. 선형모델이란? -. 선형모델이란 "머신러닝 공식에서 계수들이 선형결합의 관계에 있을 때의 모델"을 말합니다. -. 선형결합이란 "두개의 벡터의 합"을 의미합니다. -. 또한, 선형모델은 언제나 직선모양으로 그려지지 않습니다...

[ 왜 AutoEncoder를 사용하는가? ] -. 2000년 초반 AE가 발명되기 전, 차원을 축소하는 방법론들은 Neighborhood based training을 기반으로 하였다. -. 고차원의 데이터는 공간상에서 특정한 manifold(위치정보)를 가지게 되는데, 이때 데이터 간의 유클리디안 거리는 유의미한 거리 개념이 아닐 가능성이 높다는 사실을 관측하게 되었다. (아래 그림 참조) - . 예를 들어, 아래 그림의 왼쪽 그림처럼 데이터는 특정한 manifold(위치정보)를 가지고 있다. -. 이를 PCA 등 기존의 차원축소 방법은 데이터의 위치정보를 포함하지 못하는 단점이 있다. -. 또한, 기존에는 label이 없이도 이미지를 일정 크기의 벡터로 자동 표현할 수 있는 방법이 없었다. -. 이러..

안녕하십니까 다제입니다. 저희는 지금 컴퓨터가 이미지를 인식하는 과정(Object recognition)에 대해서 학습을 진행하고 있습니다. 지난 시간까지는 CNN 등을 통해 사진 속에 특정한 객체가 있는지 없는지 확인하는 Image classification에 대해서 학습하였습니다. 이번 시간에는 1. 햇갈리는 Object classification, Localization, Detection의 개념과 2. object Segmentation과 Augumentation에 대해서 학습해보겠습니다. 1. 햇갈리는 Object classification, Localization, Detection의 개념 컴퓨터가 이미지를 학습하는 과정을 위와 같은 순서로 발전하고 있습니다. 1) Image classific..

보호되어 있는 글입니다.