코딩일기

보호되어 있는 글입니다.

안녕하십니까 다제입니다. 오늘은 배치 정규화에 대해서 살펴보도록 하겠습니다. 배치 정규화는 기울기 소실(Gradient Vainshing)과 폭주(Exploding)을 극복하기 위한 하나의 방안으로 사용됩니다. 이 외에도 가중치 초기화(Weight Initializaion), 층정규화(layer Normaliztion) 등으로 기울기 소실과 폭주를 최소화 할 수 있습니다. 혹시 몰라서 말씀드리면, 딥러닝에서 역전파하는 과정에서 기울기 소실과 폭주가 일어나면, 해당 부분은 학습이 원활히 이루어지지 않는 경향을 보이기 때문에 주의가 필요합니다. 그럼 배치 정규화는 무엇인가? 어느 타이임에 넣어야하고, 어떤 종류를 우리가 제작하는 모델에게 적용을 해야할까요? 하나씩 찬찬히 알아보도록 하겠습니다. 아! 해당 포..

안녕하십니까 다제입니다. 오늘은 딥러닝에서 weight Update와 Batch, Batch_size의 관계에 대해서 이야기를 해보고자 합니다. 평소 많이 듣던 이야기이고 너무나 당연하게 사용하던 개념이기에 기본이 확실히 잡히 않을 수 있다고 생각을 했습니다. 최근 읽은 Batch normalization: Accelerating deep network training by reducing internal covariate shift (PMLR 2015)에서도 이야기하겠지만, 먼저 간단히 짚고 넘어가보겠습니다. 일단, batch_size와 batch가 무엇일까요? 사진 10,000장이 있다고 해보겠습니다. 이 사진을 한번에 딥러닝이 학습 할 수 있을까요? 메모리의 한계로 한번에 학습할 수 없습니다. 즉,..

안녕하십니까 다제입니다. 오늘은 Categorical_crossentropy? Sparse_categorical_crossentropy? 가 무엇인지 알아보도록 하겠습니다. 특히 Tensorflow Certificate 시험을 볼 때 위 개념을 물어보는 경우가 많습니다. 이에, 한번 정리를 해서 여러분과 공유하고 싶었습니다. 함께 공부해보시죠! 분류는 이중분류와 다중분류가 있으며, 분류 문제에서 사용할 수 있는 loss값은 binary_crossentropy, Categorical_crossentropy, Sparse_categorical_crossentropy가 있습니다. 그럼 도대체 언제 저 녀석들을 사용해야할까요? 일단, binary_crossentropy는 이름에서도 힌트를 얻을 수 있듯 sigm..

안녕하십니까 다제입니다. 오늘은 딥러닝 코드를 보다보면 자주 등장하는 np.newaxis라는 함수에 대해서 알아보도록 하겠습니다. 하도 자주나와서 하나 포스팅하기로 하였습니다. 1. np.newaixs란 ? -. np 행렬의 차원을 확장하는 함수 2. 사용방법 1) 기본 사용법 # 1차원 array를 만듭니다. In [7]: arr = np.arange(1, 5) In [8]: arr.shape Out[8]: (4,) # 결과 # array[1 2 3 4] # make it as row vector by inserting an axis along first dimension In [9]: row_vec = arr[np.newaxis, :] In [10]: row_vec.shape Out[10]: (1, ..

W​eek 1: Minimal character-level language model with a Vanilla Recurrent Neural Network, in Python/numpy (GitHub: karpathy) The Unreasonable Effectiveness of Recurrent Neural Networks (Andrej Karpathy blog, 2015) d​eepjazz (GitHub: jisungk) Learning Jazz Grammars (Gillick, Tang & Keller, 2010) A Grammatical Approach to Automatic Improvisation (Keller & Morrison, 2007) Surprising Harmonies (Pache..

Hyperparameter tuning, Batch Normalization, Programming Frameworks 질문 1. If searching among a large number of hyperparameters, you should try values in a grid rather than random values, so that you can carry out the search more systematically and not rely on chance. True or False? 질문 2. Every hyperparameter, if set poorly, can have a huge negative impact on training, and so all hyperparameters a..

안녕하십니까 다제입니다. 오늘은 Andrew Ng 교수님의 유튜브 Logistic Regression Gradient Descent (C1W2L09) 강의 중 아래 노란색으로 마킹한 부분이 이해가 되지 않아서 깊게 파보았습니다. 먼저 da에 대해서 수식을 풀어서 기재해 보겠습니다. $$ 'da = -\frac{yloga + (1-y)log(1-a)}{da}$$ 여기에서 $loga$에 지수 e가 생략되어 있기에 $lna$라고 생각하시면 됩니다. 먼저 결론부터 말씀을 드리면, $lna$를 미분하게 되면 $\frac{1}{a}$ 이고, $ln(1-a)$를 미분하게 되면 $\frac{1}{1-a}$ 이 됩니다. 그렇기에 아래와 같은 식으로 변경될 수 있는 것입니다. $$ 'da = -\frac{y}{a} + \..

보호되어 있는 글입니다.

안녕하십니까 다제 입니다. 오늘부터는 딥러닝 이미지처리에 대해서 포스팅을 진행하고자 합니다. 딥러닝의 이미지처리는 Convolutional Neural Network(CNN) 이전과 이후로 나눌 수 있습니다. CNN이란? 이미지에서 인접한 픽셀간의 연관성을 학습시키기 위해 이미지를 convolution하여 인공신경망 학습을 진행하는 방법입니다. CNN 이전에는 Fully-connected Multi-layered Neural Network(FNN) 학습 방식을 사용하였으나, 여러 가지 문제점이 있었다고 하네요. 과연 어떤 문제점이 있었고, CNN은 어떻게 이를 극복하였고, 작동원리와 코드는 어떻게 되는지 한번에 쭉~ 살펴보도록 하겠습니다. (해당 포스팅을 하며, 참고하였던 링크는 하단에 기재하였습니다.)..