코딩일기

안녕하십니까 다제입니다. 오늘은 배치 정규화에 대해서 살펴보도록 하겠습니다. 배치 정규화는 기울기 소실(Gradient Vainshing)과 폭주(Exploding)을 극복하기 위한 하나의 방안으로 사용됩니다. 이 외에도 가중치 초기화(Weight Initializaion), 층정규화(layer Normaliztion) 등으로 기울기 소실과 폭주를 최소화 할 수 있습니다. 혹시 몰라서 말씀드리면, 딥러닝에서 역전파하는 과정에서 기울기 소실과 폭주가 일어나면, 해당 부분은 학습이 원활히 이루어지지 않는 경향을 보이기 때문에 주의가 필요합니다. 그럼 배치 정규화는 무엇인가? 어느 타이임에 넣어야하고, 어떤 종류를 우리가 제작하는 모델에게 적용을 해야할까요? 하나씩 찬찬히 알아보도록 하겠습니다. 아! 해당 포..

안녕하십니까 다제입니다. 최근 사내 용어에 익숙해지기 위해 다양한 미팅에 참여하고 있습니다. 회의 중 proxy server 라는 용어가 나오게 되었고, 꽤 긴 시간, 반복적으로 해당 단어가 사용되었습니다. 그러나, 저는 Backend에 대한 정보가 부족하다 보니 회의에서 일부분 내용을 이해할 수 없었습니다. 이에, proxy server가 무엇인지 개념적인 부분에 대해서 알아보고자 합니다. (구성하는 부분은 제외합니다.) 1. proxy server 정의 -. 클라이언트가 자신을 통해서 다른 네트워크 서비스에 간접적으로 접속할 수 있게 해주는 컴퓨터 시스템이나 응용 프로그램을 가리킨다. → 출처 : 위키백과 -. 즉, 서버와 클라이언트 사이에 중계기로서 대리로 통신을 수행한다. 2. proxy serv..

안녕하십니까 다제입니다. 오늘은 지난 시간에 이어 weight & bias sweeps에 대한 기능을 알아보도록 하겠습니다. 지난 번 글을 못보신 분들은 아래 링크를 참고해주시면 감사드리겠습니다. 2021.12.07 - [분류 전체보기] - [머신러닝 파이프라인] HPO W&B Sweeps(feat. ) [머신러닝 파이프라인] HPO W&B Sweeps(feat. ) 코딩일기 [머신러닝 파이프라인] HPO W&B Sweeps(feat. ) 본문 카테고리 없음 [머신러닝 파이프라인] HPO W&B Sweeps(feat. ) J.daje J.daje 2021. 12. 7. 23:56 Prev 1 2 3 4 5 6 ··· 278 Next daje0601.tistory.com 1. 학습목표 -. HPO(Hype..

안녕하십니까 다제입니다. 오늘은 머신러닝 파이프라인을 쉽고 유용하게 관리할 수 있는 툴을 소개하고자 합니다. 해당 내용은 inflearn에서 수업을 듣고 제가 직접 정리한 내용입니다. Tensorflow의 Tensorboard와 비슷한데, 이 도구는 Framework indepedent한 성격을 지니고 있어 Tensorflow, pytorch 등에서도 자유롭게 사용할 수 있습니다. 1. 실험관리 개요 -. 실험관리를 통해 실험내역을 체계적으로 관리하고자 합니다. -. 머신러닝은 열심히하고 시간을 투자한다고 해서 성공하지 않습니다. 실패를 했다면 그 실패 결과를 가지고도 결과보고서를 만들고 성과로 입증하는 과정이 필요합니다. 이에 실험관리는 필수입니다. 2. Weights and Biases 소개 -. W..

안녕하십니까 다제입니다. 오늘은 전통 통계와 머신러닝의 차이점이 무엇인지에 대해서 생각해보았습니다. 해당 포스팅은 towards blog post, cognitive class youtube 영상을 참고하여 작성되었습니다. ◆ 결론 -. 통계와 기계학습의 가장 큰 차이점은 설명 가능성입니다. * 여기에서 말하는 설명 가능성이란, 수학적으로 증명이 가능하는 설명 가능성을 의미합니다. -. 통계는 수학적으로 설명이 가능하나 기계학습은 아직 수학적으로 모든 것이 설명 가능하지 않습니다. ◆ 개요 -. 머신러닝 학습 중 통계를 배제하고 이야기할 수 없었습니다. -. 이에, 각각의 차이점에 대해서 알아보는 시간을 갖고자 합니다. ◆ 정의 -. 기계학습 : 표준 프로그래밍 방식에 의존하지 않고 데이터에서 학습할 수..

안녕하세요 다제입니다. 오늘부터 책을 하나 읽고 있습니다. 머리 속 흩어져있는 개념들을 하나로 묶어주는 작업이 필요하다 생각하여 교수님들의 추천을 받아 본 서적을 읽게 되었습니다. 이 곳에서는 책을 읽으면서 느낀 점과 좋은 질문이라고 생각되는 것을 정리해 나가보려고 합니다. 질문과 답의 형식으로 기재하였으며, 답은 접는 글로 숨겨놓았습니다. 생각해보시고, 답을 확인하시는 쪽으로 활용하면 좋을듯합니다. 1. 머신러닝을 어떻게 정의 할 수 있나요? 더보기 머신러닝은 데이터로부터 학습할 수 있는 시스템을 만드는 것입니다. 여기서 학습이란 어떤 작업에서 주어진 성능 지표가 더 나아지는 것을 의미합니다. 2. 머신러닝이 도움을 줄 수 있는 문제 유형 네 가지를 말해주세요 더보기 1) 명확한 해결책이 없는 복잡한 ..

안녕하십니까 다제입니다. 오늘은 SQL 복습 5일차 입니다. 오늘도 HackerRank에서 문제를 풀어보았는데요 함께 살펴보도록 하시죠! 7. harry-potter-and-wands 문제의 해석 : 해리포터와 친구들은 찰리의 오래되고 부셔진 지팡이를 교체하기 위해 론과 올리벤더 지팡이 가게를 방문했다. 헤르미온느는 지팡이를 고르는 최선의 방법으로서 non-evil 지팡이이면서 높은 Power와 Age 특성을 갖는 지팡이를 사기 위해 필요한 최소한의 돈(gold galleons)을 고르는 방법을 제안했다. 이 방법을 적용했을 때, 론이 관심있어 할 만한 지팡이의 id, age, coins_needed, power 값들을 출력해라. 이 때 1차적으로 정렬 기준은 power 기준으로 내림차순 정렬하며, 동일..

안녕하십니까 다제입니다. 오늘은 SQL 복습 4일차 입니다. 오늘도 HackerRank에서 문제를 풀어보았는데요 함께 살펴보도록 하시죠! 7. harry-potter-and-wands 문제의 해석 : 해리포터와 친구들은 찰리의 오래되고 부셔진 지팡이를 교체하기 위해 론과 올리벤더 지팡이 가게를 방문했다. 헤르미온느는 지팡이를 고르는 최선의 방법으로서 non-evil 지팡이이면서 높은 Power와 Age 특성을 갖는 지팡이를 사기 위해 필요한 최소한의 돈(gold galleons)을 고르는 방법을 제안했다. 이 방법을 적용했을 때, 론이 관심있어 할 만한 지팡이의 id, age, coins_needed, power 값들을 출력해라. 이 때 1차적으로 정렬 기준은 power 기준으로 내림차순 정렬하며, 동일..

안녕하십니까 다제입니다. 오늘은 딥러닝에서 weight Update와 Batch, Batch_size의 관계에 대해서 이야기를 해보고자 합니다. 평소 많이 듣던 이야기이고 너무나 당연하게 사용하던 개념이기에 기본이 확실히 잡히 않을 수 있다고 생각을 했습니다. 최근 읽은 Batch normalization: Accelerating deep network training by reducing internal covariate shift (PMLR 2015)에서도 이야기하겠지만, 먼저 간단히 짚고 넘어가보겠습니다. 일단, batch_size와 batch가 무엇일까요? 사진 10,000장이 있다고 해보겠습니다. 이 사진을 한번에 딥러닝이 학습 할 수 있을까요? 메모리의 한계로 한번에 학습할 수 없습니다. 즉,..

안녕하십니까 다제입니다. 오늘은 Categorical_crossentropy? Sparse_categorical_crossentropy? 가 무엇인지 알아보도록 하겠습니다. 특히 Tensorflow Certificate 시험을 볼 때 위 개념을 물어보는 경우가 많습니다. 이에, 한번 정리를 해서 여러분과 공유하고 싶었습니다. 함께 공부해보시죠! 분류는 이중분류와 다중분류가 있으며, 분류 문제에서 사용할 수 있는 loss값은 binary_crossentropy, Categorical_crossentropy, Sparse_categorical_crossentropy가 있습니다. 그럼 도대체 언제 저 녀석들을 사용해야할까요? 일단, binary_crossentropy는 이름에서도 힌트를 얻을 수 있듯 sigm..