코딩일기

안녕하십니까 다제입니다. 오늘은 Hugginface Tokenizer에 special token을 추가하는 것에 대해서 한번 배워보고자 합니다. 언어모델은 크게 Encoder 계열, Decoder 계열, Encoder-Decoder 계열로 구분할 수 있습니다. 그러나, Tokenizer의 기준으로는 Encoder 계열, Decoder 계열로 나눌 수 있으며, 필요에 따라서는 special token을 추가하여 학습을 진행할 수도 있습니다. 그런데, Encoder 계열, Decoder 계열의 Tokenizer에 따라 special token을 추가하는 방법이 약간 상이 합니다. 아래와 같이 추가하는 방법을 정리해 놓았으니, 참고하시어 연구하시는데 조금이나 시간을 절약하시기 바랍니다. 1. Decoder(G..

보호되어 있는 글입니다.

안녕하세요 다제입니다. 오늘은 인공지능 모델 훈련이 끝났는지 매번 확인하러 들어가는 것이 귀찮기에 슬랙으로 알람이 오도록 설정하였습니다. 여러분들도 아시면 좋을 것 같아서, 한땀한땀 이미지를 캡쳐하여 준비했습니다. 여기 나온 그대로 따라만 하시면 되도록 자세하게 기재하였습니다. 바로 시작하겠습니다. 먼저, 알람을 받을 새로운 slack workspace가 필요합니다. 해당 링크로 들어가시면 아래와 같은 그림처럼 화면이 바뀌게 됩니다. 1. Create an app에서 From scratch를 클릭합니다. 2. Name app & choose workspace에서 Sign into a different workspace를 클릭합니다. 3. 회사 계정 또는 자신의 슬랙과 연동된 google 계정으로 로그인을..

안녕하십니까 다제입니다. 요즘 open source를 디버깅하는 연습을 진행하고 있습니다. 그중에서도 facebook의 parlai 프로젝트를 선택하여 진행을 하고 있는데요 생각보다 쉽지 않고, 코드가 길고 복잡하게 패키징 되어 있어서 상당히 난항을 겪고 있지만 하나씩 풀어가보는 중입니다. 오늘은 새로운 데이터셋을 추가하는 방법에 대해서 먼저 알아보려고 합니다. parlai는 다양한 데이터셋을 다운 받을 수 있도록 parlai api를 통해서 세팅을 해 놓았습니다. 그래서 바로 다운을 받아서 실험하고 테스트 해볼 수 있는데요. 제가 테스트 하고 싶은데 데이터가 없는 경우가 생길 수 있습니다. 이럴때 어떻게 추가해야하는지 공부를 진행하였고, 많은 분들이 궁금해하실 수 있기에 이렇게 포스팅을 진행하게 되었습..

안녕하십니까 다제 입니다. 오늘은 iter와 next에 대해서 알아보도록 하겠습니다. iter는 반복을 끝낼 값을 지정하면 특정 값이 나올 때 반복을 끝나게 됩니다. 이 경우에는 반복 가능한 객체 대신 호출 가능한 객체를 넣어줍니다. 이 말은 for문, while문 같은 구조로 작성하지 않아도 된다는 것을 의미합니다. 위에서 dialog_json.values()는 리스트인데, 저 리스트를 순회하겠다는 뜻이 됩니다. iter(호출가능한객체, 반복을끝낼값) 또한, iter는 끝내는 조건을 줄 수도 있습니다. 만약, 반복을 끝낼 값을 지정하지 않으면 어떻게 될까요? 네, 맞습니다. dialog_json.values()의 값을 모두 순회하고 종료되게 됩니다. next는 다음 단계로 코드가 진행되도록 알려주는 것..

https://www.daleseo.com/python-yield/ 파이썬의 yield 키워드와 제너레이터(generator) Engineering Blog by Dale Seo www.daleseo.com 안녕하십니까 다제입니다. 오늘은 yield가 무엇인지 공부를 하게 되었습니다.

안녕하십니까 다제입니다. 오늘은 진짜 오랫만에 시간을 내어 업무 관련되지 않은 책을 읽게 되었습니다. "Demand"라는 책이며, CEO가 읽어야할 필수 책 중에 하나라고 합니다. 이 책에서는 크게 4가지에 대해서 이야기해주었습니다.(지극히 개인적인 관점) 1. 수요를 무엇이라고 정의 할 수 있는가? 2. 수요는 왜 생기는가? 3. 수요의 종류는 무엇이 있는가? 4. 분명히 논리적으로 잘 접근했는데 회사가 왜 어렵고, 그 어려움을 어떤 식으로 극복했는가? 특히 가장 인상 깊었던 것은 넥플릭스가 어떻게 생겨났는지, 또 어떻게 성장했는지를 알 수 있어서 매우 재미있게 읽었던 책입니다. 그러나, CEO와 전략팀의 관점에서 기재 되어 있다보니 공감이 가지 않는 부분도 상당 부분 있었습니다. 추후 제가 전략팀에서..

안녕하세요 다제입니다. 오늘은 screen에 대해서 설명을 드려 볼까 합니다. screen이라는 것은 서버에서 우리가 작업을 할때 종종 vpn, 인터넷, 서버의 문제로 다운이 되는 경우가 있는데요 노트북이 다운 되더라도 훈련 시키고 있는 인공지능 모델이 종료되지 않도록 도와주는 라이브러리 입니다. 일종의 노허브 같은 거라고 생각하시면 됩니다. # screen의 현황을 보여주는 명령어 screen -ls # 새로운 스크린 만들기 # screen에서는 새로운 세션 만들기로 주로 설명한다. # 스크린이름은 내가 만들고 싶은 것으로 만들면 된다. screen -S 스크린이름 동일한 스크린을 만들게 되면, 스크린 앞에 붙힌 숫자로 구분하게 됩니다. # screen 삭제하는 명령어 screen -X -S 스크린이름..

안녕하십니까 다제입니다. 오늘은 이미지 분야에서 사용되는 다양한 Loss에 대해서 알아보고자 합니다. 이미지 분야에서 먼저 Deep Metric Learning이라는 표현이 자주 사용됩니다. 해당 용어가 무엇인지 찾아도 잘 안나오셨을텐데 이부분 먼저 살펴본 후 Arcface와 나머지 Loss들에 대해서 살펴보도록 하겠습니다. 여기서 Metric은 거리를 의미하게 되고 수학에서 거리는 함수를 의미합니다. 예를 들어, sin, cosin도 두 점 간의 거리를 수식으로 표현하는 것처럼 말이죠 이러한 Metric function은 입력을 받고, 추력으로 0 ~ 무한대의 실수 값을 리턴해주며 아래와 같은 3가지 조건을 만족해야 거리함수가 됩니다. 조건1 : distance(x, y) = 0 == x = y -> ..

학습 일자 : 학습 내용 : 참조 링크 : 학습 일자 : 2022.05.04 학습 내용 : super() 참조 링크 : 학습 일자 : 2022.05.04(수) 학습 내용 1) clipcap 코드 리뷰 할때 view 함수를 보게 됨 prefix_projections = self.clip_project(prefix).view(-1, self.prefix_length, self.gpt_embedding_size) 2) view 함수 -. 정의 : Returns a new tensor with the same data as the self tensor but of a different shape. -. example >>> x = torch.randn(4, 4) >>> x.size() torch.Size([4,..