코딩일기

안녕하세요 다제입니다. 오늘은 인공지능 모델 훈련이 끝났는지 매번 확인하러 들어가는 것이 귀찮기에 슬랙으로 알람이 오도록 설정하였습니다. 여러분들도 아시면 좋을 것 같아서, 한땀한땀 이미지를 캡쳐하여 준비했습니다. 여기 나온 그대로 따라만 하시면 되도록 자세하게 기재하였습니다. 바로 시작하겠습니다. 먼저, 알람을 받을 새로운 slack workspace가 필요합니다. 해당 링크로 들어가시면 아래와 같은 그림처럼 화면이 바뀌게 됩니다. 1. Create an app에서 From scratch를 클릭합니다. 2. Name app & choose workspace에서 Sign into a different workspace를 클릭합니다. 3. 회사 계정 또는 자신의 슬랙과 연동된 google 계정으로 로그인을..

안녕하세요 다제입니다. 오늘은 DialoGPT에 대해서 공부해보도록 하겠습니다. 본문에 대한 해석과 함께 이것을 풀어서 설명하는 식으로 해당 리뷰는 진행될 예정입니다. " → " 해당 기호와 함께 기재되어 있는 것은 필자가 직접 실험하고 테스트 한 내용을 논문에 이해를 돕기 위해 기재한 것이니 논문의 팩트만 보고 싶다면, " → "로 기재된 라인은 생략해도 됩니다. 또한, 용어 정리가 잠깐 필요할 거 같은데요. 글에서 필자는 블로그 작성자를 의미하고, 저자는 논문의 저자를 의미합니다. DialoGPT 아이디어를 이용하여 필자는 한국어 대화가 가능한 모델을 제작하게 되었는데요 테스트한 결과를 살짝 보여드리겠습니다. 아직 초기 단계 이긴 하나 사람처럼 일상적인 대화는 가능하였습니다. 목차 0. Abstra..

안녕하십니까 다제입니다. 오늘은 SeeKeR에 대해서 논문 리뷰를 진행해보고자 합니다. SeeKeR는 Blenderbot2의 지식적인(Knowledge) 답변을 잘못한다는 단점을 보안하기 위해 제작된 모델이고, Blenderbot3의 Base model로써 사용되는 모델입니다. 이에, 현재 Open-Domain Chatbot을 연구하는 사람으로써 반드시 알아야하는 모델이라고 생각하여 리뷰를 진행하게 되었습니다. 먼저, SeeKeR에 대해 설명 드리기에 앞서 BB2를 복습하고 넘어가도록 하겠습니다. 이 외 FiD, RAG 등의 개념은 모두 이해하고 있다는 전제하에 설명드리는 점 참고 부탁드립니다. 그래도 RAG, FiD에 대해서 간단하게 설명을 드리겠습니다. 일반적으로 Neural Network는 모델이 ..

reference link : https://velog.io/@otzslayer/Ray%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-Python-%EB%B3%91%EB%A0%AC-%EC%B2%98%EB%A6%AC-%EC%89%BD%EA%B2%8C-%ED%95%98%EA%B8%B0

안녕하십니까 다제 입니다. 오늘은 파이썬에서 args가 포함된 스크립트 명령어를 디버깅하는 방법에 대해서 안내 드립니다. Today I am going to show you to debug script commands with args in Python using Vscode. Reference link https://zosystem.tistory.com/282 https://stackoverflow.com/questions/51244223/visual-studio-code-how-debug-python-script-with-arguments Click Debug icon → Click "실행 및 디버그" Click "구성 추가… " Click Python and then You can see the a..

Catastrophic forgetting(파괴적 망각) 현재 Neural Network(인공신경망)은 Single task(단일 과제)에 대해서는 뛰어난 성능을 보이지만, 다른 종류의 task를 학습하면 이전에 학습했던 task에 대한 성능이 현저하게 떨어지는 문제가 있다. 이를 Catastrophic forgetting이라고 한다. 이 현상은 이전 학습 dataset과 새로운 학습 dataset 사이에 연관성이 있더라도 이전 dataset에 대한 정보를 대량으로 손실한다. 요약하자면, Catastrophic forgetting는 Single task에 대해서 뛰어난 성능을 보인 모델을 활용하여 다른 task를 위해 학습했을 때 이전에 학습했던 task에 대한 성능이 현저하게 떨어지는 현상을 말합니다...

사전에 숙지해야할 사항 1. Transformers -. Title : Attention all you need -. link : https://arxiv.org/pdf/1706.03762.pdf -. review : 2021.10.04 - [Paper Reviews] - [논문리뷰] Attention is all you need (feat. Transformer) 2. BERT -. Title : Pre-training of Deep Bidirectional Transformers for Language Understanding -. link : https://arxiv.org/pdf/1810.04805.pdf -. review : 진행 예정 3. Poly-encoders -. Title : archi..

안녕하십니까 다제입니다. 요즘 open source를 디버깅하는 연습을 진행하고 있습니다. 그중에서도 facebook의 parlai 프로젝트를 선택하여 진행을 하고 있는데요 생각보다 쉽지 않고, 코드가 길고 복잡하게 패키징 되어 있어서 상당히 난항을 겪고 있지만 하나씩 풀어가보는 중입니다. 오늘은 새로운 데이터셋을 추가하는 방법에 대해서 먼저 알아보려고 합니다. parlai는 다양한 데이터셋을 다운 받을 수 있도록 parlai api를 통해서 세팅을 해 놓았습니다. 그래서 바로 다운을 받아서 실험하고 테스트 해볼 수 있는데요. 제가 테스트 하고 싶은데 데이터가 없는 경우가 생길 수 있습니다. 이럴때 어떻게 추가해야하는지 공부를 진행하였고, 많은 분들이 궁금해하실 수 있기에 이렇게 포스팅을 진행하게 되었습..

list.sort() 메소드 -. 사본을 만들지 않고 리스트 내부를 변경하여 정렬한다. -. target 객체를 변경하고 새로운 리스트를 생성하지 않았음을 알려주기 위해 None을 반환한다. sorted(list) 메소드 -. 새로운 리스트를 생성해서 반환한다. -. 불변 시퀀스 및 제너레이터를 포함해서 반복 가능한 모든 객체를 인수로 받을 수 있다. -. 입력받은 반복 가능한 객체의 자료형과 무관하게 sorted()함수는 언제나 새로 생성한 리스트를 반환한다. t = list("54321") print(sorted(t)) >>> ["1", "2", "3", "4", "5"] print(t) >>> ['5', '4', '3', '2', '1'] print(t.sort()) >>> ["1", "2", "3..

안녕하십니까 다제 입니다. 오늘은 iter와 next에 대해서 알아보도록 하겠습니다. iter는 반복을 끝낼 값을 지정하면 특정 값이 나올 때 반복을 끝나게 됩니다. 이 경우에는 반복 가능한 객체 대신 호출 가능한 객체를 넣어줍니다. 이 말은 for문, while문 같은 구조로 작성하지 않아도 된다는 것을 의미합니다. 위에서 dialog_json.values()는 리스트인데, 저 리스트를 순회하겠다는 뜻이 됩니다. iter(호출가능한객체, 반복을끝낼값) 또한, iter는 끝내는 조건을 줄 수도 있습니다. 만약, 반복을 끝낼 값을 지정하지 않으면 어떻게 될까요? 네, 맞습니다. dialog_json.values()의 값을 모두 순회하고 종료되게 됩니다. next는 다음 단계로 코드가 진행되도록 알려주는 것..