코딩일기

안녕하세요 다제 입니다. 최근 facebook에서 bb3 등이 나오면서 챗봇에 대한 관심이 급증하고 있습니다. 물론, 성능적인 이슈로 많은 글들이 reddit에 올라오고 있지만, 그래도 인터넷에서 검색한 결과를 가지고 그정도 이야기를 한다는 것이 참 대단하다고 개인적으로는 생각하고 있습니다. facebook이 어떻게 bb3를 만들었는지는 추후 다룰 예정이고, 오늘은 blenderbot에서 인터넷 검색을 할 수 있도록 도와주는 server에 대해서 코드를 리뷰하는 시간을 갖도록 하겠습니다. 해당 코드는 https://github.com/JulesGM/ParlAI_SearchEngine 여기서 바로 보실 수 있으며, 이분이 작성한 코드를 리뷰한 것입니다. 여기서 들어가시면 어떻게 설치하고 사용하는지 방법이 ..

안녕하세요 오랫만에 글을 쓰게 됩니다. notion을 별도로 관리를 하다보니 블로그에 글을 쓰는 빈도가 너무 적어지게 되는데요 그래도 꾸준히 써서 좋은 글을 여러분께 공유드리도록 최선을 다하겠습니다! 오늘은 curl이라는 것을 알아보고자합니다. 요즘 크롤링을 되게 많이 하고 관련된 영상들도 많이 올라오는데요. curl을 이용해서도 정보를 쉽고 빠르게 가져올 수 있더라구요! 그래서 curl에 대해서 공부한 내용을 공유 드리겠습니다. curl을 계속 사용하면서 추가되는 내용을 지속적으로 업데이트 하도록 하겠습니다. 오늘 목차를 크게 이렇게 잡아보았습니다. 1. curl이 무엇인지? 2. 어떤 장점이 있는지? 3. 실제 사용하는 방법 사실 이런것들을 조사할 때는 저는 "curl doc" 라고 검색을 진행합니다..

안녕하세요 다제입니다. 오늘은 코드를 뜯어보다가 발견한 Slurm, EncoderWrapper, nn.ModuleList에 대해서 알아보도록 하겠습니다. Slurm Slurm이란? Slurm 은 유저(사용자)가 서버에 제출한 task(job)을 스케줄링 해주는 프로그램입니다. 유저가 GPU 자원을 요청하면 자원을 빌려주거나, 가용한 자원이 없으면 대기시키는 역할을 합니다. 특히 여러 대의 서버를 엮어서 Slurm을 사용하는 경우가 많은 것을 이번에 처음 알게 되었습니다. Slurm의 장점 -. 유저는 노드들을 돌며 일일이 nvidia-smi, htop을 찍어보면서 어느 GPU가 비었나 확인하지 않아도 됩니다. -. GPU에 모델을 올려놓고, 누가 내 GPU를 사용해 OOM이 뜨지 않을까 노심초사하지 않아..

안녕하세요 다제입니다. 오늘은 전처리를 진행하다가 한번도 만나보지 못한 에러가 있어서 정리 하고자 합니다. 제목에 있는 에러가 발생되었는데, 최근에 utf-8로 모두 인코딩 되어 있어서 잘 발생되지 않는 에러인데 이번 데이터를 전처리하는 과정에서 발생하였습니다. 해결 방법은 간다합니다. 작성하신 코드 맨 윗 줄에 아래와 같이 입력하시면 해결됩니다. # -*- coding: utf-8 -*- 감사합니다.

안녕하십니까 다제 입니다. 오늘은 json load 시, 발생되는 에러에 대해서 살펴보고 이를 해결하는 방법에 대해서 정리해보았습니다. jsonl 파일에서 한줄 한줄을 json으로 불러오는 과정에서 이러한 이슈가 발생되었습니다. json.decoder.jsondecodeerror: expecting property name enclosed in double quotes: line 1 column 2 (char 1) attributeerror: 'str' object has no attribute 'read' 이러한 문제가 발생된 원인은 제가 가지고 있는 데이터에서 '"#@이름#@" 아~ 오늘 어디가지?' 라는 데이터들이 있는 이러한 데이터들 때문에 load되다가 중간중간에 에러가 발생되는 현상이 일어났습..

보호되어 있는 글입니다.

안녕하십니까 다제입니다. 오늘의 에러를 정리하기 위해 포스팅 하였습니다. TypeError: the JSON object must be str, bytes or bytearray, not TextIOWrapper 위와 같은 TypeError: the JSON object must be str, bytes or bytearray, not TextIOWrapper 에러가 발생하게 될때가 있는데 저는 json을 불러오는 과정에서 에러가 발생하였습니다. json.loads -> json.load로 불러오면 에러를 해결할 수 있습니다. 간단한 내용이라서 길게 적지 않도록 하겠습니다. 감사합니다.

안녕하십니까 다제입니다. 오늘은 Hugginface Tokenizer에 special token을 추가하는 것에 대해서 한번 배워보고자 합니다. 언어모델은 크게 Encoder 계열, Decoder 계열, Encoder-Decoder 계열로 구분할 수 있습니다. 그러나, Tokenizer의 기준으로는 Encoder 계열, Decoder 계열로 나눌 수 있으며, 필요에 따라서는 special token을 추가하여 학습을 진행할 수도 있습니다. 그런데, Encoder 계열, Decoder 계열의 Tokenizer에 따라 special token을 추가하는 방법이 약간 상이 합니다. 아래와 같이 추가하는 방법을 정리해 놓았으니, 참고하시어 연구하시는데 조금이나 시간을 절약하시기 바랍니다. 1. Decoder(G..

보호되어 있는 글입니다.

안녕하십니까 다제입니다. 오늘은 Server에 Jupyter Notebook을 세팅하는 방법에 대해서 포스팅을 하려고 합니다. 코드 위주로 다루려고 하니 참고하시면 좋을 듯 싶습니다. 1. Terminal에서 연결할 서버로 들어갑니다. ssh id@ip주소 -p 포트번호 2. 주비터노트북을 설치할 가상환경을 세팅합니다. # env_name : 원하시는 것을 설정하시면 됩니다. conda activate env_name # 아직 실행할 가상환경을 만들지 않았다면, 가상환경 생성부터 # conda에서 파이썬 버전을 변경하는 것은 생각보다 까다롭게 때문에 생성할 때 가장 범용성 있는 버전으로 세팅 conda create -n env_name python=3.8 3. 주피터노트북을 실행합니다. conda ins..