코딩일기

나스 gitlab setting 순서 1. 도메인 구매 2. 도메인과 Cloudflare 연결 3. 공유기 포트 세팅 4. reverse proxy settings 5. gitlab docker 설치 및 실행 6. 느낀점 : 역시 docs가 짱이다.. chatgpt를 너무 맹신하면 안된다. 7. 참고한 사이트 - https://docs.gitlab.com/ee/install/docker.html#install-gitlab-using-docker-engine GitLab Docker images | GitLab GitLab product documentation. docs.gitlab.com - https://williamlam.com/2023/09/how-to-setup-private-gitlab-on-..

안녕하세요 다제 입니다. 최근 facebook에서 bb3 등이 나오면서 챗봇에 대한 관심이 급증하고 있습니다. 물론, 성능적인 이슈로 많은 글들이 reddit에 올라오고 있지만, 그래도 인터넷에서 검색한 결과를 가지고 그정도 이야기를 한다는 것이 참 대단하다고 개인적으로는 생각하고 있습니다. facebook이 어떻게 bb3를 만들었는지는 추후 다룰 예정이고, 오늘은 blenderbot에서 인터넷 검색을 할 수 있도록 도와주는 server에 대해서 코드를 리뷰하는 시간을 갖도록 하겠습니다. 해당 코드는 https://github.com/JulesGM/ParlAI_SearchEngine 여기서 바로 보실 수 있으며, 이분이 작성한 코드를 리뷰한 것입니다. 여기서 들어가시면 어떻게 설치하고 사용하는지 방법이 ..

안녕하세요 오랫만에 글을 쓰게 됩니다. notion을 별도로 관리를 하다보니 블로그에 글을 쓰는 빈도가 너무 적어지게 되는데요 그래도 꾸준히 써서 좋은 글을 여러분께 공유드리도록 최선을 다하겠습니다! 오늘은 curl이라는 것을 알아보고자합니다. 요즘 크롤링을 되게 많이 하고 관련된 영상들도 많이 올라오는데요. curl을 이용해서도 정보를 쉽고 빠르게 가져올 수 있더라구요! 그래서 curl에 대해서 공부한 내용을 공유 드리겠습니다. curl을 계속 사용하면서 추가되는 내용을 지속적으로 업데이트 하도록 하겠습니다. 오늘 목차를 크게 이렇게 잡아보았습니다. 1. curl이 무엇인지? 2. 어떤 장점이 있는지? 3. 실제 사용하는 방법 사실 이런것들을 조사할 때는 저는 "curl doc" 라고 검색을 진행합니다..

안녕하세요 다제입니다. 오늘은 코드를 뜯어보다가 발견한 Slurm, EncoderWrapper, nn.ModuleList에 대해서 알아보도록 하겠습니다. Slurm Slurm이란? Slurm 은 유저(사용자)가 서버에 제출한 task(job)을 스케줄링 해주는 프로그램입니다. 유저가 GPU 자원을 요청하면 자원을 빌려주거나, 가용한 자원이 없으면 대기시키는 역할을 합니다. 특히 여러 대의 서버를 엮어서 Slurm을 사용하는 경우가 많은 것을 이번에 처음 알게 되었습니다. Slurm의 장점 -. 유저는 노드들을 돌며 일일이 nvidia-smi, htop을 찍어보면서 어느 GPU가 비었나 확인하지 않아도 됩니다. -. GPU에 모델을 올려놓고, 누가 내 GPU를 사용해 OOM이 뜨지 않을까 노심초사하지 않아..

안녕하십니까 다제입니다. 오늘은 Hugginface Tokenizer에 special token을 추가하는 것에 대해서 한번 배워보고자 합니다. 언어모델은 크게 Encoder 계열, Decoder 계열, Encoder-Decoder 계열로 구분할 수 있습니다. 그러나, Tokenizer의 기준으로는 Encoder 계열, Decoder 계열로 나눌 수 있으며, 필요에 따라서는 special token을 추가하여 학습을 진행할 수도 있습니다. 그런데, Encoder 계열, Decoder 계열의 Tokenizer에 따라 special token을 추가하는 방법이 약간 상이 합니다. 아래와 같이 추가하는 방법을 정리해 놓았으니, 참고하시어 연구하시는데 조금이나 시간을 절약하시기 바랍니다. 1. Decoder(G..

보호되어 있는 글입니다.

안녕하세요 다제입니다. 오늘은 인공지능 모델 훈련이 끝났는지 매번 확인하러 들어가는 것이 귀찮기에 슬랙으로 알람이 오도록 설정하였습니다. 여러분들도 아시면 좋을 것 같아서, 한땀한땀 이미지를 캡쳐하여 준비했습니다. 여기 나온 그대로 따라만 하시면 되도록 자세하게 기재하였습니다. 바로 시작하겠습니다. 먼저, 알람을 받을 새로운 slack workspace가 필요합니다. 해당 링크로 들어가시면 아래와 같은 그림처럼 화면이 바뀌게 됩니다. 1. Create an app에서 From scratch를 클릭합니다. 2. Name app & choose workspace에서 Sign into a different workspace를 클릭합니다. 3. 회사 계정 또는 자신의 슬랙과 연동된 google 계정으로 로그인을..

안녕하십니까 다제입니다. 요즘 open source를 디버깅하는 연습을 진행하고 있습니다. 그중에서도 facebook의 parlai 프로젝트를 선택하여 진행을 하고 있는데요 생각보다 쉽지 않고, 코드가 길고 복잡하게 패키징 되어 있어서 상당히 난항을 겪고 있지만 하나씩 풀어가보는 중입니다. 오늘은 새로운 데이터셋을 추가하는 방법에 대해서 먼저 알아보려고 합니다. parlai는 다양한 데이터셋을 다운 받을 수 있도록 parlai api를 통해서 세팅을 해 놓았습니다. 그래서 바로 다운을 받아서 실험하고 테스트 해볼 수 있는데요. 제가 테스트 하고 싶은데 데이터가 없는 경우가 생길 수 있습니다. 이럴때 어떻게 추가해야하는지 공부를 진행하였고, 많은 분들이 궁금해하실 수 있기에 이렇게 포스팅을 진행하게 되었습..

안녕하십니까 다제 입니다. 오늘은 iter와 next에 대해서 알아보도록 하겠습니다. iter는 반복을 끝낼 값을 지정하면 특정 값이 나올 때 반복을 끝나게 됩니다. 이 경우에는 반복 가능한 객체 대신 호출 가능한 객체를 넣어줍니다. 이 말은 for문, while문 같은 구조로 작성하지 않아도 된다는 것을 의미합니다. 위에서 dialog_json.values()는 리스트인데, 저 리스트를 순회하겠다는 뜻이 됩니다. iter(호출가능한객체, 반복을끝낼값) 또한, iter는 끝내는 조건을 줄 수도 있습니다. 만약, 반복을 끝낼 값을 지정하지 않으면 어떻게 될까요? 네, 맞습니다. dialog_json.values()의 값을 모두 순회하고 종료되게 됩니다. next는 다음 단계로 코드가 진행되도록 알려주는 것..

https://www.daleseo.com/python-yield/ 파이썬의 yield 키워드와 제너레이터(generator) Engineering Blog by Dale Seo www.daleseo.com 안녕하십니까 다제입니다. 오늘은 yield가 무엇인지 공부를 하게 되었습니다.