일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- 코딩테스트
- 딥러닝
- pandas
- SQL
- Codestates
- 열심히
- 선형회귀
- 꾸준히
- bootcamp
- 부트캠프
- 노마드코더
- 파이썬
- leetcode
- 리뷰
- 2021
- 성실히
- selenium
- Ai
- 기초통계
- JavaScript
- 독서
- 코드스테이츠
- MYSQL
- 자료구조
- 주간보고
- 재미져
- 매일매일
- python
- 빅데이터
- yolo
- Today
- Total
목록전체 글 (185)
코딩일기
안녕하세요 오랫만에 글을 쓰게 됩니다. notion을 별도로 관리를 하다보니 블로그에 글을 쓰는 빈도가 너무 적어지게 되는데요 그래도 꾸준히 써서 좋은 글을 여러분께 공유드리도록 최선을 다하겠습니다! 오늘은 curl이라는 것을 알아보고자합니다. 요즘 크롤링을 되게 많이 하고 관련된 영상들도 많이 올라오는데요. curl을 이용해서도 정보를 쉽고 빠르게 가져올 수 있더라구요! 그래서 curl에 대해서 공부한 내용을 공유 드리겠습니다. curl을 계속 사용하면서 추가되는 내용을 지속적으로 업데이트 하도록 하겠습니다. 오늘 목차를 크게 이렇게 잡아보았습니다. 1. curl이 무엇인지? 2. 어떤 장점이 있는지? 3. 실제 사용하는 방법 사실 이런것들을 조사할 때는 저는 "curl doc" 라고 검색을 진행합니다..
안녕하세요 다제입니다. 오늘은 코드를 뜯어보다가 발견한 Slurm, EncoderWrapper, nn.ModuleList에 대해서 알아보도록 하겠습니다. Slurm Slurm이란? Slurm 은 유저(사용자)가 서버에 제출한 task(job)을 스케줄링 해주는 프로그램입니다. 유저가 GPU 자원을 요청하면 자원을 빌려주거나, 가용한 자원이 없으면 대기시키는 역할을 합니다. 특히 여러 대의 서버를 엮어서 Slurm을 사용하는 경우가 많은 것을 이번에 처음 알게 되었습니다. Slurm의 장점 -. 유저는 노드들을 돌며 일일이 nvidia-smi, htop을 찍어보면서 어느 GPU가 비었나 확인하지 않아도 됩니다. -. GPU에 모델을 올려놓고, 누가 내 GPU를 사용해 OOM이 뜨지 않을까 노심초사하지 않아..
안녕하세요 다제입니다. 오늘은 전처리를 진행하다가 한번도 만나보지 못한 에러가 있어서 정리 하고자 합니다. 제목에 있는 에러가 발생되었는데, 최근에 utf-8로 모두 인코딩 되어 있어서 잘 발생되지 않는 에러인데 이번 데이터를 전처리하는 과정에서 발생하였습니다. 해결 방법은 간다합니다. 작성하신 코드 맨 윗 줄에 아래와 같이 입력하시면 해결됩니다. # -*- coding: utf-8 -*- 감사합니다.
안녕하십니까 다제 입니다. 오늘은 json load 시, 발생되는 에러에 대해서 살펴보고 이를 해결하는 방법에 대해서 정리해보았습니다. jsonl 파일에서 한줄 한줄을 json으로 불러오는 과정에서 이러한 이슈가 발생되었습니다. json.decoder.jsondecodeerror: expecting property name enclosed in double quotes: line 1 column 2 (char 1) attributeerror: 'str' object has no attribute 'read' 이러한 문제가 발생된 원인은 제가 가지고 있는 데이터에서 '"#@이름#@" 아~ 오늘 어디가지?' 라는 데이터들이 있는 이러한 데이터들 때문에 load되다가 중간중간에 에러가 발생되는 현상이 일어났습..
보호되어 있는 글입니다.
안녕하십니까 다제입니다. 오늘의 에러를 정리하기 위해 포스팅 하였습니다. TypeError: the JSON object must be str, bytes or bytearray, not TextIOWrapper 위와 같은 TypeError: the JSON object must be str, bytes or bytearray, not TextIOWrapper 에러가 발생하게 될때가 있는데 저는 json을 불러오는 과정에서 에러가 발생하였습니다. json.loads -> json.load로 불러오면 에러를 해결할 수 있습니다. 간단한 내용이라서 길게 적지 않도록 하겠습니다. 감사합니다.
안녕하십니까 다제입니다. 오늘은 Hugginface Tokenizer에 special token을 추가하는 것에 대해서 한번 배워보고자 합니다. 언어모델은 크게 Encoder 계열, Decoder 계열, Encoder-Decoder 계열로 구분할 수 있습니다. 그러나, Tokenizer의 기준으로는 Encoder 계열, Decoder 계열로 나눌 수 있으며, 필요에 따라서는 special token을 추가하여 학습을 진행할 수도 있습니다. 그런데, Encoder 계열, Decoder 계열의 Tokenizer에 따라 special token을 추가하는 방법이 약간 상이 합니다. 아래와 같이 추가하는 방법을 정리해 놓았으니, 참고하시어 연구하시는데 조금이나 시간을 절약하시기 바랍니다. 1. Decoder(G..
보호되어 있는 글입니다.
안녕하십니까 다제입니다. 오늘은 Server에 Jupyter Notebook을 세팅하는 방법에 대해서 포스팅을 하려고 합니다. 코드 위주로 다루려고 하니 참고하시면 좋을 듯 싶습니다. 1. Terminal에서 연결할 서버로 들어갑니다. ssh id@ip주소 -p 포트번호 2. 주비터노트북을 설치할 가상환경을 세팅합니다. # env_name : 원하시는 것을 설정하시면 됩니다. conda activate env_name # 아직 실행할 가상환경을 만들지 않았다면, 가상환경 생성부터 # conda에서 파이썬 버전을 변경하는 것은 생각보다 까다롭게 때문에 생성할 때 가장 범용성 있는 버전으로 세팅 conda create -n env_name python=3.8 3. 주피터노트북을 실행합니다. conda ins..
안녕하세요 다제입니다. 오늘은 인공지능 모델 훈련이 끝났는지 매번 확인하러 들어가는 것이 귀찮기에 슬랙으로 알람이 오도록 설정하였습니다. 여러분들도 아시면 좋을 것 같아서, 한땀한땀 이미지를 캡쳐하여 준비했습니다. 여기 나온 그대로 따라만 하시면 되도록 자세하게 기재하였습니다. 바로 시작하겠습니다. 먼저, 알람을 받을 새로운 slack workspace가 필요합니다. 해당 링크로 들어가시면 아래와 같은 그림처럼 화면이 바뀌게 됩니다. 1. Create an app에서 From scratch를 클릭합니다. 2. Name app & choose workspace에서 Sign into a different workspace를 클릭합니다. 3. 회사 계정 또는 자신의 슬랙과 연동된 google 계정으로 로그인을..