일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- python
- 주간보고
- MYSQL
- bootcamp
- pandas
- 부트캠프
- Ai
- Codestates
- yolo
- 노마드코더
- SQL
- 꾸준히
- 파이썬
- 딥러닝
- 빅데이터
- 자료구조
- leetcode
- 재미져
- JavaScript
- 코딩테스트
- 열심히
- selenium
- 2021
- 리뷰
- 성실히
- 코드스테이츠
- 선형회귀
- 기초통계
- 독서
- 매일매일
Archives
- Today
- Total
목록Generator (1)
코딩일기
What is n_ctx in config.json(feat. gpt2, gpt3, Huggingface, models)
안녕하십니까 다제입니다. 오늘은 huggingface에서 모델을 사용할 때 config.json 파일을 자주 살펴보게 되는데요 최근 text generation을 요즘 유심히 살펴보고 있고, 그중에서도 gpt2의 config.json을 살펴보다가 모르는 표기가 있어서 간단하게 정리를 하고자 하는데요 일단, 우리가 config.json을 살펴보아야 하는 이유는 모델이 어느 정도의 언어 표현 능력이 있는지를 config파일을 보면서 대략적으로 알 수 있기 때문입니다. 특히, vocab_size, n_embeddings(n_embd), n_head, n_layer를 살펴보면 대략적으로 감을 잡을 수 있습니다. 아! 이 녀석을 차용하여 사용하면 어느 정도의 표현까지는 말을 할 수 있겠구나 vocab_size :..
카테고리 없음
2022. 5. 29. 20:20