목록text generation (1)

코딩일기

What is n_ctx in config.json(feat. gpt2, gpt3, Huggingface, models)

안녕하십니까 다제입니다. 오늘은 huggingface에서 모델을 사용할 때 config.json 파일을 자주 살펴보게 되는데요 최근 text generation을 요즘 유심히 살펴보고 있고, 그중에서도 gpt2의 config.json을 살펴보다가 모르는 표기가 있어서 간단하게 정리를 하고자 하는데요 일단, 우리가 config.json을 살펴보아야 하는 이유는 모델이 어느 정도의 언어 표현 능력이 있는지를 config파일을 보면서 대략적으로 알 수 있기 때문입니다. 특히, vocab_size, n_embeddings(n_embd), n_head, n_layer를 살펴보면 대략적으로 감을 잡을 수 있습니다. 아! 이 녀석을 차용하여 사용하면 어느 정도의 표현까지는 말을 할 수 있겠구나 vocab_size :..
카테고리 없음 2022. 5. 29. 20:20
이전 Prev 1 Next 다음