코딩일기

안녕하십니까 다제입니다. 오늘은 huggingface에서 모델을 사용할 때 config.json 파일을 자주 살펴보게 되는데요 최근 text generation을 요즘 유심히 살펴보고 있고, 그중에서도 gpt2의 config.json을 살펴보다가 모르는 표기가 있어서 간단하게 정리를 하고자 하는데요 일단, 우리가 config.json을 살펴보아야 하는 이유는 모델이 어느 정도의 언어 표현 능력이 있는지를 config파일을 보면서 대략적으로 알 수 있기 때문입니다. 특히, vocab_size, n_embeddings(n_embd), n_head, n_layer를 살펴보면 대략적으로 감을 잡을 수 있습니다. 아! 이 녀석을 차용하여 사용하면 어느 정도의 표현까지는 말을 할 수 있겠구나 vocab_size :..

안녕하십니까 다제입니다. 오늘은 clipcap이라는 논문을 소개드리고자 합니다. clipcap은 Image-Caption Domain에 활용되는 모델입니다. image caption이란, 입력된 이미지를 이해하고 이미지에 대한 설명을 텍스트로 출력하는 도메인입니다. ※ caption : 이미지에 대한 간략한 설명 또는 주석 즉, clipcap은 clip이라는 모델을 이용하여 이미지를 이해하고 gpt2를 활용하여 이미지에 대한 설명(caption or description)을 생성해내는 모델입니다. 차근차근 하나씩 설명을 드릴 예정인데, 바쁘고 결론만 알고 싶은 분들을 위해 Abstract에 최대한 요약 해놓았습니다. Clip을 모르시는 분들은 제가 포스팅한 Clip(Constractive Language..