코딩일기

Personas -. We use the 1,155 personas crowdsourced from Zhang et al. (2018) session1 -. For the first chat session we use the PERSONACHAT dataset (Zhang et al., 2018), which already involves short conversations where two speakers get to know each other for the first time. -. We note that these conversations rarely go beyond the superficial stage because speakers simply do not have enough turns t..

안녕하십니까 다제 입니다. 오늘은 Internet-Augmented Dialogue Generation에 대해서 살펴보도록 하겠습니다. 간단히 요약을 드리자면, RAG은 발전된 모델이다라고 생각하시면, 됩니다. RAG는 DB에서 정보를 retriver하게 되는데, 해당 논문에서는 인터넷에서 아래와 같이 검색을 해오게 됩니다. 논문을 있는 그대로 전달하는 것을 목적으로 하기에 논문에 있는 표현을 그대로 사용하여 글을 작성하여 영어인 점에 대해서 양해 부탁드립니다. 왜곡된 전달을 막기 위한 방법입니다. 그래도 보시기 편하도록 접는글로 주석을 달아놓았으니 어려우신 분들은 참고 부탁드립니다. 목차 0. Abstract 1. Introduction 2. Related Work 3. Internet-Augmente..

https://www.pinecone.io/learn/faiss-tutorial/ Facebook AI Similarity Search (Faiss): The Missing Manual | Pinecone Learn how Facebook AI Similarity Search changes — search. www.pinecone.io

if not hasatter(self, "acts"): return "" 변수가 있는지 확인하는 파이썬 코드

https://www.daleseo.com/python-yield/ 파이썬의 yield 키워드와 제너레이터(generator) Engineering Blog by Dale Seo www.daleseo.com 안녕하십니까 다제입니다. 오늘은 yield가 무엇인지 공부를 하게 되었습니다.

안녕하십니까 다제입니다. 오늘은 진짜 오랫만에 시간을 내어 업무 관련되지 않은 책을 읽게 되었습니다. "Demand"라는 책이며, CEO가 읽어야할 필수 책 중에 하나라고 합니다. 이 책에서는 크게 4가지에 대해서 이야기해주었습니다.(지극히 개인적인 관점) 1. 수요를 무엇이라고 정의 할 수 있는가? 2. 수요는 왜 생기는가? 3. 수요의 종류는 무엇이 있는가? 4. 분명히 논리적으로 잘 접근했는데 회사가 왜 어렵고, 그 어려움을 어떤 식으로 극복했는가? 특히 가장 인상 깊었던 것은 넥플릭스가 어떻게 생겨났는지, 또 어떻게 성장했는지를 알 수 있어서 매우 재미있게 읽었던 책입니다. 그러나, CEO와 전략팀의 관점에서 기재 되어 있다보니 공감이 가지 않는 부분도 상당 부분 있었습니다. 추후 제가 전략팀에서..

안녕하십니까 다제입니다. 오늘은 huggingface에서 모델을 사용할 때 config.json 파일을 자주 살펴보게 되는데요 최근 text generation을 요즘 유심히 살펴보고 있고, 그중에서도 gpt2의 config.json을 살펴보다가 모르는 표기가 있어서 간단하게 정리를 하고자 하는데요 일단, 우리가 config.json을 살펴보아야 하는 이유는 모델이 어느 정도의 언어 표현 능력이 있는지를 config파일을 보면서 대략적으로 알 수 있기 때문입니다. 특히, vocab_size, n_embeddings(n_embd), n_head, n_layer를 살펴보면 대략적으로 감을 잡을 수 있습니다. 아! 이 녀석을 차용하여 사용하면 어느 정도의 표현까지는 말을 할 수 있겠구나 vocab_size :..

안녕하세요 다제입니다. 오늘은 screen에 대해서 설명을 드려 볼까 합니다. screen이라는 것은 서버에서 우리가 작업을 할때 종종 vpn, 인터넷, 서버의 문제로 다운이 되는 경우가 있는데요 노트북이 다운 되더라도 훈련 시키고 있는 인공지능 모델이 종료되지 않도록 도와주는 라이브러리 입니다. 일종의 노허브 같은 거라고 생각하시면 됩니다. # screen의 현황을 보여주는 명령어 screen -ls # 새로운 스크린 만들기 # screen에서는 새로운 세션 만들기로 주로 설명한다. # 스크린이름은 내가 만들고 싶은 것으로 만들면 된다. screen -S 스크린이름 동일한 스크린을 만들게 되면, 스크린 앞에 붙힌 숫자로 구분하게 됩니다. # screen 삭제하는 명령어 screen -X -S 스크린이름..

안녕하십니까 다제입니다. 오늘은 이미지 분야에서 사용되는 다양한 Loss에 대해서 알아보고자 합니다. 이미지 분야에서 먼저 Deep Metric Learning이라는 표현이 자주 사용됩니다. 해당 용어가 무엇인지 찾아도 잘 안나오셨을텐데 이부분 먼저 살펴본 후 Arcface와 나머지 Loss들에 대해서 살펴보도록 하겠습니다. 여기서 Metric은 거리를 의미하게 되고 수학에서 거리는 함수를 의미합니다. 예를 들어, sin, cosin도 두 점 간의 거리를 수식으로 표현하는 것처럼 말이죠 이러한 Metric function은 입력을 받고, 추력으로 0 ~ 무한대의 실수 값을 리턴해주며 아래와 같은 3가지 조건을 만족해야 거리함수가 됩니다. 조건1 : distance(x, y) = 0 == x = y -> ..

학습 일자 : 학습 내용 : 참조 링크 : 학습 일자 : 2022.05.04 학습 내용 : super() 참조 링크 : 학습 일자 : 2022.05.04(수) 학습 내용 1) clipcap 코드 리뷰 할때 view 함수를 보게 됨 prefix_projections = self.clip_project(prefix).view(-1, self.prefix_length, self.gpt_embedding_size) 2) view 함수 -. 정의 : Returns a new tensor with the same data as the self tensor but of a different shape. -. example >>> x = torch.randn(4, 4) >>> x.size() torch.Size([4,..