코딩일기

보호되어 있는 글입니다.

안녕하십니까 다제입니다. 오늘은 RAG, Retrieval-augmented Knowledge-intensive Task라는 논문을 알아보도록 하겠습니다. 제목에서 알 수 있는 Knowledge-intensive Task를 해결하기 위해 검색된 내용(retrieval)을 조합(augmented)하여 생성하는 모델이다 라고 볼 수 있습니다. 해당 논문은 2021년 facebook에서 발표한 논문입니다. 이 논문을 보게 된 이유는 RAG는 facebook Blenderbot의 backbone이 되기 때문에 이를 이해하는 것이 블랜더봇에 대한 이해를 높여줄거라고 생각하여 깊게 논문을 리뷰하게 되었습니다. 이 포스팅을 이해하기 위해서는 1. ODQA(open-domain QA)와 Know-Intensive ta..

안녕하세요 다제입니다. 오늘은 DialoGPT에 대해서 공부해보도록 하겠습니다. 본문에 대한 해석과 함께 이것을 풀어서 설명하는 식으로 해당 리뷰는 진행될 예정입니다. " → " 해당 기호와 함께 기재되어 있는 것은 필자가 직접 실험하고 테스트 한 내용을 논문에 이해를 돕기 위해 기재한 것이니 논문의 팩트만 보고 싶다면, " → "로 기재된 라인은 생략해도 됩니다. 또한, 용어 정리가 잠깐 필요할 거 같은데요. 글에서 필자는 블로그 작성자를 의미하고, 저자는 논문의 저자를 의미합니다. DialoGPT 아이디어를 이용하여 필자는 한국어 대화가 가능한 모델을 제작하게 되었는데요 테스트한 결과를 살짝 보여드리겠습니다. 아직 초기 단계 이긴 하나 사람처럼 일상적인 대화는 가능하였습니다. 목차 0. Abstra..

안녕하십니까 다제입니다. 오늘은 SeeKeR에 대해서 논문 리뷰를 진행해보고자 합니다. SeeKeR는 Blenderbot2의 지식적인(Knowledge) 답변을 잘못한다는 단점을 보안하기 위해 제작된 모델이고, Blenderbot3의 Base model로써 사용되는 모델입니다. 이에, 현재 Open-Domain Chatbot을 연구하는 사람으로써 반드시 알아야하는 모델이라고 생각하여 리뷰를 진행하게 되었습니다. 먼저, SeeKeR에 대해 설명 드리기에 앞서 BB2를 복습하고 넘어가도록 하겠습니다. 이 외 FiD, RAG 등의 개념은 모두 이해하고 있다는 전제하에 설명드리는 점 참고 부탁드립니다. 그래도 RAG, FiD에 대해서 간단하게 설명을 드리겠습니다. 일반적으로 Neural Network는 모델이 ..

사전에 숙지해야할 사항 1. Transformers -. Title : Attention all you need -. link : https://arxiv.org/pdf/1706.03762.pdf -. review : 2021.10.04 - [Paper Reviews] - [논문리뷰] Attention is all you need (feat. Transformer) 2. BERT -. Title : Pre-training of Deep Bidirectional Transformers for Language Understanding -. link : https://arxiv.org/pdf/1810.04805.pdf -. review : 진행 예정 3. Poly-encoders -. Title : archi..

Personas -. We use the 1,155 personas crowdsourced from Zhang et al. (2018) session1 -. For the first chat session we use the PERSONACHAT dataset (Zhang et al., 2018), which already involves short conversations where two speakers get to know each other for the first time. -. We note that these conversations rarely go beyond the superficial stage because speakers simply do not have enough turns t..

안녕하십니까 다제 입니다. 오늘은 Internet-Augmented Dialogue Generation에 대해서 살펴보도록 하겠습니다. 간단히 요약을 드리자면, RAG은 발전된 모델이다라고 생각하시면, 됩니다. RAG는 DB에서 정보를 retriver하게 되는데, 해당 논문에서는 인터넷에서 아래와 같이 검색을 해오게 됩니다. 논문을 있는 그대로 전달하는 것을 목적으로 하기에 논문에 있는 표현을 그대로 사용하여 글을 작성하여 영어인 점에 대해서 양해 부탁드립니다. 왜곡된 전달을 막기 위한 방법입니다. 그래도 보시기 편하도록 접는글로 주석을 달아놓았으니 어려우신 분들은 참고 부탁드립니다. 목차 0. Abstract 1. Introduction 2. Related Work 3. Internet-Augmente..

https://www.pinecone.io/learn/faiss-tutorial/ Facebook AI Similarity Search (Faiss): The Missing Manual | Pinecone Learn how Facebook AI Similarity Search changes — search. www.pinecone.io

안녕하십니까 다제입니다. 오늘은 clipcap이라는 논문을 소개드리고자 합니다. clipcap은 Image-Caption Domain에 활용되는 모델입니다. image caption이란, 입력된 이미지를 이해하고 이미지에 대한 설명을 텍스트로 출력하는 도메인입니다. ※ caption : 이미지에 대한 간략한 설명 또는 주석 즉, clipcap은 clip이라는 모델을 이용하여 이미지를 이해하고 gpt2를 활용하여 이미지에 대한 설명(caption or description)을 생성해내는 모델입니다. 차근차근 하나씩 설명을 드릴 예정인데, 바쁘고 결론만 알고 싶은 분들을 위해 Abstract에 최대한 요약 해놓았습니다. Clip을 모르시는 분들은 제가 포스팅한 Clip(Constractive Language..