목록nlp (2)

코딩일기

embedchain, RAG DB 쉽게 업데이트 하는 방법(feat. 유튜브 영상하고도 대화가 가능하다고? 거기다가 배포도 쉽다고?)

오늘 소개해 드릴 재미있는 AI 기술은 embedchain입니다. 실제 사용 예시 코드를 코랩으로 준비하였습니다. 또한, 배포했던 이미지도 함께 스샷으로 찍어두었으니, 다들 직접 실습해보시고, 배포까지 해보시면 좋을 거 같습니다. LLM을 사용하여 RAG(검색 증강 생성) 애플리케이션을 구축하는 방법을 알아보고자 합니다. 지금까지 RAG 애플리케이션은 AI 혁명의 가장 유용한 결과입니다. 아마 내년쯤에는 훨씬 더 큰 발전을 볼 수 있을 것입니다. 한때 prompt engineer가 대세였다면, 이제 RAG engineer가 대세가 되지 않을까 조심스럽게 추측해봅니다. RAG가 무엇인지 모르시는 분들은 아래 글을 참고해주세요. https://dajeblog.co.kr/3-%eb%85%bc%eb%ac%b8-..
Code/딥러닝(NL) 2023. 12. 15. 10:26
[NLP] 1. Text Preprocessing(feat. Tokenization, Cleaning, Normalization, Stopwords, Building Vocab, Integer Encoding, Padding, Vectorization, 텍스트 전처리 과정)

안녕하십니까 다제 입니다. 오늘부터 시리즈로 NLP에 대해 전반적으로 공부를 진행해보고자 합니다. 해당 시리즈는 위키독스 딥러닝을 이용한 자연어 처리 입문 오프라인 강의, Andrew Ng 교수님 강의 내용을 함께 혼용하여 정리한 내용입니다. 요즘 많은 강의를 듣고 코딩을 하면서 "NLP가 과연 무엇일까?"에 대한 질문을 해보았습니다. 제가 생각하는 NLP는 현재까지 언어를 수학으로 이해하는 과정이다. 라고 저만의 정의를 지어보았습니다. 향후 NLP에 대한 개인적인 견해는 변동될 수 있지만 지금까지는 이렇게 이해하고 있습니다. 오늘은 일반적인 텍스트 전처리가 어떻게 이루어지고 있는지, 한국어에는 어떠한 전처리가 추가될 수 있는지도 함께 알아보도록 하겠습니다. ** 목차 ** 1. Tokenization ..
Code/딥러닝(NL) 2022. 2. 13. 19:42
Prev 1 Next