목록전처리 (1)

코딩일기

[NLP] 1. Text Preprocessing(feat. Tokenization, Cleaning, Normalization, Stopwords, Building Vocab, Integer Encoding, Padding, Vectorization, 텍스트 전처리 과정)

안녕하십니까 다제 입니다. 오늘부터 시리즈로 NLP에 대해 전반적으로 공부를 진행해보고자 합니다. 해당 시리즈는 위키독스 딥러닝을 이용한 자연어 처리 입문 오프라인 강의, Andrew Ng 교수님 강의 내용을 함께 혼용하여 정리한 내용입니다. 요즘 많은 강의를 듣고 코딩을 하면서 "NLP가 과연 무엇일까?"에 대한 질문을 해보았습니다. 제가 생각하는 NLP는 현재까지 언어를 수학으로 이해하는 과정이다. 라고 저만의 정의를 지어보았습니다. 향후 NLP에 대한 개인적인 견해는 변동될 수 있지만 지금까지는 이렇게 이해하고 있습니다. 오늘은 일반적인 텍스트 전처리가 어떻게 이루어지고 있는지, 한국어에는 어떠한 전처리가 추가될 수 있는지도 함께 알아보도록 하겠습니다. ** 목차 ** 1. Tokenization ..
Code/딥러닝(NL) 2022. 2. 13. 19:42
Prev 1 Next