자연어전처리1 Sklearn의 기초 - 자연어 처리(CountVectorizer, TfidfVectorizer) 과연 인간은 기계에게 언어를 학습시킬 수 있을까요? 그렇다면 첫 번째로 인간이 언어를 이해하기 위해서 무엇을 배웠는가? 바로 "단어"이다. 그렇기에 의미를 가지는 최소한의 단위인 "형태소"를 컴퓨터에 먼저 학습시키는 것이다. CountVectorizer, TfidVectorizer는 이 형태소를 어떠한 방법으로 학습시키는 지로 나뉜다. 먼저 형태소를 만드는 법 알아보면, 대표적인 것 중 하나로 Konlpy툴을 이용하면 된다. ! pip install konlpy 설치를 한 뒤, text = "안녕하세요! I'm happy예요" import konlpy from konlpy.tag import Okt tokenizer = Okt() tokenizer.morphs(text) 이런 형태소를 어떻게 학습하느냐에.. 2023. 11. 29. 이전 1 다음
