NLP: 자연어 처리는
인공지능의 주요 분야 중 하나로,
주로 머신러닝을 사용하여 컴퓨터가 자연어를 이해하거나
생성할 수 있도록 하는 학문 중 하나입니다.

NLP에는 다양한 모델이 존재합니다.

그중에 한글 감성 분석 모델(matthewburke/korean_sentiment)과
영문 감성 분석 모델(distilbert-base-uncased-finetuned-sst-2-english)를
비교 하여 분석해 봅니다.

분석에 사용될 데이터는 "구글 플레이 스토어"에서 앱 리뷰를 크롤링하여 Elasticsearch에 인덱싱 하였습니다. 

특정 앱의 리뷰내용, 날짜, 별점 등을 가져오고, 리뷰내용을 다시 구글 번역기에 돌려 영문 리뷰를 같이 가져오는 방식입니다.

Elasticsearch에서 NLP를 적용하기 위해서는 총 4개의 스텝으로 진행하시면 됩니다.

1. Trained Model (학습된 모델) 고르기

2. Trained Model (학습된 모델)과 vocabulary 업로드

3. Elasticsearch에서 모델 활성화 하기

4. Index에 적용 시키기

https://www.elastic.co/guide/en/machine-learning/current/ml-nlp-deploy-models.html

위에 4단계만 천천히 따로오시면 NLP를 손 쉽게 적용 하실 수 있습니다.

첫번째 단계: Trained Model (학습된 모델) 고르기

허깅페이스 사이트에서  사용할 학습된 모델을 고르시면 됩니다. 주의하실 점은 PyTorch Libraries로 학습된 모델을 고르셔야 합니다. 

엘라스틱 공식문서에 적용가능한 모델들의 리스트가 있지만, 여기에 있는 리스트 이외에도 적용가능한 모델이 많으니 직접 찾아보고 적용해보시면 됩니다.

예제에 있는 "한글 감성 분석 모델" 역시 공식문서 리스트에는 없지만 적용 가능한 모델이었습니다.

두번째 단계: Trained Model (학습된 모델) Import

본 예제는 Jupyter Notebook에서 Eland(엘란트) Python Client를 설치하여 import하였습니다. 

자세한 내용은 링크를 클릭하여 따라 하시면 됩니다.
(https://github.com/elastic/eland#nlp-with-pytorch)

Eland(엘란트) Client의 버전차이를 잠깐 설명드리겠습니다.

Eland v8.1의 경우, config.json 파일이 생성되어, 파라미터 수정을 할 경우 config.json 파일을 열어 수정을 하셔야 합니다.

Eland v8.2부터는 config 내용이 객체로 생성되기 때문에, Import 명령어 입력 시, 객체의 매개변수를 바로 수정할 수 있습니다.

네번째 단계: Index에 적용하기

Pipeline을 생성해 Index에 적용시켜 줍니다. 

Pipeline은 Dev Tools에서 직접 코드를 입력해줄 수도 있지만, Kibana GUI를 이용하면 좀 더 편리하게 만들 수 있습니다.

Kibana 메뉴에서 Stack Management > Ingest Pipelies > Create Pipeline로 접속하시면 좀 더 편리하게 Pipeline을 만들 수 있습니다.