한글 자연어 처리(1) - Konlpy 기본 알아가기¶
학습 내용¶
- 자연처 처리(NLP-Natural Language Processing)에 대해 알아보기
- 응용 사례에 대해 알아보기
- KoNLPY를 이용한 명사 추출 후, 불용어 처리하기 빈도 분석하기
- 추출된 내용을 워드 클라우드를 이용하여 시각화 해보기
In [39]:
from IPython.display import display, Image
# display(Image(filename='MyImage.png'))
시작하기에 앞서¶
NLP(Natural Language Processing)란 무엇인가요?¶
- 자연어 처리는 컴퓨터과학과 정보공학및 인공 지능의 하위분야이다.
- 사람이 작성한 언어, 즉 텍스트를 처리하는 기술
- 컴퓨터와 인간(자연)언어 간의 상호 작용, 특히 대량의 자연 언어 데이터를 처리하고 분석한다.
- 컴퓨터 프로그래밍하는 방법과 관련있다. (위키 참조-Eng)
어떤 응용 사례가 있나요?¶
정보 검색¶
- 구글이나 네이버와 같이 사용자가 입력한 용어나 문장에 대해 가장 유사한 문서를 찾아 순위를 매겨 사용자에게 제시.
- 기업에서는 주로 기업이 보유한 지식이나 자료, 기존에 작성된 보고서 등에서 업무와 관련된 문서를 찾아 빠르게 업무에 활용할 수 있도록 함.
정보에서 원하는 정보 찾기¶
- 개체명 추출(Named Entity Extraction) : 문장 내에서 사람, 위치, 날짜, 조직명, 직업 같은 사전에 정의된 분류의 단어을 찾는다.
- 기사 내에 특정 기업이 포함되어 있는가?
- 특정 유명인의 내용이 포함되어 있는가?
- 신약 개발을 위한 방대한 분량의 논문을 대상으로 화합물질, 증상, 효농 등을 추출하여 문서 내에서 연관성을 분석.
- 최근 특정 증상에 많이 활용되는 신약 물질에 대한 트렌드 분석
- 일별로 새로 작성되는 뉴스에서 가장 핫한 용어를 찾기.(뉴스와 기술 관심사의 트렌드 분석)
기계 번역 - Googld Translate¶
- 연구 목적의 다양한 자료 검토
- 뉴스를 보고 국제 정세 파악
- 냉전 시대의 적국의 상황 정보 파악
- 통계적 기계 번역에서 딥러닝을 활용한 신경망 기반 기계 번역으로
대화 시스템 - 애플 Siri¶
- 챗봇, 음성 인식 분야 등에 적극 활용.
- 챗봇을 통해 상담원의 단순 업무, 대기 업무의 최소화 (365일 24시간 체제로 대응)
- 예) 애플 Siri, 자동 질의 응답 시스템(WolframAlpha)
감정 분석(Sentiment Analysis)¶
- 텍스트 문장 내에서 긍정 및 부정의 문맥을 판별해 내기(긍정, 부정, 중립)
- 특정 상품이나 기업에 대해 어떤 뉴스 기사가 많이 작성되고 있는가 분석.
단어 및 문장 분류¶
- 분류(classificatoin) : 글을 산업별, 업무별로 분류해서 정리.(추후 검색과 분석 단계에 매우 큰 도움)
- 컨택 센터에서 받은 고객 콜에 대해 업무 분류하기. (음성 통화 후, 음성 인식을 통해 텍스트로 전환하여 저장)
품사 태깅 및 구문 분석¶
- 품사 태깅(Pos Tagging, Part-of-Speech Tagging)은 문장 내에서 단어의 품사를 찾아내 태그를 달아주기.
- 구문 분석(Syntactic Analysis) : 문장을 잘 이해하기 위해 문장을 트리 형태로 구성하여 주절과 종속절을 구분.
음성 인식(Speech Recognition)¶
- 음성 신호 정보를 음소 단위로 해석하는 음성 모델(Accoustic Model)단의 처리를 끝내고 이후 언어 모델(Language Model)단에서 음소를 단어로, 단어들을 문장으로 구성. 음성 신호 특정 정보를 입력하고 바로 문장을 예측하는 딥러닝 기반의 방식으로 진화하고 있음.
In [40]:
display(Image(filename='img/today_weather.png'))
자연어 처리 방법¶
- 워드투벡(word to vector)의 딥러닝 모델
텍스트 전처리¶
- 텍스트를 분석하거나 활용하기 전에 필요한 전처리(preprocessing)
- 전처리란 텍스트 성능을 높이기 위한 잡음이나 불규칙한 내용을 정제하는 과정 - 이를 통해 자연어 처리의 정확도를 높일 수 있음.
단계별 살펴보기¶
- 불용어 제거 : 문장의 단어 중에 큰 의미를 가지지 않는 것을 제거. 불용어가 포함되어 있으면 모델 학습시 잡음으로 영향을 미침.
- 공백 교정 : 토큰을 추출하는 가장 쉬운 방법. 공백을 기준으로 추출하는 공백 교정(Space Correction)
- 문장 분리(Sentence Split) : 규칙 기반으로 처리, NLTK나 오픈소스로 제공하는 한글 토크나이저를 이용.
텍스트의 벡터화¶
- 단어 사전 : 문서나 문장내에서 사용되는 모든 단어를 목록화하고 각 단어에 인덱스를 부여하여 숫자를 할당하여 단어 사전 생성.
- N-gram : 통계와 확률을 바탕으로 한 색인 분석에 널리 사용되는 방식. 입력한 문자열을 N개의 기준 단위로 절단하는 방법.
- Bag-of-words(BOW)
- TF-IDF(Term Frequency Inverse Document Frequency) : 단어 빈도-역문서 빈도
한글 자연어 처리¶
- 형태소 분석 -> 구문 분석 -> 의미분석 -> 화용분석
- 형태소 분석(Morphological Analysis) : 입력된 문자열을 분석하여 형태소(의미를 갖는 최소단위)로 쪼개는 것.
- 구문분석(Syntax Analysis) : 문장을 구조적 상태로 분석하는 것.(주절과 종속절, 주어와 동사 등의 구성 해석)
- 의미분석(Semantic Analysis) : 구문 분석 단계에서의 의미적 모호함을 각 어절의 정보를 이용하여 해소하고 의미 구조를 설정.
- 화용분석(Pramatic Analysis) : 문장이 실세계에서 가지는 연관관계를 분석
한글 형태소 분석기¶
한나눔(Hannanum) : 카이스트에서 개발한 형태소 분석기. 형태소 분석 및 품사 태깅 기능
꼬꼬마(Kkma) : 서울 대학교에서 개발한 형태소 분석기. 자바 기반 개발. 문장 분리기 제공.
코모란(Komoran) : 샤인웨어(Shinware)에서 개발한 자바 기반 형태소 분석기. 아파치 라이선스 2.0
은전한잎(mecab-ko) : 일본어 형태소 분석기. 한글 지원, C++언어로 개발됨. 처리 성능이나 속도에서 좋음.
트위터(Twitter) : 트위터에서 소셜 분석을 위해 개발한 형태소 분석기. 소셜 분석 대상이므로 비형식어나 신조등을 잘 찾아냄. 처리 속도가 빨라 실시간 처리 등에 활용. 2017년 이후 Open-Korean-Text라는 이름으로 운영.
여러개의 형태소 분석기를 모아둔 하나의 인터페이스가 없을까?
- Konlpy(코엔엘파이), KoalaNLP(코알라엔엘피)
- 두개 모두 파이썬 지원
1-1 Konlpy 시작하기¶
- 공식 웹 사이트 : http://konlpy.org/en/latest/
- 꼬꼬마, 한나눔 등의 엔진 사용 가능
In [5]:
import nltk
import matplotlib.pyplot as plt
import platform
import numpy as np
꼬꼬마를 이용한 분석¶
- 꼬꼬마 모듈을 이용하여 문장 분석을 수행해 봄.
- 2개의 문장으로 분석을 수행함.
In [7]:
from konlpy.tag import Kkma
kkma = Kkma()
kkma.sentences("안녕하세요! 오늘은 한글 분석을 시작합니다.")
Out[7]:
명사(nouns) 추출¶
In [8]:
kkma.nouns("안녕하세요! 오늘은 한글 분석을 시작합니다.")
Out[8]:
형태소 분석¶
- 형태소 분석 태그표 : http://kkma.snu.ac.kr/documents/index.jsp?doc=postag
In [9]:
kkma.pos("안녕하세요! 오늘은 한글 분석을 시작합니다.")
Out[9]:
한나눔 한글 엔진 사용해 보기¶
In [10]:
from konlpy.tag import Hannanum
hannanum = Hannanum()
hannanum.nouns("안녕하세요! 오늘은 한글어 분석을 시작합니다")
Out[10]:
트위터 - Okt 클래스¶
- morphs(phrase, norm=False, stem=False) => 형태소 분석
- nouns(phrase) => 명사 추출
- phrases(phrase) => 구문 추출
In [11]:
# from konlpy.tag import Kkma
# kkma = Kkma()
from konlpy.tag import Okt
import nltk
okt = Okt()
In [12]:
print(okt.morphs(u'단독입찰보다 복수입찰의 경우'))
In [13]:
print(okt.nouns(u'유일하게 항공기 체계 종합개발 경험을 갖고 있는 KAI는'))
In [14]:
print(okt.phrases(u'오늘은 좋은날이다. 날씨도 좋고, 좋은 일도 생기고, 감사하다'))
In [15]:
print(okt.pos(u'이런것도 될까요?'))
wordCloud 를 활용한 시각화¶
- https://github.com/amueller/word_cloud
- wordcloud 라이브러리는 MIT 라이선스가 있음.
- 글꼴을 절대로 완전한 것이 아니므로 WordCloud 객체를 만들 때, font_path 변수를 이용하여 다른 글꼴 설정 가능
In [16]:
from wordcloud import WordCloud, STOPWORDS
import numpy as np
from PIL import Image
In [17]:
text = open('data/alice.txt').read()
alice_mask = np.array(Image.open("img/alice_color.png"))
stopwords =set(STOPWORDS) # 불용어 처리
stopwords.add("said") # 불용어 추가
1-1-1 한글 폰트 설정¶
콜랩 환경
%matplotlib inline
import matplotlib as mpl # 기본 설정 만지는 용도
import matplotlib.pyplot as plt # 그래프 그리는 용도
import matplotlib.font_manager as fm # 폰트 관련 용도
### 나눔 고딕 설치
!apt-get update -qq # 설치를 업데이트 -qq : 로그를 최소한으로
!apt-get install fonts-nanum* -qq # 설치한다. fonts-nanum* => ttf-nanum, ttf-nanum-coding, ttf-nanum-extra ]
path = '/usr/share/fonts/truetype/nanum/NanumGothicEco.ttf' # 설치된 나눔글꼴중 원하는 녀석의 전체
font_name = fm.FontProperties(fname=path, size=10).get_name()
print(font_name)
plt.rc('font', family=font_name)
# 우선 fm._rebuild() 를 해주고 # 폰트 매니저 재빌드가 필요하다.
fm._rebuild()In [19]:
### 한글 폰트 설정
from matplotlib import font_manager, rc
import matplotlib.pyplot as plt
import platform
path = "C:/Windows/Fonts/malgun.ttf"
if platform.system() == "Windows":
font_name = font_manager.FontProperties(fname=path).get_name()
rc('font', family=font_name)
elif platform.system()=="Darwin":
rc('font', family='AppleGothic')
else:
print("Unknown System")
앨리스 데이터 워드 클라우드¶
In [20]:
wc = WordCloud(background_color="white", max_words=2000, mask=alice_mask,
stopwords=stopwords, contour_width=3, contour_color='steelblue')
# generate word cloud
wc.generate(text)
wc.words_
Out[20]:
In [21]:
plt.figure(figsize=(15,8))
plt.imshow(alice_mask, cmap=plt.cm.gray, interpolation='bilinear')
plt.axis('off')
plt.show()
In [22]:
plt.figure(figsize=(15,8))
plt.imshow(wc, interpolation='bilinear')
plt.axis('off')
plt.show()
웹에서 수집한 댓글 데이터 분석¶
- 분노의 질주 텍스트 데이터 분석
In [27]:
doc_ko = open("data/15_TheExtreme.txt").read()
doc_ko[1:1000]
Out[27]:
In [28]:
# t = Twitter()
# Twitter() has changed to Okt() since v0.5.0.
t = Okt()
tokens_ko = t.nouns(doc_ko)
tokens_ko
Out[28]:
In [29]:
ko = nltk.Text(tokens_ko, name="분노의 질주")
print(len(ko.tokens)) # tokens의 수
print(len(set(ko.tokens))) # 유일한 tokens의 수
print(type(ko)) # ko의 자료형
ko.vocab() # 단어 빈도 # ko 자료 단어 및 빈도
Out[29]:
In [30]:
plt.figure(figsize=(12,6))
ko.plot(50)
plt.show()
불용어 처리¶
- 불용어란? : 가용어가 아닌 단어들
In [31]:
### 불용어 처리
stop_words = ['더', '말', '때', '눈', '또', '이', '그', '좀', '점', '것', '돈', '이제', '분노', '질주' ]
#ko = [each_word for each_word in ko if each_word not in stop_words]
# 만약 단어가 불용어 있지 않다면 추가, 있다면 추가하지 않음.
new_ko = []
for one_word in ko:
if one_word not in stop_words:
new_ko.append(one_word)
In [32]:
new_ko = nltk.Text(new_ko, name="분노의 질주")
plt.figure(figsize=(12,6))
new_ko.plot(50)
plt.show()
문서에서 언급된 횟수¶
In [33]:
new_ko
Out[33]:
In [34]:
# 몇번이나 문서에서 언급이 되었을까?
new_ko.count("자동차")
Out[34]:
dispersion_plot¶
- 텍스트를 통해 단어의 분포를 보여주는 플롯을 만든다. pylab을 설치해야합니다.
In [35]:
### 원하는 단어의 문서내 위치를 알 수 있음.
plt.figure(figsize=(15,8))
new_ko.dispersion_plot(["영화", "액션", "시리즈", "대박"])
워드 클라우드 적용¶
In [36]:
from wordcloud import WordCloud, STOPWORDS
import numpy as np
from PIL import Image
stopwords = set(stop_words) # 불용어 처리
Car_mask = np.array(Image.open("img/Draw_car1.png"))
In [37]:
data = new_ko.vocab().most_common(150)
In [38]:
# path = "C:/Windows/Fonts/malgun.ttf"
wc = WordCloud(font_path=path, relative_scaling=0.2,
background_color="white", mask=Car_mask).generate_from_frequencies(dict(data))
plt.figure(figsize=(12,8))
plt.imshow(wc)
plt.axis("off")
plt.show()
REFERENCE¶
Konlpy 공식 페이지 : http://konlpy.org/ko/latest/api/konlpy.tag/
lucypark 텍스트 마이닝 코스 : https://www.lucypark.kr/courses/2015-dm/text-mining.html
텍스트 마이닝 기본 정리: https://www.slideshare.net/dongjolim7/tf-idf-123609543
워드 클라우드 생성기 : http://wordcloud.kr/