JTBC 빅데이터랩, 한국어에 특화된 강력한 자연어처리 엔진 탑재
텍스트에서 핵심 메시지 추출한 뒤 연관어들의 이슈 집중력 파악
뉴스,블로그,SNS, 커뮤니티 글들 분석해 온라인 정치 동향 추적
빅데이터 분석은 평면적인 분석에서 드러나지 않았던 온라인 이용자들의 생각과 마음의 자취를 입체적으로 읽는 데 초점을 두고 있습니다. 가장 일반적인 분석 방법은 검색을 통한 언급량의 변동 추이를 통해 검색어에 대한 관심도를 가늠하는 방식이었습니다. 양적 평가만 가능했습니다.
NLP 엔진 이미지 그래픽 JTBC 빅데이터랩 강점은 단순 언급량이 아닌 실질적인 언급량 분석에 있습니다.
실질 언급량은 어떻게 산출할까요.
빅데이터랩의 자연어 처리 AI엔진은 텍스트의 핵심 메시지를 파악해 키워드와 중심 어구를 먼저 추출합니다. 요즘 각광받는 대화형 챗봇을 상상해보시면 이해에 도움이 됩니다. 대화형 챗봇은 고정된 시나리오에 따른 답변이 아니라 시나리오에 없는 질문이 들어와도 문제의 핵심을 파악해 응답합니다. 답변의 정확성은 자연어 처리(NLP) 엔진 기술에 달려 있습니다.
빅데이터랩의 NLP엔진은 문장의 핵심을 요약해내는 기능이 특화된 AI엔진입니다.
예를 들어
『 '괘씸죄' 호주에 무차별 경제보복…中 , 제 발등 찍었다(10.1 JTBC)』 기사의 핵심 요지는 다음과 같습니다.
코로나 기원설 등으로 호주와 외교 갈등을 빚은 중국이 경제 보복으로 호주산 석탄의 수입을 금지시켰는데 열효율 좋은 호주산 석탄이 시장에서 사라지자 석탄 가격 급등에 부담을 느낀 화력발전 회사들이 전력 생산을 줄였고 그 바람에 전력 대란이 일어났다는 스토리입니다. 전력 대란으로 수출 기지의 공장들이 제한 송전으로 생산에 차질을 빚어 중국이 경제 보복의 부메랑을 맞고 있다는 얘기입니다.
빅데이터랩의 NLP엔진은 어떻게 요지를 파악했나 함께 보실까요. 핵심 메시지는 노란색 선으로 표시했습니다.
『 '괘씸죄' 호주에 무차별 경제보복...中 , 제 발등 찍었다(10.1 JTBC)』기사.
『 '괘씸죄' 호주에 무차별 경제보복...中 , 제 발등 찍었다(10.1 JTBC)』기사
『 '괘씸죄' 호주에 무차별 경제보복...中 , 제 발등 찍었다(10.1 JTBC)』 기사
『 '괘씸죄' 호주에 무차별 경제보복...中 , 제 발등 찍었다(10.1 JTBC)』기사 어떻습니까. 잘 파악한 거 같나요?
빅데이터랩은 이렇게 추출된 핵심 문장들을 대상으로 이슈 집중력을 측정합니다. 단순히 빈도만 파악하는 언급량 분석과 차별화되는 핵심 기능입니다. 핵심 메시지를 추출했기 때문에 키워드 뿐 아니라 핵심 어구까지 파악할 수 있습니다.
대선 후보들을 검색어로 입력해 분석해보겠습니다. 다양한 텍스트로부터 핵심 메시지가 추출되면 다시 분석에 들어가 검색어와 관련 있는 연관어와 연관어구가 뽑혀 나옵니다.
윤석열 후보를 검색했을 때 형성된 연관어 말 구름. 예를 들어 지난 일주일(11월 10일~16일) 동안 수집한 데이터를 대상으로 윤석열 후보를 입력할 경우 이재명 후보가 가장 집중 강도가 센 연관 키워드로 떠오릅니다. 광주ㆍ김종인ㆍ이준석ㆍ수사 등의 키워드와 '민주와 인권'ㆍ'검찰의 수사' 등 핵심 어구들이 뒤따릅니다. 광주를 방문한 윤 후보가 쏟아낸 발언들과 윤석열 후보에 대한 검찰의 적극적 수사를 강조한 이재명 후보의 말들이 연관 어구들 중에서 강도가 센 것으로 나타났습니다.
이재명 후보를 검색했을 때 연관어 말구름. 이재명 후보의 경우 국회가 핵심 키워드로 부상하고 청년ㆍ버스ㆍ특검이 뒤를 잇습니다.
그리고 유시민 전 노무현재단 이사장이 이 후보에게 추천한 '솔제니친의 소설'과 '검찰의 수사' 등이 핵심 어구로 부상했습니다. 키워드ㆍ어구들은 저마다 강하거나 약한 밀도로 언어군집을 이루는데, 이 밀도를 계산한 함수값에 따라 이슈 집중력이 산출됩니다.
산출된 이슈 집중력은 두 후보를 비교할 수 있도록 100으로 환산해 관심지수화했습니다.
JTBC 빅데이터랩은 뉴스와 블로그, 실시간 온라인 커뮤니티 순위 사이트에서 수집한 21개 주요 커뮤니티의 대선ㆍ정치 관련 게시판의 글들을 취합해 분석했습니다. 게시판 선정은 숙명여대 신문방송학과 안민호 교수팀이 맡아 수행했습니다.