토크나이징

1. 토크나이징1.1 토크나이징이란?컴퓨터분야에서 자연어의 의미를 분석해서 처리할 수 있도록 하는 것이 자연어처리 NLP(Natural Language Processing)이라 한다.자연어처리를 하는 가장 일반적인 방법은?주어진 문장을 일정한 의미가 있는 가장 단어로 분리그 다음에 분리된 단어를 이용해서 의미를 분석한다.여기서 가장 기본이 되는 단어를 토큰 token이라고 한다.토큰단위는 토크나이징하는 방법에 따라 달라질 수가 있다.하지만, 일반적으로 일정한 의미가 있는 가장 작은 단위로 결정된다.이렇게 주어진 문장에서 토큰 단위로 정보를 분리하는 작업을 토크나이징이라고 한다.토크나이징을 구현하기 위해서는 한국어문법에 대한 이해가 필요하다.하지만, 한국어 토크나이징을 지원하는 파이썬 라이브러리가 있다.한..