NLTK 설치

NLTK란?

NLTK(Natural Language Toolkit)는 자연어 처리를 위한 파이썬 프로그래밍 언어의 라이브러리입니다. 이 도구는 다양한 언어의 텍스트를 처리하기 위한 강력한 기능을 제공합니다. NLTK에는 50개 이상의 말뭉치와 어휘 자원에 대한 접근, 텍스트 분류, 토큰화, 어간 추출, 품사 태깅, 구문 분석, 의미 추론 등의 텍스트 처리 기능이 포함되어 있습니다. - by ChatGPT

문제

langchain을 이용해서 파일을 읽고, text splitter를 통해 파일의 텍스트들을 분할하려는데
다음과 같은 비슷한 오류가 발생했다.

Resource punkt not found.
Please use the NLTK Downloader to obtain the resource:

import nltk
nltk.download('punkt')

Searched in:
- '/root/nltk_data'
- '/usr/share/nltk_data'
- '/usr/local/share/nltk_data'
- '/usr/lib/nltk_data'
- '/usr/local/lib/nltk_data'
- '/usr/nltk_data'
- '/usr/lib/nltk_data'

친절하게도 tltk를 통해서 punkt를 다운로드 하라고 알려주다니.
바로 실행해봤다.

[nltk_data] Error loading punkt: <urlopen error [SSL:
[nltk_data] CERTIFICATE_VERIFY_FAILED] certificate verify failed:
[nltk_data] unable to get local issuer certificate (_ssl.c:1129)>

WTF!!

우리집 CA 인증서가 이상한가...?
아무튼 검색을 해보니 아래와 같이 해보라고 그래서 바로고! (출처: github)

import nltk
import ssl

try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context

nltk.download()

맨 위의 이미지와 같은 어색한 창이 뜨고, 다운로드를 하면 해결!

끝~~