TensorFlow 및 NLP 기술을 사용하여 시를 만들기 위해 AI 모델을 훈련시키는 훈련 과정에서 가사를 토큰화하는 것은 몇 가지 중요한 목적을 제공합니다. 토큰화는 텍스트를 토큰이라는 더 작은 단위로 분해하는 자연어 처리(NLP)의 기본 단계입니다. 가사의 맥락에서 토큰화는 가사 분할을 포함합니다.