반응형 PROGRAMMING/Transformer1 [Transformer] padding_side (패딩 방향)과 pad_token 해설, 정리, 요약 안녕하세요, HELLO 오늘은 transformer를 사용하여 language 모델, LLM 모델을 추론 (inference) 시 input token size를 맞춰주기 위해 padding을 진행할 때, padding_side는 어떻게 설정하고, 왜 pad_token을 eos_token으로 설정하는지에 대해서 살펴보고자 합니다. 우선 토큰화(Tokenization)와 transformer의 input_id, attention_maks에 대해서 살펴보고, 본격적으로 padding_side와 pad_token에 대해서 살펴보겠습니다. CHAPTER 1. '토큰화(Tokenization)' 선행 지식 CHAPTER 2. 'Transformer' 개념 정리 CHAPTER 3. ' Transformer Infe.. 2024. 2. 24. 이전 1 다음 반응형
