BERT 사전학습 (1) 썸네일형 리스트형 BERT 사전학습 모형에 대한 미세조정학습 (1) 15.1 BERT 학습을 위한 전처리 토큰 임베딩 구간 임베딩 위치 임베딩 from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') sentence1 = "What a beautiful day!" sentence2 = "Nvidia Titan XP has 12GB of VRAM" # 1. 토큰화 결과 print(sentence1, '토큰화 결과:', tokenizer.tokenize(sentence1)) print(sentence2, '토큰화 결과:', tokenizer.tokenize(sentence2)) """ What a beautiful day! 토큰화 결과: ['what'.. 이전 1 다음
