KoBERT 사전학습모형 (1) 썸네일형 리스트형 한국어 문서에 대한 BERT 활용 (2) 16.2 KoBERT 사전학습모형에 대한 파이토치 기반 미세조정학습 !pip install sentencepiece !pip install 'git+https://github.com/SKTBrain/KoBERT.git#egg=kobert_tokenizer&subdirectory=kobert_hf' del model del trainer torch.cuda.empty_cache() from kobert_tokenizer import KoBERTTokenizer tokenizer = KoBERTTokenizer.from_pretrained('skt/kobert-base-v1') print(tokenizer.tokenize("안녕하세요. 반갑습니다.")) inputs = tokenizer("안녕하세요. 반갑습.. 이전 1 다음