티스토리

IT & technology

검색하기

블로그 홈

IT & technology

bloginformation.co.kr/m

정보전달자T 님의 블로그입니다.

구독자: 0

방명록 방문하기

반응형

주요 글 목록

한국어 문서에 대한 BERT 활용 (2) 16.2 KoBERT 사전학습모형에 대한 파이토치 기반 미세조정학습 !pip install sentencepiece !pip install 'git+https://github.com/SKTBrain/KoBERT.git#egg=kobert_tokenizer&subdirectory=kobert_hf' del model del trainer torch.cuda.empty_cache() from kobert_tokenizer import KoBERTTokenizer tokenizer = KoBERTTokenizer.from_pretrained('skt/kobert-base-v1') print(tokenizer.tokenize("안녕하세요. 반갑습니다.")) inputs = tokenizer("안녕하세요. 반갑습.. 공감수 0 댓글수 0 2023. 8. 6.
한국어 문서에 대한 BERT 활용 (1) 16.1 다중 언어 BERT 사전학습 모형의 미세조정학습 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df = pd.read_csv('/content/daum_movie_review.csv') # rating이 6보다 작으면 0 즉 부정, 6 이상이면 긍정으로 라벨 생성 y = [0 if rate < 6 else 1 for rate in df.rating] # 데이터셋을 학습, 검증, 평가의 세 데이터셋으로 분리 X_train_val, X_test, y_train_val, y_test = train_test_split(df.review.tolist(), y, random_state=0).. 공감수 0 댓글수 0 2023. 8. 5.
BERT 사전학습 모형에 대한 미세조정학습 (3) 15.3 파이토치를 이용한 미세조정학습 del model del trainer torch.cuda.empty_cache() from torch.utils.data import DataLoader train_loader = DataLoader(train_dataset, shuffle=True, batch_size=8) from transformers import BertModel bert_model = BertModel.from_pretrained('bert-base-uncased') # BERT를 포함한 신경망 모형 class MyModel(torch.nn.Module): def __init__(self, pretrained_model, token_size, num_labels): super(MyMode.. 공감수 0 댓글수 0 2023. 8. 4.
BERT 사전학습 모형에 대한 미세조정학습 (2) 15.2 트랜스포머의 트레이너를 이용한 미세조정학습 import nltk from nltk.corpus import movie_reviews from sklearn.model_selection import train_test_split #sklearn에서 제공하는 split 함수를 사용 import numpy as np nltk.download('movie_reviews') fileids = movie_reviews.fileids() #movie review data에서 file id를 가져옴 reviews = [movie_reviews.raw(fileid) for fileid in fileids] #file id를 이용해 raw text file을 가져옴 categories = [movie_review.. 공감수 0 댓글수 0 2023. 8. 3.
BERT 사전학습 모형에 대한 미세조정학습 (1) 15.1 BERT 학습을 위한 전처리 토큰 임베딩 구간 임베딩 위치 임베딩 from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') sentence1 = "What a beautiful day!" sentence2 = "Nvidia Titan XP has 12GB of VRAM" # 1. 토큰화 결과 print(sentence1, '토큰화 결과:', tokenizer.tokenize(sentence1)) print(sentence2, '토큰화 결과:', tokenizer.tokenize(sentence2)) """ What a beautiful day! 토큰화 결과: ['what'.. 공감수 0 댓글수 0 2023. 8. 2.
BERT의 이해와 간단한 활용 (2) 14.4 사전학습된 BERT 모형의 직접 사용방법 pip install transformers from transformers import pipeline clf = pipeline("sentiment-analysis") result = clf("what a beautiful day!")[0] print("감성분석 결과: %s, 감성스코어: %0.4f" % (result['label'], result['score'])) """ 감성분석 결과: POSITIVE, 감성스코어: 0.9999 """ from transformers import pipeline text_generator = pipeline("text-generation") result = text_generator("Alice was beginn.. 공감수 0 댓글수 0 2023. 8. 1.
BERT의 이해와 간단한 활용 (1) 14.1 왜 언어 모델이 중요한가? 언어 모델: 문장 혹은 단어의 시퀀스에 대해 확률을 할당하는 모델 GPT(Generative Pre-trained Transformer)가 언어 모델로 학습한 대표적인 모형 14.2 BERT의 구조 BERT는 언어 모델 기반의 학습을 이용해 언어에 대한 이해를 높이는 데 목적이 있음 GPT가 단방향 혹은 순방향으로만 셀프 어텐션만 사용하는 것에 비해 BERT는 양방향 셀프 어텐션을 모두 활용할 수 있음 14.3 언어모델을 이용한 사전학습과 미세조정학습 사전학습: 언어에 대한 이해를 높이기 위한 비지도학습 미세조정학습: 실제 수행하고자 하는 작업에 대한 지도학습 BERT는 'masking', 단어를 가리고, 가린 단어를 예측하게 하는 것으로 언어 모델을 학습 BERT에서.. 공감수 0 댓글수 0 2023. 7. 31.
어텐션(Attention)과 트랜스포머 (2) 13.3 셀프 어텐션(Self-attention)과 트랜스포머 13.3.1 셀프 어텐션의 이해 셀프 어텐션의 목적은 문장 내에서 단어 간 영향을 표현하는 것 어떤 단어를 벡터로 임베딩할 때, 그 단어에 영향을 미치는 다른 단어들의 정보를 함께 인코딩하고 싶은 것 각 단어들에 대해 그 단어에 영향을 미치는 단어들의 정보를 선별해 자신에게 축적 이 경우 각 단어가 모두 자신에게 오는 어텐션에 대한 정보를 갖고 있으므로 RNN 혹은 LSTM에 기반한 seq2seq 모형과는 달리 어느 한 벡터가 전체 문맥에 대한 정보를 축적하고 있지는 않음 13.3.2 트랜스포머의 구조 현재 딥러닝을 이용한 자연어 처리 모형의 정점 BERT(Bidirectional Encoder Representations from Trans.. 공감수 0 댓글수 0 2023. 7. 30.
어텐션(Attention)과 트랜스포머 (1) 13.1 Seq2seq: 번역에서 시작한 딥러닝 기법 seq2seq: 일련의 단어들이 들어오고 이를 이용해서 다시 일련의 단어들을 생성해야 하는 문제 seq2seq 문제에 적용할 수 있는 가장 단순한 딥러닝 모형은 RNN 모형은 인코더와 디코더로 이루어짐 13.2 어텐션을 이용한 성능의 향상 컨텍스트 벡터: 추가된 부분의 인코더 윗부분, 예측에 가장 많은 영향을 미치는 단어에 대한 정보가 담겨 있음 어텐션 메커니즘은 번역의 성능을 향상시킨 결정적인 발견 중 하나 ※ 해당 내용은 의 내용을 토대로 학습하며 정리한 내용입니다. 공감수 0 댓글수 0 2023. 7. 29.
CNN - 이미지 분류를 응용한 문서 분류 (1) 12.1 CNN의 등장과 작동 원리 CNN은 딥러닝 기반의 학습을 이용해 26% 정도였던 오류율을 16%까지 떨어뜨림 CNN에서 주변 정보들을 요약하고 특성을 추출하는 과정은 컨볼루션과 풀링 12.2 CNN을 이용한 문서 분류 12.2.1 CNN을 이용한 문서 분류의 원리 단어들의 연속된 나열에 대해 앞뒤 단어들 간의 주변정보를 요약해낼 수 있다면 문맥을 파악하는 것이 가능 문서 분류에서는 이미지에서 일반적으로 사용하는 conv2D 계층 대신 한 방향으로만 움직이는 conv1D 계층을 사용 단어의 시퀀스로부터 워드 임베딩을 이용해 각 문서에 대해 2차원 행렬로 변환하고, 컨볼루션과 풀링의 반복을 통해 요약 정보를 추출한 다음, 완전 연결 계층으로 구성된 분류기를 적용해 문서를 판별 12.2.2 CNN을 .. 공감수 0 댓글수 0 2023. 7. 28.
Word2Vec, ELMo, Doc2Vec의 이해 (2) 11.2 ELMo - 문맥에 따른 단어 의미의 구분 11.2.1 Word2Vec의 문제점 동음이의어 구분의 여러움 ELMo(Embeddings from Language Model)를 통해 자연어 처리의 성능 향상 ELMo: 문맥을 반영한 워드 임베딩 모형 중 하나 11.2.2 ELMo의 구조 사전학습된 양방향 LSTM을 사용해 임베딩을 수행 ELMo 임베딩 벡터 산출 과정 11.3 Doc2Vec - 문맥을 고려한 문서 임베딩 문서에 대해 직접 임베딩함 Doc2Vec의 학습 구조 DM(Distributed Memory): Word2Vec의 CBOW에 문서 ID를 추가한 형태 DBOW(Distributed Bag of Words): Skip-Gram에 문서 ID를 추가한 형태 ※ 해당 내용은 의 내용을 토대.. 공감수 0 댓글수 0 2023. 7. 27.
Word2Vec, ELMo, Doc2Vec의 이해 (1) 11.1 Word2Vec-대표적인 워드 임베딩 기법 11.1.1 Word2Vec 학습의 원리 Word2Vec 기법에서 학습의 목적은 단어에 의미적인 정보를 함축함으로써 유사도를 계산하거나 연산을 수행하고, 더 나아가서 학습된 결과를 다른 작업에서도 사용할 수 있는 전이학습을 지원하는 것 Word2Vec은 주변의 단어를 이용해 중심에 있는 단어를 예측하도록 학습함(CBOW에 한해서) CBOW(Continuous Bag of Words), Skip-Gram의 두 가지 학습 방식을 가짐 CBOW: 문장에서 윈도(앞뒤 단어들을 몇 개씩 예측에 사용할지 결정하는 범위)를 뒤로 이동하며 학습에 사용할 입력과 출력을 만듬 Skip-Gram: CBOW와 달리 중심 단어를 입력으로 해서 주변의 여러 단어들을 예측 11... 공감수 0 댓글수 0 2023. 7. 26.
RNN-딥러닝을 이용한 문서 분류 (6) 10.4 LSTM, Bi-LSTM과 GRU를 이용한 성능 개선 LSTM은 장기 기억정보를 추가함으로써 장기의존성을 학습 GRU(Gated Recurrent Unit): LSTM을 간소화한 모형으로 계산량이 적고 속도가 빠르면서도 좋은 성능을 냄 Bi-LSTM: 역방향의 영향을 함께 구현하기 위해 사용 from tensorflow.keras.optimizers import legacy as legacy_optimizers from tensorflow.keras import optimizers model = Sequential([ Embedding(max_words, 64), Bidirectional(LSTM(64)), Dense(64, activation='relu'), Dense(1, activation.. 공감수 0 댓글수 0 2023. 7. 25.
RNN-딥러닝을 이용한 문서 분류 (5) 10.3 RNN을 이용한 문서 분류 10.3.3 문서의 순서정보를 활용하는 RNN 기반 문서분류 Flatten() 대신에 SimpleRNN() 레이어를 사용 from tensorflow.keras.layers import SimpleRNN from tensorflow.keras.optimizers import Adam model = Sequential([ Embedding(max_words, 32), SimpleRNN(32), # 펼쳐서 flat하게 만드는 대신 RNN 모형을 사용, maxlen만큼의 시계열 데이터 Dense(32, activation='relu'), Dense(1, activation='sigmoid') ]) model.summary() adam = Adam(learning_rate=1.. 공감수 0 댓글수 0 2023. 7. 24.
RNN-딥러닝을 이용한 문서 분류 (4) 10.3 RNN을 이용한 문서 분류 10.3.2 RNN이 아닌 일반적인 신경망 모형을 이용한 분류 임베딩 레이어, Flatten() 레이어, Dense() 레이어로 이루어진 Sequential 모형 # 케라스 모형 생성 및 학습 from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Flatten, Dense, Embedding model = Sequential([ #순차적 모형 Embedding(max_words, 32, input_length=maxlen), #word embedding layer 생성 # max_words는 one-hot encoding을 할 때의 vector 크기가 됨 - 사용된 단어의 수.. 공감수 0 댓글수 0 2023. 7. 23.
RNN-딥러닝을 이용한 문서 분류 (3) 10.3 RNN을 이용한 문서 분류 10.3.1 워드 임베딩을 위한 데이터 준비 import nltk nltk.download('movie_reviews') """ [nltk_data] Downloading package movie_reviews to /root/nltk_data... [nltk_data] Unzipping corpora/movie_reviews.zip. True """ from nltk.corpus import movie_reviews fileids = movie_reviews.fileids() #movie review data에서 file id를 가져옴 reviews = [movie_reviews.raw(fileid) for fileid in fileids] #file id를 이용해 .. 공감수 0 댓글수 0 2023. 7. 22.
RNN-딥러닝을 이용한 문서 분류 (2) 10.2 워드 임베딩의 이해 10.2.1 워드 임베딩이란? 범주형 데이터를 수치로 변환하는 방법 원핫 인코딩(one-hot encoding): 범주형 데이터를 벡터 형태의 연속된 수치로 변환하는 것 원핫 벡터: 원핫 인코딩의 결과 임베딩: 범주형 데이터를 연속적인 값을 갖는, 상대적으로 작은 크기의 벡터로 변환하는 작업 밀집 벡터: 희소 벡터의 반대개념 임베딩을 수행하는 이유 차원이 큰 원핫 벡터를 그대로 쓰면 연산이 비효율적 대상 간의 의미적 유사도를 계산할 수 있음 단어가 의미적인 정보를 함축함으로써 연산이 가능해질 수 있음 전이학습을 가능하게 함 10.2.2 BOW와 문서 임베딩 BOW에서는 단어가 아닌 문서 단위로 임베딩이 이루어짐 문맥에 대한 파악은 이뤄지지 않음 10.2.3 워드 임베딩과 딥러.. 공감수 0 댓글수 0 2023. 7. 21.
RNN-딥러닝을 이용한 문서 분류 (1) 10.1 왜 RNN일까? 10.1.1 RNN의 이해 RNN(Recurrent Neural NEtworks): 순환 신경망, 시계열 데이터를 다루기 위한 모형 시계열 데이터: 어떤 변수의 값이 시간에 따라 변화하는 것 시계열 모형에서는 입력으로 일정 기간의 연속된 값을 사용 10.1.2 RNN이 문서 분류에 적합한 이유 사람이 문맥을 이해하는 것이 순차적으로 들으면서 이해하는 형태 RNN은 앞에서부터 순차적으로 미치는 영향을 계속 축적하는 모형임 RNN은 구조상 문맥을 파악하기에 좋은 모형 RNN은 딥러닝의 대표적인 문제인 경사소실 문제가 심각 개념적으로 보았을 때 RNN은 문맥의 파악을 잘 반영하며 텍스트 마이닝에 딥러닝을 적용하는 의미 깊은 출발점이 됨 10.1.3 RNN의 문서 분류 적용방향 각 단어.. 공감수 0 댓글수 0 2023. 7. 20.
인공신경망과 딥러닝의 이해 9.1 인공신경망의 이해 9.1.1 인공신경망의 구조와 구성요소 인공신경망은 인간의 뇌를 본따서 ㅁ나들어짐 뇌의 뉴런들은 수상돌기를 통해 다른 뉴런들로부터 입력신호를 받아들이고 변환과정을 수행한 후에 축삭돌기를 이용해 다른 뉴런에 전달 인공신경망에서는 노드가 뉴런과 같은 역할을 함 여러 노드에서 값을 받아 가중합을 계산하고 활성화 함수를 적용해서 값을 변환한 후 다음 노드로 전달 9.1.2 인공신경망에서의 학습 학습: 주어진 학습 데이터를 이용해 올바른 가중치를 찾아가는, 조정하는 과정 인공신경망은 입력값들에 대해 목표 출력값 혹은 실제 출력값을 매칭시킨 학습자료를 이용해서, 주어진 입력값에 대해 매칭되는 출력값을 예측할 수 있도록 가중치를 조정하는 지도학습 사용 9.1.3 손실함수의 이해 손실 함수: .. 공감수 0 댓글수 0 2023. 7. 19.
감성 분석 (3) 8.3 학습을 통한 머신러닝 기반의 감성 분석 8.3.1 NLTK 영화 리뷰에 대한 머신러닝 기반 감성 분석 from sklearn.model_selection import train_test_split #sklearn에서 제공하는 split 함수를 사용 X_train, X_test, y_train, y_test = train_test_split(reviews, categories, test_size=0.2, random_state=7) print('Train set count: ', len(X_train)) print('Test set count: ', len(X_test)) """ Train set count: 1600 Test set count: 400 /usr/local/lib/python3.10.. 공감수 0 댓글수 0 2023. 7. 18.
감성 분석 (2) 8.2 감성 사전을 이용한 영화 리뷰 감성 분석 8.2.3 AFINN을 이용한 감성 분석 AFINN 어휘 목록은 덴마크의 핀 아럽 닐셀이 2009년부터 2011년까지 수작업으로 -5 에서 5 사이의 극성을 부여한 영어 단어들의 리스트 !pip install afinn from afinn import Afinn def sentiment_Afinn(docs): afn = Afinn(emoticons=True) results = [] for doc in docs: if afn.score(doc) > 0: results.append('pos') else: results.append('neg') return results print('#Afinn을 이용한 리뷰 감성분석의 정확도:', accuracy_score(c.. 공감수 0 댓글수 0 2023. 7. 17.
감성 분석 (1) 8.1 감성분석의 이해 감성분석(Sentiment Analysis): 텍스트에 나타난 의견, 평가, 태도와 같은 주관적인 정보를 분석하는 것 감성: 어떤 대상에 대한 주관적인 감정으로 긍정, 중립, 부정으로 나뉘어짐 8.1.1 어휘 기반의 감성 분석 감성이 표현될 수 있는 명사, 형용사, 동사를 대상으로 모든 단어에 대해 긍정 혹은 부정의 감성을 붙여서 감성 사전을 구축한 후에, 이를 기반으로 텍스트에 대한 감성 분석을 수행하는 방식 특별한 경우가 아니면 외부의 감성 사전을 이용 8.1.2 머신러닝 기반의 감성 분석 학습을 위한 데이터셋이 필요함 머신러닝 기반의 감성 분석은 학습에 사용한 말뭉치의 영향을 많이 받음 8.2 감성 사전을 이용한 영화 리뷰 감성 분석 8.2.1 NLTK 영화 리뷰 데이터 준비.. 공감수 0 댓글수 0 2023. 7. 16.
토픽 모델링으로 주제 찾기 (5) 7.4 토픽 트렌드로 시간에 따른 주제의 변화 알아내기 !pip install wget import os import wget import ssl data_dir = 'data' url = 'https://s3.ap-northeast-2.amazonaws.com/data10902/petition/petition_sampled.csv' ssl._create_default_https_context = ssl._create_unverified_context if not os.path.exists(data_dir): os.mkdir(data_dir) wget.download(url, data_dir) """ /usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.. 공감수 0 댓글수 0 2023. 7. 15.
토픽 모델링으로 주제 찾기 (4) 7.3 Gensim을 이용한 토픽 모델링 7.3.2 혼란도와 토픽 응집도를 이용한 최적값 선택 from gensim.models import CoherenceModel cm = CoherenceModel(model=model, corpus=corpus, coherence='u_mass') coherence = cm.get_coherence() print(coherence) """ /usr/local/lib/python3.10/dist-packages/ipykernel/ipkernel.py:283: DeprecationWarning: `should_run_async` will not call `transform_cell` automatically in the future. Please pass the re.. 공감수 0 댓글수 0 2023. 7. 14.
토픽 모델링으로 주제 찾기 (3) 7.3 Gensim을 이용한 토픽 모델링 7.3.1 Gensim 사용법과 시각화 Gensim: 토픽 모델링을 비롯해 의미적인 자연어 처리를 위한 다양한 라이브러리 !pip install --upgrade gensim import nltk nltk.download('stopwords') """ [nltk_data] Downloading package stopwords to /root/nltk_data... [nltk_data] Unzipping corpora/stopwords.zip. True """ # 필요한 library들을 import from nltk.corpus import stopwords from nltk.tokenize import RegexpTokenizer cachedStopWords =.. 공감수 0 댓글수 0 2023. 7. 13.
토픽 모델링으로 주제 찾기 (2) 7.2 사이킷런을 이용한 토픽 모델링 7.2.1 데이터 준비 from sklearn.datasets import fetch_20newsgroups categories = ['alt.atheism', 'talk.religion.misc', 'comp.graphics', 'sci.space', 'comp.sys.ibm.pc.hardware', 'sci.crypt'] #학습 데이터셋을 가져옴 newsgroups_train = fetch_20newsgroups(subset='train', categories=categories) print('#Train set size:', len(newsgroups_train.data)) print('#Selected categories:', newsgroups_train.t.. 공감수 0 댓글수 0 2023. 7. 12.
토픽 모델링으로 주제 찾기 (1) 7.1 토픽 모델링과 LDA의 이해 7.1.1 토픽 모델링이란? 텍스트 마이닝 기법 중에서 가장 많이 활용되는 기법 중 하나로, 다양한 문서 집합에 내재한 토픽, 주제를 파악할 때 사용하는 방법 구체적이고 명확하게 의미를 보여줄 수 있음 7.1.2 LDA 모형의 구조 LDA(Latent Dirichlet Allocation): 토픽 모델리에 가장 널리 쓰이는 기본적인 알고리즘 7.1.3 모형의 평가와 적절한 토픽 수의 결정 Perplexity: 혼란도, 혼잡도, 특정한 확률 모형이 실제로 관측되는 값을 얼마나 유사하게 예측해내는지를 평가할 때 사용, 값이 작을수록 좋음 토픽 응집도(coherence): 각 토픽에서 상위 비중을 차지하는 단어들이 의미적으로 유사한지를 나타내는 척도, 값이 클수록 좋음 토픽.. 공감수 0 댓글수 0 2023. 7. 11.
차원축소 (3) 6.4 tSNE를 이용한 시각화와 차원축소의 효과 tSNE: 시각화를 위해 사용되는 비지도학습 알고리즘, 다차원 데이터 사이의 거리를 가장 잘 보존하는 2차원 좌표를 찾기 위해 사용 %matplotlib inline import matplotlib.pyplot as plt import matplotlib as mpl # 그래프에서 마이너스 폰트 깨지는 문제에 대한 대처 mpl.rcParams['axes.unicode_minus'] = False from sklearn.manifold import TSNE tfidf = TfidfVectorizer(tokenizer=tokenizer) X_train_tfidf = tfidf.fit_transform(X_train) # train set을 변환 X_test_.. 공감수 0 댓글수 0 2023. 7. 10.
차원축소 (2) 6.3 LSA를 이용한 차원 축소와 의미 파악 LSA(Latent Semantic Analysis): 잠재 의미 분석 LSA에서 차원 축소는 SVD의 변형인 절단된 SVD(Truncated SVD)를 통해 이루어짐 6.3.1 LSA를 이용한 차원 축소와 성능 from sklearn.decomposition import TruncatedSVD svd = TruncatedSVD(n_components=2000, random_state=7) #압축할 component의 수 지정 X_train_lsa = svd.fit_transform(X_train_tfidf) X_test_lsa = svd.transform(X_test_tfidf) print('LSA Converted X shape:', X_train_lsa.. 공감수 0 댓글수 0 2023. 7. 9.
차원축소 (1) 6.1 차원의 저주와 차원 축소의 이유 차원의 저주: 낮은 차원에서는 발생하지 않던 문제가 차원이 커지면서 발생하는 것 해결방법 데이터를 충분히 늘리는 것 BOW로 표현한 문서의 특성 수를 줄임 6.2 PCA를 이용한 차원 축소 PCA(Principal Component Analysis): 주성분 분석, 데이터의 분산을 최대한 보존하는 새로운 축을 찾아 변환함으로써 차원을 축소하고자 하는 방법 from sklearn.datasets import fetch_20newsgroups #20개의 토픽 중 선택하고자 하는 토픽을 리스트로 생성 categories = ['alt.atheism', 'talk.religion.misc', 'comp.graphics', 'sci.space'] #학습 데이터셋을 가져옴 n.. 공감수 0 댓글수 0 2023. 7. 8.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.