분류 전체보기 (291) 썸네일형 리스트형 인공지능에서의 분류 (3) 대표적인 분류 알고리즘 로지스틱 회귀분석(Logisitc Regression) 이름과 달리 로지스틱 회귀는 실제로 분류 알고리즘입니다. 결과가 두 가지 가능한 범주(예: '예' 또는 '아니오') 중 하나가 될 수 있는 이진 분류 문제에 유용합니다. 은행이 대출 신청을 승인할지 여부를 결정하는 것을 고려해 보면, 로지스틱 회귀 분석을 사용하여 은행은 신용 이력, 연간 소득 및 대출 금액과 같은 특성에 따라 '대출 불이행 의지'와 '대출 불이행 의지'의 두 그룹으로 분류할 수 있습니다. 의사결정 트리(Dicision Trees) 의사결정 트리는 나무와 같은 의사결정 모델을 사용하는 직관적이고 이해하기 쉬운 분류 알고리즘입니다. 각 '가지'는 선택 또는 조건을 나타내고, 각 '잎'은 결과 또는 클래스를 나타냅.. 인공지능에서의 분류 (2) 분류 알고리즘의 학습 인공지능 분류 알고리즘의 훈련은 복잡해 보이지만, 그것은 인간이 배우는 방법과 유사합니다. 아이들이 동물을 식별하는 방법을 생각해 보면 호랑이를 위한 줄무늬 또는 코끼리를 위한 코와 같은 특정한 특징을 그들이 보여준 라벨이 붙은 이미지로부터 연관시킵니다. 분류 알고리즘은 지도 학습이라는 방법을 사용하여 현저하게 유사한 방식으로 훈련됩니다. 모델 학습(Model Learning) 이 단계에서는 분류 알고리즘에 레이블로 표시된 동물 이미지를 보여주는 것과 같이 모든 데이터 포인트에 올바른 클래스로 레이블이 지정된 데이터 세트가 제공됩니다. 이는 훈련 데이터로 알려져 있습니다. 알고리즘의 작업은 이 데이터를 연구하고 입력 기능을 올바른 클래스 레이블과 연결하는 방법을 배우는 것입니다. 예.. 인공지능에서의 분류 (1) 바닥부터 천장까지 책으로 가득 찬 우뚝 솟은 선반이 거대한 도서관의 입구에 서 있는 것을 상상해 보세요. 이 상황에서 책들을 소설, 비소설, 미스터리, 그리고 로맨스의 범주로 분류하려고 하면 이것은 힘든 일처럼 보입니다. 이제 로봇이 여러분을 위해 이 일을 하도록 훈련시킬 수 있다고 상상해 보세요. 이는 각 범주를 학습하고 전체 도서관의 책들을 정확하고 효율적으로 분류합니다. 인공지능의 분류는 이것을 훨씬 더 복잡하고 큰 규모에서 수행하게 됩니다. AI 데이터 분류는 데이터를 미리 정의된 클래스 또는 레이블로 분류하도록 AI 시스템이 훈련되는 과정입니다. 과거 데이터의 패턴으로부터 학습함으로써, AI 분류는 방대한 양의 데이터를 통해 정렬하여 디지털 카오스로부터 질서를 만듭니다. 인공지능에서 사용되는 분.. 한국어 문서에 대한 BERT 활용 (2) 16.2 KoBERT 사전학습모형에 대한 파이토치 기반 미세조정학습 !pip install sentencepiece !pip install 'git+https://github.com/SKTBrain/KoBERT.git#egg=kobert_tokenizer&subdirectory=kobert_hf' del model del trainer torch.cuda.empty_cache() from kobert_tokenizer import KoBERTTokenizer tokenizer = KoBERTTokenizer.from_pretrained('skt/kobert-base-v1') print(tokenizer.tokenize("안녕하세요. 반갑습니다.")) inputs = tokenizer("안녕하세요. 반갑습.. 한국어 문서에 대한 BERT 활용 (1) 16.1 다중 언어 BERT 사전학습 모형의 미세조정학습 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df = pd.read_csv('/content/daum_movie_review.csv') # rating이 6보다 작으면 0 즉 부정, 6 이상이면 긍정으로 라벨 생성 y = [0 if rate < 6 else 1 for rate in df.rating] # 데이터셋을 학습, 검증, 평가의 세 데이터셋으로 분리 X_train_val, X_test, y_train_val, y_test = train_test_split(df.review.tolist(), y, random_state=0).. BERT 사전학습 모형에 대한 미세조정학습 (3) 15.3 파이토치를 이용한 미세조정학습 del model del trainer torch.cuda.empty_cache() from torch.utils.data import DataLoader train_loader = DataLoader(train_dataset, shuffle=True, batch_size=8) from transformers import BertModel bert_model = BertModel.from_pretrained('bert-base-uncased') # BERT를 포함한 신경망 모형 class MyModel(torch.nn.Module): def __init__(self, pretrained_model, token_size, num_labels): super(MyMode.. BERT 사전학습 모형에 대한 미세조정학습 (2) 15.2 트랜스포머의 트레이너를 이용한 미세조정학습 import nltk from nltk.corpus import movie_reviews from sklearn.model_selection import train_test_split #sklearn에서 제공하는 split 함수를 사용 import numpy as np nltk.download('movie_reviews') fileids = movie_reviews.fileids() #movie review data에서 file id를 가져옴 reviews = [movie_reviews.raw(fileid) for fileid in fileids] #file id를 이용해 raw text file을 가져옴 categories = [movie_review.. BERT 사전학습 모형에 대한 미세조정학습 (1) 15.1 BERT 학습을 위한 전처리 토큰 임베딩 구간 임베딩 위치 임베딩 from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') sentence1 = "What a beautiful day!" sentence2 = "Nvidia Titan XP has 12GB of VRAM" # 1. 토큰화 결과 print(sentence1, '토큰화 결과:', tokenizer.tokenize(sentence1)) print(sentence2, '토큰화 결과:', tokenizer.tokenize(sentence2)) """ What a beautiful day! 토큰화 결과: ['what'.. BERT의 이해와 간단한 활용 (2) 14.4 사전학습된 BERT 모형의 직접 사용방법 pip install transformers from transformers import pipeline clf = pipeline("sentiment-analysis") result = clf("what a beautiful day!")[0] print("감성분석 결과: %s, 감성스코어: %0.4f" % (result['label'], result['score'])) """ 감성분석 결과: POSITIVE, 감성스코어: 0.9999 """ from transformers import pipeline text_generator = pipeline("text-generation") result = text_generator("Alice was beginn.. BERT의 이해와 간단한 활용 (1) 14.1 왜 언어 모델이 중요한가? 언어 모델: 문장 혹은 단어의 시퀀스에 대해 확률을 할당하는 모델 GPT(Generative Pre-trained Transformer)가 언어 모델로 학습한 대표적인 모형 14.2 BERT의 구조 BERT는 언어 모델 기반의 학습을 이용해 언어에 대한 이해를 높이는 데 목적이 있음 GPT가 단방향 혹은 순방향으로만 셀프 어텐션만 사용하는 것에 비해 BERT는 양방향 셀프 어텐션을 모두 활용할 수 있음 14.3 언어모델을 이용한 사전학습과 미세조정학습 사전학습: 언어에 대한 이해를 높이기 위한 비지도학습 미세조정학습: 실제 수행하고자 하는 작업에 대한 지도학습 BERT는 'masking', 단어를 가리고, 가린 단어를 예측하게 하는 것으로 언어 모델을 학습 BERT에서.. 이전 1 ··· 3 4 5 6 7 8 9 ··· 30 다음
