티스토리

천방지축 Tech 일기장
검색하기

블로그 홈

천방지축 Tech 일기장

heeya-stupidbutstudying.tistory.com/m

머리가 나쁘면 몸이 고생한다

구독자
5
방명록 방문하기
공지 Contact Me 🙌 모두보기

주요 글 목록

  • [ML] YAKE! 예제 및 실습 try-outs [ML] YAKE! (1) 논문 리뷰 포스트에서 YAKE!의 알고리즘과 피처에 대해서 설명했었다. 이번 포스트에서는 임의의 도큐먼트들을 가지고 실습을 해보았다. GitHub - LIAAD/yake: Single-document unsupervised keyword extraction Single-document unsupervised keyword extraction. Contribute to LIAAD/yake development by creating an account on GitHub. github.com 필자가 YAKE!를 써보면서 종합적으로 느꼈던 장점을 정리해보자면 n-gram range를 heuristic하게 정하지 않아도 됨(물론 max값을 정해주는데 있어 experiments는 불가피하.. 공감수 1 댓글수 0 2022. 4. 29.
  • [ML] 잠재 디리클레 할당 예제 - LDA(Latent Dirichlet Allocation) (2) LDA topic modeling with BoW¶ In [1]: import re import os import glob import numpy as np import pandas as pd import nltk import gensim import gensim.corpora as corpora from timeit import default_timer as timer from datetime import timedelta from nltk.corpus import stopwords from nltk.tokenize import word_tokenize load and concat dataset¶ http://mlg.ucd.ie/datasets/bbc.html 에서 가져온 오픈소스 bbc 뉴스데이터 2.. 공감수 0 댓글수 0 2022. 3. 23.
  • [ML] 토픽 모델링(Topic Modeling) - LSA와 LDA Topic modeling is a method for unsupervised classification of such documents, similar to clustering on numeric data, which finds natural groups of items even when we're not sure what we're looking for. 토픽 모델링(topic modeling)은 문서 집합(코퍼스) 안에서의 추상적인 "주제"를 찾기 위한 비지도학습 분류 방법이다. 사람은 글을 읽으며 자연스럽게 문서의 중심 아이디어를 찾아낸다. 마찬가지로 토픽 모델링은 머신러닝 및 자연어 처리 분야에서 컴퓨터가 텍스트 본문의 숨겨진 의미 구조를 발견하기 위해 사용되는 텍스트 마이닝 기법이라고 할 수 .. 공감수 1 댓글수 0 2022. 3. 13.
  • [ML] 앙상블(Ensemble Learning) - Voting, Bagging, Boosting 포스트 순서가 역순으로 거슬러 올라가는 것 같지만ㅜㅠ 여러 분류기들을 다루는 김에 앙상블의 종류에 대해 정리해보려고 한다. 앙상블 학습(ensemble learning)이란 무엇인가? 여러 개의 '약한 모델'(보통 weak learner라고 통칭한다)을 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법이다. 어떤 모델을 어떻게 쌓느냐에 따라 통상적으로 세 가지 방법으로 나뉜다. Voting 방식 서로 다른 알고리즘을 가진 모델을 병렬로 결합한다. 최종 output이 continuous value이면(회귀) 각 모델의 예측값을 더해 평균을 냄으로써 앙상블 모델의 출력을 얻을 수 있다. 반면 최종 output이 class label이면(분류) 다음과 같은 두 방식 중 하나를 선택해서 결.. 공감수 1 댓글수 0 2021. 10. 18.
  • [ML] XGBoost(eXtreme Gradient Boost) 파헤치기 [ML] GBM 알고리즘 및 LightGBM 소개글에서 부스팅 앙상블 학습과 GBM이란 무엇인지 소개한 적이 있다. 사실 GBM 설명 이후에 LightGBM이 바로 나오는게 아니라 XGBoost가 먼저 나왔어야 했다... 왜냐하면 LightGBM이나 CatBoost는 다 XGBoost를 보다 강력하게 만드려는 시도에서 나온 것이기 때문이다. 따라서 오늘은 XGBoost를 살펴보려고 한다. XGBoost: A Scalable Tree Boosting System 논문 참고! 1. XGBoost 알고리즘 특징 소개 논문은 다음과 같은 contribution들을 나열한다. We design and build a highly scalable end-to-end tree boosting system. We pro.. 공감수 0 댓글수 0 2021. 10. 12.
  • [ML] CatBoost 소개 - Ordered Boosting, 범주형 피처 처리 우리는 이 포스트에서 LightGBM을 공부하면서 그래디언트 부스팅에 대해서도 알아봤다. 다시 소개하자면, 그래디언트 부스팅(gradient boosting)이란 경사하강법을 통해 가중치를 업데이트하면서 여러 개의 weak learner를 순차적으로 학습-예측하는 앙상블(ensemble) 학습 방식이다. 이번에 알아볼 CatBoost도 결정 트리에서의 그래디언트 부스팅 알고리즘을 기반으로 한다. Yandex 연구원들과 엔지니어가 개발했으며, 검색, 추천 시스템, 날씨 예측 등의 작업에 많이 사용된다. 2017년에 출판된 논문 CatBoost: unbiased boosting with categorical features을 참고하라. 1. 장점 This paper presents the key algori.. 공감수 0 댓글수 0 2021. 10. 8.
  • [ML] GBM 알고리즘 및 LightGBM 소개 - 기본구조, parameters 1. 앙상블(Ensemble) - Boosting 머신러닝에서 앙상블 학습이란, 여러개의 다양한 모델의 예측 결과를 결합함으로써 단일 모델보다 신뢰성이 높은 예측값을 얻는 것이다. 캐글이나 데이콘 같은 대회에 참가하다보면 거의 모든 참가자들이 앙상블로 모델을 쌓아 성능을 극대화시키는 모습을 심심치 않게 볼 수 있다. 대표적으로 랜덤 포레스트(random forest)가 있으며, 앙상블 알고리즘을 사용해 단일 결정트리보다 좋은 성능을 내도록 만들어졌다. 이 포스트는 LightGBM을 소개하기 위해 쓰여진 것이므로 GBM이 사용하는 Boosting 학습 유형에 대해 설명할 것이다. 부스팅 알고리즘은 여러 개의 약한 학습기(weak learner)를 순차적으로 학습-예측하는 방식이다. 이때 잘못 예측한 데이터.. 공감수 0 댓글수 0 2021. 10. 8.
  • [ML] 결정트리(Decision Tree) - 기본구조와 CART, ID3 알고리즘 결정트리(Decision Tree)는 머신러닝 알고리즘 중 하나로, flowchart 같은 구조를 가진다. 기본적으로 결정트리는 데이터에 있는 규칙을 통해 데이터셋을 분류/예측하는 지도학습(supervised) 모델이다. 결정에 다다르기 위해 스무고개와 같은 예/아니오 질문을 이어나가면서 학습한다. 질문들은 다음과 같이 트리 구조로 나타낼 수 있다. mglearn.plots.plot_animal_tree() 각 네모칸을 트리의 노드(node)라고 하고, 특히 마지막 노드는 리프 노드(leaf node)라고 부른다(알고리즘 공부한 사람은 알겠지만 리프 노드=자식이 없는 노드 맞다, terminal node라고도 함). 에지(edge)는 질문의 답과 다음 질문을 연결한다. 기본 구조 scikit-learn의.. 공감수 0 댓글수 1 2021. 10. 3.
  • [ML] 모델 평가지표 - 오차행렬, PRC, ROC, AUC 평가지표의 중요성 통상적으로 정확도(accuracy)를 사용해 머신러닝이나 딥러닝 모델을 평가하곤 한다. 하지만 주어진 데이터셋에 대한 모델의 성능을 재는 방법은 그 외에도 많다. 실전에서 어떻게 적용할지에 따라 특정 평가 지표가 적합하지 않을 수 있으므로, 모델을 선택하고 하이퍼 파라미터를 튜닝할 때 올바른 지표를 선택하는 것이 중요하다. 불균형 데이터셋(imbalanced datasets)을 기반으로 이진 분류기를 만든다고 가정해보자. 대표적으로 어떤 아이템이 사용자에게 보여진 노출 데이터로 클릭을 예측하는 상황을 들 수 있다. 최종 목표는 특정 상품을 보여주면 사용자가 클릭을 할지 예측하는 것이다. 데이터셋은 '특정상품을 보여줌->클릭하지 않음(0)'과 '특정상품을 보여줌->클릭함(1)'로 나누어져.. 공감수 8 댓글수 3 2021. 10. 1.
  • [ML] 범주형 변수 처리 - Label Encoding, One-hot Encoding 범주형 변수 (categorical variable) 캐글에서 주워온 데이터를 사용해 변주형 변수를 처리하는 방법과 scikit-learn 예시를 정리해보려 한다. 데이터셋에 대한 자세한 설명은 링크를 통해 볼 수 있다. import pandas as pd import numpy as np from sklearn.model_selection import train_test_split df = pd.read_csv('gender_personal_preferences.csv') df 이 데이터셋을 이용해 어떤 사람의 성별이 여성(F)일지 남성(M)일지 예측하려고 한다. 데이터셋에는 사람이 선호하는 색깔, 음악 장르, 술, 음료 이렇게 4가지의 특성이 있다. 이 작업은 성별(Gender)이 F와 M이라는 두 .. 공감수 1 댓글수 0 2021. 9. 29.
  • [ML] 활성화 함수(Activation Function) 종류 정리 신경망에서는 노드에 들어오는 값들에 대해 곧바로 다음 레이어로 전달하지 않고 활성화 함수를 통과시킨 후 전달한다. 활성화 함수(activation function)는 입력 신호의 총합을 출력 신호로 변환하는 함수로, 입력 받은 신호를 얼마나 출력할지 결정하고 네트워크에 층을 쌓아 비선형성을 표현할 수 있도록 해준다. 활성화 함수는 주로 비선형이다. 왜 비선형인가? 선형함수를 사용할 시 층을 깊게 하는 의미가 줄어들기 때문이다. 예를 들어 16개의 은닉 유닛을 가진 2개의 완전 연결층과, 스칼라 값의 예측을 출력하는 세 번째 층을 쌓아보자. from keras import models from kears import layers model = models.Sequential() model.add(layer.. 공감수 8 댓글수 0 2021. 9. 29.
  • [ML] 신경망에서의 Optimizer - 역할과 종류 지난 포스트에서 손실함수란 무엇이고, 어떻게 하면 손실함수의 최솟값이 되는 점을 찾는지 살펴보았다. 우리는 '최적화(optimization)'를 통해 파라미터를 잘 찾아서 문제 해결에 적합한 모델을 결정한다. 이번 장에서는 옵티마이저를 등장한 순서대로 소개해보려고 한다. ** 옵티마이저 계보 출처 - https://www.slideshare.net/yongho/ss-79607172 옵티마이저 (Optimizer) 손실함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하느냐에 따라 달라진다. 경사하강법(gradient descent)은 가장 기본적이지만 가장 많이 사용되는 최적화 알고리즘이다. 손실 함수의 1차 도함수에 의존하는 first-order 최적화 알고리즘으로, 함수가 최소값에 도달할 수 .. 공감수 1 댓글수 0 2021. 9. 28.
  • [ML] 손실함수와 경사하강법 - Loss function & Gradient Descent 1. 손실함수 (Loss Function) 데이터 분석을 위한 수학 모델은 파라미터가 중요한 역할을 한다. 신경망에서는 가중치(weight)와 편향(bias)이 파라미터 역할을 담당한다. 이 파라미터에 현실의 데이터(신경망에서의 학습 데이터)를 적용하면 모델을 확정할 수 있다. 이를 수학에서는 '최적화', 신경망에서는 '학습'이라고 한다. 그렇다면 파라미터를 어떻게 결정할 수 있을까? 예측값과 실제값 사이의 오차가 모든 데이터를 대상으로 최소가 되도록 결정하면 된다. 손실함수란 모델의 파라미터를 이용하여 표현한 오차 전체의 함수이고, 우리는 손실함수가 최소가 되는 지점을 찾으면 된다. 손실함수는 비용함수(cost function), 목적함수(objective function), 오차함수(error fun.. 공감수 2 댓글수 0 2021. 9. 28.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.