본문 바로가기

AI/Machine Learning

[ML] YAKE! 예제 및 실습 try-outs
AI/Machine Learning 2022. 4. 29. [ML] YAKE! 예제 및 실습 try-outs [ML] YAKE! (1) 논문 리뷰 포스트에서 YAKE!의 알고리즘과 피처에 대해서 설명했었다. 이번 포스트에서는 임의의 도큐먼트들을 가지고 실습을 해보았다. GitHub - LIAAD/yake: Single-document unsupervised keyword extraction Single-document unsupervised keyword extraction. Contribute to LIAAD/yake development by creating an account on GitHub. github.com 필자가 YAKE!를 써보면서 종합적으로 느꼈던 장점을 정리해보자면 n-gram range를 heuristic하게 정하지 않아도 됨(물론 max값을 정해주는데 있어 experiments는 불가피하..
[ML] 잠재 디리클레 할당 예제 - LDA(Latent Dirichlet Allocation) (2)
AI/Machine Learning 2022. 3. 23. [ML] 잠재 디리클레 할당 예제 - LDA(Latent Dirichlet Allocation) (2) LDA topic modeling with BoW¶ In [1]: import re import os import glob import numpy as np import pandas as pd import nltk import gensim import gensim.corpora as corpora from timeit import default_timer as timer from datetime import timedelta from nltk.corpus import stopwords from nltk.tokenize import word_tokenize load and concat dataset¶ http://mlg.ucd.ie/datasets/bbc.html 에서 가져온 오픈소스 bbc 뉴스데이터 2..
[ML] 토픽 모델링(Topic Modeling) - LSA와 LDA
AI/Machine Learning 2022. 3. 13. [ML] 토픽 모델링(Topic Modeling) - LSA와 LDA Topic modeling is a method for unsupervised classification of such documents, similar to clustering on numeric data, which finds natural groups of items even when we're not sure what we're looking for. 토픽 모델링(topic modeling)은 문서 집합(코퍼스) 안에서의 추상적인 "주제"를 찾기 위한 비지도학습 분류 방법이다. 사람은 글을 읽으며 자연스럽게 문서의 중심 아이디어를 찾아낸다. 마찬가지로 토픽 모델링은 머신러닝 및 자연어 처리 분야에서 컴퓨터가 텍스트 본문의 숨겨진 의미 구조를 발견하기 위해 사용되는 텍스트 마이닝 기법이라고 할 수 ..
[ML] 앙상블(Ensemble Learning) - Voting, Bagging, Boosting
AI/Machine Learning 2021. 10. 18. [ML] 앙상블(Ensemble Learning) - Voting, Bagging, Boosting 포스트 순서가 역순으로 거슬러 올라가는 것 같지만ㅜㅠ 여러 분류기들을 다루는 김에 앙상블의 종류에 대해 정리해보려고 한다. 앙상블 학습(ensemble learning)이란 무엇인가? 여러 개의 '약한 모델'(보통 weak learner라고 통칭한다)을 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법이다. 어떤 모델을 어떻게 쌓느냐에 따라 통상적으로 세 가지 방법으로 나뉜다. Voting 방식 서로 다른 알고리즘을 가진 모델을 병렬로 결합한다. 최종 output이 continuous value이면(회귀) 각 모델의 예측값을 더해 평균을 냄으로써 앙상블 모델의 출력을 얻을 수 있다. 반면 최종 output이 class label이면(분류) 다음과 같은 두 방식 중 하나를 선택해서 결..
[ML] XGBoost(eXtreme Gradient Boost) 파헤치기
AI/Machine Learning 2021. 10. 12. [ML] XGBoost(eXtreme Gradient Boost) 파헤치기 [ML] GBM 알고리즘 및 LightGBM 소개글에서 부스팅 앙상블 학습과 GBM이란 무엇인지 소개한 적이 있다. 사실 GBM 설명 이후에 LightGBM이 바로 나오는게 아니라 XGBoost가 먼저 나왔어야 했다... 왜냐하면 LightGBM이나 CatBoost는 다 XGBoost를 보다 강력하게 만드려는 시도에서 나온 것이기 때문이다. 따라서 오늘은 XGBoost를 살펴보려고 한다. XGBoost: A Scalable Tree Boosting System 논문 참고! 1. XGBoost 알고리즘 특징 소개 논문은 다음과 같은 contribution들을 나열한다. We design and build a highly scalable end-to-end tree boosting system. We pro..
[ML] CatBoost 소개 - Ordered Boosting, 범주형 피처 처리
AI/Machine Learning 2021. 10. 8. [ML] CatBoost 소개 - Ordered Boosting, 범주형 피처 처리 우리는 이 포스트에서 LightGBM을 공부하면서 그래디언트 부스팅에 대해서도 알아봤다. 다시 소개하자면, 그래디언트 부스팅(gradient boosting)이란 경사하강법을 통해 가중치를 업데이트하면서 여러 개의 weak learner를 순차적으로 학습-예측하는 앙상블(ensemble) 학습 방식이다. 이번에 알아볼 CatBoost도 결정 트리에서의 그래디언트 부스팅 알고리즘을 기반으로 한다. Yandex 연구원들과 엔지니어가 개발했으며, 검색, 추천 시스템, 날씨 예측 등의 작업에 많이 사용된다. 2017년에 출판된 논문 CatBoost: unbiased boosting with categorical features을 참고하라. 1. 장점 This paper presents the key algori..
[ML] GBM 알고리즘 및 LightGBM 소개 - 기본구조, parameters
AI/Machine Learning 2021. 10. 8. [ML] GBM 알고리즘 및 LightGBM 소개 - 기본구조, parameters 1. 앙상블(Ensemble) - Boosting 머신러닝에서 앙상블 학습이란, 여러개의 다양한 모델의 예측 결과를 결합함으로써 단일 모델보다 신뢰성이 높은 예측값을 얻는 것이다. 캐글이나 데이콘 같은 대회에 참가하다보면 거의 모든 참가자들이 앙상블로 모델을 쌓아 성능을 극대화시키는 모습을 심심치 않게 볼 수 있다. 대표적으로 랜덤 포레스트(random forest)가 있으며, 앙상블 알고리즘을 사용해 단일 결정트리보다 좋은 성능을 내도록 만들어졌다. 이 포스트는 LightGBM을 소개하기 위해 쓰여진 것이므로 GBM이 사용하는 Boosting 학습 유형에 대해 설명할 것이다. 부스팅 알고리즘은 여러 개의 약한 학습기(weak learner)를 순차적으로 학습-예측하는 방식이다. 이때 잘못 예측한 데이터..
[ML] 결정트리(Decision Tree) - 기본구조와 CART, ID3 알고리즘
AI/Machine Learning 2021. 10. 3. [ML] 결정트리(Decision Tree) - 기본구조와 CART, ID3 알고리즘 결정트리(Decision Tree)는 머신러닝 알고리즘 중 하나로, flowchart 같은 구조를 가진다. 기본적으로 결정트리는 데이터에 있는 규칙을 통해 데이터셋을 분류/예측하는 지도학습(supervised) 모델이다. 결정에 다다르기 위해 스무고개와 같은 예/아니오 질문을 이어나가면서 학습한다. 질문들은 다음과 같이 트리 구조로 나타낼 수 있다. mglearn.plots.plot_animal_tree() 각 네모칸을 트리의 노드(node)라고 하고, 특히 마지막 노드는 리프 노드(leaf node)라고 부른다(알고리즘 공부한 사람은 알겠지만 리프 노드=자식이 없는 노드 맞다, terminal node라고도 함). 에지(edge)는 질문의 답과 다음 질문을 연결한다. 기본 구조 scikit-learn의..

티스토리툴바