본문 바로가기

Elasticsearch

[MLOps] Elasticsearch 쿼리 DSL (1) - Leaf Query(full text, term, range)
AI/MLOps 2022. 5. 16. [MLOps] Elasticsearch 쿼리 DSL (1) - Leaf Query(full text, term, range) Elasticsearch Query DSL(Domain Specific Language) 엘라스틱서치에서 쿼리를 사용하는 방법은 쿼리 스트링(query string)과 쿼리 DSL 두 가지가 있다. 쿼리 스트링은 REST API의 URI 주소에 쿼리문을 작성하는 방식으로, 간단한 조건 검색 시 편리하다. 하지만 복잡한 논리 조건의 경우 괄호를 사용해야 해서, 조건이 복잡해질수록 가독성이 떨어지고 오류가 나기 쉽다. 한편, 쿼리 DSL은 엘라스틱서치에서 제공하는 쿼리 전용 언어이다. 쿼리 DSL은 REST API의 요청 본문 안에 JSON 형태로 쿼리를 작성하며, 엘라스틱서치의 모든 쿼리 스펙을 지원하기 때문에 검색을 수행함에 있어 대부분 이를 활용하게 된다. # Query string GET kibana..
[MLOps] Elasticsearch의 BM25 스코어 알고리즘 이해하기
AI/MLOps 2022. 5. 4. [MLOps] Elasticsearch의 BM25 스코어 알고리즘 이해하기 쿼리 컨텍스트는 엘라스틱에서 지원하는 다양한 스코어 알고리즘을 사용할 수 있는데, 기본적으로 BM25 알고리즘을 이용해 relevance score를 계산한다. Relevance score는 쿼리와 도큐먼트의 유사도를 표현하는 값으로, 점수가 높을수록 찾고자 하는 도큐먼트에 가깝다는 사실을 의미한다. 쿼리를 요청하고 스코어가 어떤 식으로 계산되었는지 알아보기 위해 쿼리에 explain 옵션을 추가해보았다. GET kibana_sample_data_ecommerce/_search { "query": { "match": { "products.product_name": "Pants" } }, "explain": true } - 결과창 - { #길어서 줄임 # .... "hits" : { "total" : { ..
[MLOps] 엘라스틱 스택(ELK) 소개 - Elasticsearch, Logstash, Kibana
AI/MLOps 2022. 4. 27. [MLOps] 엘라스틱 스택(ELK) 소개 - Elasticsearch, Logstash, Kibana 엘라스틱 스택(Elastic Stack)이란? 엘라스틱 스택이란 빅데이터 파이프라인을 구성하기 위한 오픈소스 데이터 플랫폼을 말한다. 모든 유형의 데이터를 수집, 가공, 저장, 분석 및 시각화하는 소프트웨어를 갖추고 있다. 널리 알려진 오픈소스 프로젝트인 Elastic Search, Logstash, Kibana를 축약해 ELK라고 부르기도 한다. 해당 프로젝트들은 엘라스틱 스택의 구성요소이다. 엘라스틱 스택의 구성요소 데이터 수집 및 가공: beats, logstash 데이터 저장: elasticsearch (검색 엔진) 시각화: kibana 하단에서부터 차례차례 살펴보도록 하겠다. 1. Logstash (로그스태시) 로그스태시는 데이터 수집과 가공 기능을 제공하며, 로그, 메트릭, 웹 어플리케이션 등..

티스토리툴바