[Elasticsearch] - 4. 엘라스틱서치 분석기
안녕하세요. 개발개입니다. 위키북스에서 나온 를 공부하면서 정리한 부분을 다음과 같은 목차에 따라 공유합니다. (설치와 관련된 포스트는 많기 때문에 따로 작성하지 않았습니다.) 엘라스틱서치의 이해 (1) 엘라스틱서치의 이해 (2) 데이터 모델링 엘라스틱서치 분석기 커스텀 분석기 이번 글에서는 분석기와 관련하여 다음에 내용에 대해 다룹니다. 목차 - 분석기 동작 프로세스 - 토크나이저/토큰 필터/분석기 - _analyze API 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 분석기 동작 프로세스 문장을 특정한 규칙에 의해 수정합니다. 전처리 필터 (CHARACTER FILTER; char_filter) 문장 분석 전 replaceAll()같은 패턴 처리나, 태그 제거 등의 역할 토크나이저 내부에서도 ..
[Elasticsearch] - 3. 데이터 모델링
안녕하세요. 개발개입니다. 위키북스에서 나온 를 공부하면서 정리한 부분을 다음과 같은 목차에 따라 공유합니다. (설치와 관련된 포스트는 많기 때문에 따로 작성하지 않았습니다.) 엘라스틱서치의 이해 (1) 엘라스틱서치의 이해 (2) 데이터 모델링 엘라스틱서치 분석기 커스텀 분석기 이번 글에서는 데이터 모델링과 관련하여 다음에 내용에 대해 다룹니다. 목차 - 매핑 파라미터 - 메타 필드 - 데이터 타입 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 1. 매핑 파라미터 - anlayzer 해당 필드의 데이터를 형태소 분석의 대상으로 함 색인 및 검색 시 지정한 분석기로 형태소 분석을 수행 (디폴트 standard analyzer) - normalizer term query에 분석기를 사용하기 위함 asc..
[Elasticsearch] - 2. 엘라스틱서치의 이해 (2)
안녕하세요. 개발개입니다. 위키북스에서 나온 를 공부하면서 정리한 부분을 다음과 같은 목차에 따라 공유합니다. (설치와 관련된 포스트는 많기 때문에 따로 작성하지 않았습니다.) 엘라스틱서치의 이해 (1) 엘라스틱서치의 이해 (2) 데이터 모델링 엘라스틱서치 분석기 커스텀 분석기 이번 글은 엘라스틱서치의 이해에 대한 두 번째 포스팅입니다. 목차 - 엘라스틱서치 설정 - snapshot 만들기 - snapshot 복구하기 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 1. 엘라스틱서치 설정 설정 파일 위치 [elasticsearch디렉토리]\config\elasticsearch.yml 주요 항목 정보 cluster.name 여러 노드를 묶기 위한 클러스터명 node.name 노드명 path.data 인..
[Elasticsearch] - 1. 엘라스틱서치의 이해 (1)
안녕하세요. 개발개입니다. 위키북스에서 나온 를 공부하면서 정리한 부분을 다음과 같은 목차에 따라 공유합니다. (설치와 관련된 포스트는 많기 때문에 따로 작성하지 않았습니다.) 엘라스틱서치의 이해 (1) 엘라스틱서치의 이해 (2) 데이터 모델링 엘라스틱서치 분석기 커스텀 분석기 이번 글은 엘라스틱서치의 이해에 대한 첫 번째 포스팅입니다. 목차 - 검색 시스템의 구성 요소 - 엘라스틱서치 vs 관계형 데이터베이스 - 엘라스틱서치의 특징 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 1. 검색 시스템의 구성 요소 수집기 - 웹 상의 정보를 수집 - 파일의 경우 파일 이름/내용/경로 등의 정보를 수집하고 저장 - 크롤러(Crawler), 스파이더(Spider), 웜(Worms), 웹 로봇(Web Robo..
[데이터 색인] 역색인 구조 (역 인덱스; Inverted Index)
안녕하세요. 개발개입니다. 이번 글에서는 검색엔진 분야에서 주목받고 있는 엘라스틱서치의 주요 특징 중 하나인 역색인 구조란 무엇인지에 대해 알아보겠습니다. 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 색인(Index)란? 문서에서 키워드를 찾아보기 쉽도록 정렬/나열한 목록을 말합니다. 일반적으로 책 뒷편에 색인, 인덱스, 찾아보기와 같은 이름으로 정돈된 목록을 말합니다. 역색인(Inverted Index)란? 키워드를 통해 문서를 찾아내는 방식을 말합니다. 책 뒷편의 색인된 키워드를 이용해 역으로 본문(혹은 문서)을 찾는 방식을 말합니다. 예를 들어, 리눅스를 사용하던 중 특정 파일을 찾고 싶어 명령어를 사용하려고 합니다. 그런데 which, whereis, find와 같은 명령어 중 무엇을 사용..
[정보검색론] - 3. 영어 색인어 추출
안녕하세요. 개발개입니다. 숭실대학교 정보검색연구실의 중 다음 4가지 항목에 대하여 4부작으로 요약 및 정리한 내용을 기술합니다. 정보검색 시스템의 구조 검색 효과 평가 척도 영어 색인어 추출 한글 색인어 추출 이번 글에서는 영어 색인어 추출에 대해 알아보도록 하겠습니다. 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 영어에서 색인어를 추출하는 3단계 과정은 다음과 같습니다. 어휘 분석 불용어 제거 스테밍 1. 어휘 분석 어휘 분석은 입력된 문자열을 토큰들로 변환하는 과정을 말합니다. 여기서 이 토큰들을의 형태를 정의 하기 위해서는 숫자, 하이픈, 구두점 등이 고려되어야 합니다. 숫자 대체적으로 연속된 숫자는 검색 주제와 무관한 경우가 많습니다. 하지만 특정 문서에서는 주용한 의미를 가질 수도 있습..
[정보검색론] - 2. 검색 효과 평가 척도
안녕하세요. 개발개입니다. 숭실대학교 정보검색연구실의 중 다음 4가지 항목에 대하여 4부작으로 요약 및 정리한 내용을 기술합니다. 정보검색 시스템의 구조 검색 효과 평가 척도 영어 색인어 추출 한글 색인어 추출 이번 글에서는 검색 효과 평가 척도에 대해 알아보도록 하겠습니다. 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 일반적으로 정보 검색 시스템의 검색 효과를 평가하기 위한 척도는 두 가지 입니다. 1. 재현율(recall) 전체 적합 문서에 대한 검색된 적합 문서의 비율 문서 집합에서 사용자가 원하는 문서를 어느 정도 검색하였는가 2. 정확률(precision) 전체 검색 문서에 대한 검색된 적합 문서의 비율 검색된 문서들 중에서 사용자가 원하는 문서가 얼마나 포함되어 있는가 재현율과 정확률 ..
[정보검색론] - 1. 정보 검색 시스템의 구조
안녕하세요. 개발개입니다. 숭실대학교 정보검색연구실의 중 다음 4가지 항목에 대하여 4부작으로 요약 및 정리한 내용을 기술합니다. 정보검색 시스템의 구조 검색 효과 평가 척도 영어 색인어 추출 한글 색인어 추출 이번 글에서는 정보 검색 시스템의 구조에 대해 알아보도록 하겠습니다. 오타, 오류 혹은 기타 의견은 언제든지 환영합니다. 정보 시스템의 구조는 다음과 같습니다. 언뜻 복잡해 보이는 이 도표는 5가지로 부분으로 나눌 수 있습니다. 색인 질의 형식화 검색 적합성 피드백 검색 효과 평가 1. 색인 색인 모듈에 입력된 문서들은 색인어 추출 과정을 거쳐 문서 베이스에 저장됩니다. 과거의 색인 작업은 사서나 전문가에 의해 수작업으로 수행되었으나, 수작업 색인의 경우 시간과 비용면에서 효과적이지 못하며 작업자..