elk2 [GCP]Logstash Output을 Google pubsub으로 보내기 기본적으로 ELK는 Logstash가 수집한 데이터를 ElasticSearch로 보내서 데이터를 분석하거나 조회할 수 있다.이번에는 Logstash로 수집한 데이터를 Google의 DW인 BigQuery로 적재해서 분석하거나 리포팅, 나아가 머신러닝까지 해보려는것이 목적이다. 우선 테스트 환경은 현재 운영중인 서비스의 로그(오픈스택 서비스 로그)를 Logstash로 수집하는 환경을 만든다. FilebeatFilebeat는 각 서비스 별로 설치를 하고 설정할 부분은 logstash 서버 ip랑 포트, 어느 로그를 설정할건지에 대한 여부만 정의한다.설치 가이드는 아래 링크를 참조한다. (본인은 ansible playbook을 만들어서 배포했다)https://www.elastic.co/kr/downloads/.. 2018. 4. 11. Elastic Stack 오픈스택에 설치하기 ELK(Elastic Search + Logstash + Kibana)의 이름이 Elastic Stack으로 바뀌었다.1. 설치는 아래 링크를 따라 하면 쉽게 설치가 된다.https://www.elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html2. 설정2.1 Elastic Searchx-pack을 설치를 하게 되면 authentication을 써야 하는데 /etc/elasticsearch/elasticsearch.yml 에 아래 설정을 추가하면 무시하게 된다xpack.security.enabled: false2.2 Logstashfilebeat로 부터 로그를 가져오기 위해서 아래 디렉토리에 input, filter, output.. 2017. 12. 24. 이전 1 다음