Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/06/24～2018/06/30)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、思うところあり、今週から説明を少なめにしていきます。 リンク集ぐらいのノリにしていこうかな、と。（もっと文章を減らしてミニマルにしていきたい。）

今週の注目情報

Official Certification for Users of Elasticsearch | Elastic

You mastered Elasticsearch, now it's time to enhance your professional visibility and grow opportunities for your company by becoming Elastic certified.

  • Elastic製品に精通していることを証明する公式資格「Elastic Certified Engineer」が受けられるようになりました
  • 試験の特徴は以下です
    • 受験料は1回 400.00 USD
    • 実際にElastic Stackが構築された環境に対してタスクを実行する実践的な試験である
      • 四択から選ぶようなペーパーテストではない
    • 言語は英語
    • 試験環境は簡単にSSHできるように構成されたLinuxベースのプラットフォームである
    • 試験中、参照できるテキストはElasticのドキュメントのみである
      • インターネットを検索したりその他、外部の資料を閲覧することはできない
    • 試験の場所は静かで孤立した場所であればどこでもよい
      • 個人コンピュータにWEBカメラを接続し、そのビュー（360度）を試験監督者に見せることで、証明とする
      • 自身の周辺に物（ペン、紙、本など）を置くことは許容されない



公式ブログ

ENGINEERING

Monitoring Java applications with Metricbeat and Jolokia

The Java Virtual Machine (JVM) features a complete framework for operational management and monitoring. In this post we will see what JMX (Java Management eXtensions) is, how to explore the information it exposes and how to take advantage of it with Jolokia and the Elastic Stack.

  • Jaime Sorianoさんによる記事です
    • MetricbeatとJolokiaを組み合わせて、JMXのメトリクスを収集したり、Javaアプリケーションのモニタリングをする方法を紹介しています



¿Cuántos shards debo tener en mi cluster de Elasticsearch?

Elasticsearch es una plataforma muy versátil que admite una gran variedad de casos de uso y ofrece gran flexibilidad en torno a la organización de datos y las estrategias de replicación. No obstante, esta flexibilidad a veces puede hacer que sea difícil determinar de antemano cómo organizar mejor sus datos en índices y shards, especialmente si Elastic Stack es nuevo para usted.

  • Christian Dahlqvistさんによる記事です
    • コミュニティベースの質問で「Shardの設定はどのようにすればよいか？」とよく聞かれるため、今回まとめ記事を作ったとのこと
    • 結論の中では「Definitive Guideを読みましょう」ということと「ユースケースに依存するのでSubscription契約して当社にサポートを求めてください」と締めています
  • 珍しくスペイン語の記事がトップに来ていて！？となりました



How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 3: Language Detector

This is Part 3 of my series on searching Chinese, Japanese, and Korean text. If you haven't read Part 1 about Analyzers, you may want to start there. If you have, How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 2: Multi-fields introduced multi-fields to index and search documents written in multiple languages.



Envío de logs de Kubernetes a Elasticsearch con Filebeat

Recientemente, escribimos acerca de las nuevas funciones de Filebeat para recuperar y enriquecer los logs de Docker con Filebeat, y, desde la versión 6.0, puede aprovechar esta misma tecnología cuando utilice Kubernetes. Cuando envíe logs desde infraestructura de contenedores, es importante que incluya metadatos de contexto para garantizar que podamos correlacionar los logs más tarde.

  • Carlos Pérez-Aradrosさんによる記事です
    • k8sのログをFilebeatで取得する際、該当コンテナのメタデータを追加する方法を紹介しています
      • これにより、後からどのコンテナから取得したデータであるのか？をフィルタリングできるようになります



Get logs and metrics from your systems with Beats System modules

In a recent webinar, we gave an introduction to getting logs and metrics into the Elastic Stack. For people that prefer books over television, I'm going to dive into those same concepts again here in this blog. For my example, here is a simple application environment.

  • Dan Roscignoさんによる記事です
    • FilebeatとMetricbeatのシステムモジュールについて概説しています



Elastic Stack Updates

Keeping up with Kibana: The week of June 25th, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and related learning resources and events. The visualization spy panels have been removed from Kibana and replaced by the new Inspector feature. The Inspector shows more accurate data, such as all requests that have been made for a visualization.



This Week in Elasticsearch and Apache Lucene - 2018-06-29

Highlights Upgrades to 6.3.0 from 5.x recovery issue After releasing 6.3.0 we received reports that upgrades from 5.x to 6.3.0 fail, as replicas would not recover. The problem was caused by a refactoring which simplified our Engine.

  • Paul Sanwald • Jason Tedor • Boaz Leskes • Jay Modi • Adrien Grand • Colin Goodheart-Smitheさんらによる記事です
    • 先週一週間のElasticsearch、Apache Luceneアップデートサマリ
  • 主な更新内容
    • Elasticsearch
      • 5.xから6.3.0へのアップグレードがレプリカが回復しないために失敗する問題を解決（6.3.1で修正）
      • JDK11対応を進めている
        • 6.5で対応完了する予定
    • Lucene
      • 7.4がリリース
      • Force-mergeはnatural mergeと同様に、最大セグメントサイズより大きいセグメントを作成しなくなる



RELEASES

Elastic APM Ruby Agent 1.0 is Generally Available

The Ruby version of the Elastic APM Agent is now generally available as 1.0!

  • Mikkel Malmbergさんによる記事です
    • Elastic APMのRubyエージェントがバージョン1.0となり、GA(Generally Available)になりました
      • 記事の中では簡単な使い方と表示されるAPM UIを紹介しています



公式ウェビナー

Logstash Use Case - Ingesting csv files into Elasticsearch | Elastic

Join us for this half hour live demo where we will start by loading a csv file into Elasticsearch. This detailed dataset contains the liquor purchases from a variety of store types (grocery stores, liquor stores, convenience stores, etc.) with product details and purchase date.

  • Michael Heldebrantさんによるウェビナーです
    • csvデータをLogstashで投入する際の手順を紹介しています
  • VisualizationでVegaを多用していたのが印象的



Elastic Stack 6.3 新機能紹介ライブウェビナー

Elastic Stack 6.3 新機能紹介ライブウェビナー - Friday, June 29, 2018

  • 大輪さん、大谷さんによるウェビナーです
    • 6.3の新機能にフォーカスして紹介する内容でした
  • 録画ビデオはまだ公開されていない模様です



Qiita

ELK (Elasticsearch Logstash Kibana) をWindows10にインストールしてみた（2018/6/24のスクリーンショット） - Qiita

ELK (Elasticsearch Logstash Kibana)は更新スピードが速く、少し前のドキュメントでも何かが変わってしまってうまく動かないことが多いです。 そこで、今日(2018/6/24)時点のインストール記録としてス...

  • @kanpapaさんによる記事です



FessとElasticsearchとLuceneの違い - Qiita

Fessがクローリングして検索できるようになるまで、内部ではElasticsearchやLuceneが動いています。 どの部分がFessで、どの部分がElasticsearchやLuceneの役割なのかを簡単に記述します。 #Luc...

  • @kubokiyoshiさんによる記事です
    • Fessの内部でレイヤの異なる3プロダクトが動いていることを説明しています



Fessの検索精度改善にanalysis-kuromoji-neologdを入れてみたけど効果が無かった話 - Qiita

この文章の目的 Fessの検索精度を改善するためにneologdの辞書を入れるなどの対応を考える事がありますが、必ずしも辞書の変更が課題の解決になるわけではありません。 実際に辞書の導入が問題を解決しなかった失敗談の共有をし、類似...

  • 引き続き@kubokiyoshiさんによる記事です
    • Fessの検索速度改善における課題では辞書を変更するのではなく発行されるクエリを改善しなければいけないときもある、という事例を共有しています



PacketbeatのFlow情報をSankey Diagramで可視化する（Kibana6.2+ Vega Visualization） - Qiita

はじめに Kibana 6.2.0で追加されたVega VisualizationでネットワークのSankey Diagramを表示している人がちょこちょこ観測されます。 （↓こういうやつですね。） ![Screenshot-2...



その他ブログ記事など

日本語

高負荷状態に陥った Amazon Elasticsearch Service を安定させる方法

  • Manabu Sakaiさんによる記事です
    • Amazon ESが高負荷に陥った時の対処策を紹介しています



Fessによるクローリングから検索までの仕組みの概要解説

  • 久保清さんによる記事です
    • Fessの動作についてLucene、Elasticsearch、Fessのどの部分が何を担当しているかを解説しています



Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした - wyukawa's blog

6.3.0のrelease blogはこちら https://www.elastic.co/blog/elasticsearch-6-3-0-released https://www.el..

  • wyukawaさんによる記事です
    • Elasticsearch/Kibanaを6.3.0にアップデートしたところ、Kibana6.3.0ではグラフの自動更新のタイミングで表示がチカチカしてしまう事象を報告されています
    • また、Index Templateの更新にはCerebroを使うとよい話なども共有されています



英語

Elasticsearch Cluster and Kibana using docker-compose

I hope this post has helped you. If you enjoyed this article, please don't forget to clap👏 ! I would love to know what you think and would appreciate your thoughts on this topic. You can also follow me on Medium, GitHub and Twitter for more updates.

  • Mayank Patelさんによる記事です
    • ver6.3.0のElasticsearchクラスターとKibanaをdocker-composeで上げる方法を紹介しています
  • Elastic公式でdocker-composeないの？って思う人も多いと思いますが、こちらにあります
    • もっと大々的に宣伝しても良い気がしますが…



Running Elasticsearch Curator as an AWS Lambda function

AWS Lambda functions can be used to run the Elasticsearch Curator CLI in a serverless way. This can be very convenient as you don't need yet another server in order to run your Curator jobs, especially if you are using an Elasticsearch cloud hosting service and don't have any machines directly available.

  • Henrik Lindströmさんによる記事です
    • 先週紹介したAWS Lambda関数としてCuratorを実行するパッケージ「lambda-curator」を紹介しています



aazoo-bv/AMP4Endpoints-elasticsearch

AMP4Endpoints-elasticsearch - Index Events from AMP4Endpoints to ELK



8 surprising facts about real Docker adoption

At the beginning of April 2018, 23.4 percent of Datadog customers had adopted Docker, up from 20.3 percent one year earlier. Since 2015, the share of customers running Docker has grown at a rate of about 3 to 5 points per year.

  • Datadogで監視対象にしている環境のDockerコンテナで立ち上げているアプリランキング（2018/06）でElasticsearchが5位に
    • 実は過去のランキングよりも順位を徐々に落としつつあります
    • Elasticsearchの使用率（%）自体は微増か現状維持ぐらいなので、他のアプリがどんどんDockerコンテナで立ち上げられるようになってきているということでしょう



Marketing Firm Leaked Database With 340 Million Records

You've probably never heard of the marketing and data aggregation firm Exactis. But it may well have heard of you. And now there's also a good chance that whatever information the company has about you, it recently leaked onto the public internet, available to any hacker who simply knew where to look.

  • 米国のIPアドレスを持つ一般にアクセス可能なサーバー全てに対してセキュリティの甘いElasticsearchがないかを検索したところ7000ほどのサーバーが閲覧可能であったとのこと
    • そして、その中のマーケティング会社EXACTISは3億4000万レコードの個人情報データをリークしてしまっていたことが話題に
  • 日本語翻訳記事はこちら



Worse than Equifax: Personal records of 340M people leaked online

Last year the credit reporting firm Equifax revealed how unknown hackers stole a personal data of over 143 million Americans - In another incident, sensitive data of 123 million American Households were leaked online.

  • セキュリティジャーナリストのWaqasさんによる記事です
    • 前述の事件の3億4000万件の内訳は一般的な個人情報に加え、喫煙するかどうか、所有するペットの種類、属する宗教など詳細な情報が含まれており、総計約2TBに上ることが明かされています



Exactis Leak Shows Importance of Securing Elasticsearch Data

This week, US-based marketing firm Exactis made headlines for the possible data leak of over 340 million personal records. Think about that for a second: 340 million. That's more records than the official population in the United States of America (as of 2017).

  • 前述の事件を受けて、ちゃんとElasticsearchのデータはX-Pack Securityで守らないと駄目だよ、とNuxtユーザに警告する内容



Search Guard on Twitter

Sadly, exposing unprotected #Elasticsearch instances over the internet still seems to be a thing. 340 million personal records freely accessible: https://t.co/EgLUCLw05n Use at least Search Guard Community to protect your data. It's free. There's no excuse anymore. #elk #security

  • また、前述の事件を受けて、TwitterのSearch Guardアカウントでは「せめてX-Pack Securityが使えないなら僕らのSearch Guard Community（無償OSS版）を使ってあなたのデータを守ってください」と呼びかけています



Release Notes v5.2.x

Grafana v5.2 brings new features, many enhancements and bug fixes. This article will detail the major new features and enhancements. What's new in Grafana v5.2 Download Release Highlights Elasticsearch alerting it's finally here!

  • Elasticsearch内のデータに対するAlerting機能を追加したGrafana 5.2.0がリリース



先週の漏れ

Elasticsearch6.3のインストールと考察 - やさぐれSEの技術メモ

Elasticsearch6.3がリリースされましたので、インストールと検証を行いました。 検証した結果、下記の流れが良いと思います。 6.3からX-Packも含まれていますので、そのインストールが減ります。 基本的には6.2と変わらないです。 今回は(1)～(8)について書きます

  • id:gitya107さんによる記事です。
    • Elasticsearch6.3をインストールする手順について6.2以前と差分がある箇所について解説されています



今週は以上です。

この世の全てからElasticSearchという誤記をなくしたい。