Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/06/24～2018/06/30)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、思うところあり、今週から説明を少なめにしていきます。 リンク集ぐらいのノリにしていこうかな、と。（もっと文章を減らしてミニマルにしていきたい。）

今週の注目情報

Official Certification for Users of Elasticsearch | Elastic

You mastered Elasticsearch, now it's time to enhance your professional visibility and grow opportunities for your company by becoming Elastic certified.

  • Elastic製品に精通していることを証明する公式資格「Elastic Certified Engineer」が受けられるようになりました
  • 試験の特徴は以下です
    • 受験料は1回 400.00 USD
    • 実際にElastic Stackが構築された環境に対してタスクを実行する実践的な試験である
      • 四択から選ぶようなペーパーテストではない
    • 言語は英語
    • 試験環境は簡単にSSHできるように構成されたLinuxベースのプラットフォームである
    • 試験中、参照できるテキストはElasticのドキュメントのみである
      • インターネットを検索したりその他、外部の資料を閲覧することはできない
    • 試験の場所は静かで孤立した場所であればどこでもよい
      • 個人コンピュータにWEBカメラを接続し、そのビュー（360度）を試験監督者に見せることで、証明とする
      • 自身の周辺に物（ペン、紙、本など）を置くことは許容されない



公式ブログ

ENGINEERING

Monitoring Java applications with Metricbeat and Jolokia

The Java Virtual Machine (JVM) features a complete framework for operational management and monitoring. In this post we will see what JMX (Java Management eXtensions) is, how to explore the information it exposes and how to take advantage of it with Jolokia and the Elastic Stack.

  • Jaime Sorianoさんによる記事です
    • MetricbeatとJolokiaを組み合わせて、JMXのメトリクスを収集したり、Javaアプリケーションのモニタリングをする方法を紹介しています



¿Cuántos shards debo tener en mi cluster de Elasticsearch?

Elasticsearch es una plataforma muy versátil que admite una gran variedad de casos de uso y ofrece gran flexibilidad en torno a la organización de datos y las estrategias de replicación. No obstante, esta flexibilidad a veces puede hacer que sea difícil determinar de antemano cómo organizar mejor sus datos en índices y shards, especialmente si Elastic Stack es nuevo para usted.

  • Christian Dahlqvistさんによる記事です
    • コミュニティベースの質問で「Shardの設定はどのようにすればよいか？」とよく聞かれるため、今回まとめ記事を作ったとのこと
    • 結論の中では「Definitive Guideを読みましょう」ということと「ユースケースに依存するのでSubscription契約して当社にサポートを求めてください」と締めています
  • 珍しくスペイン語の記事がトップに来ていて！？となりました



How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 3: Language Detector

This is Part 3 of my series on searching Chinese, Japanese, and Korean text. If you haven't read Part 1 about Analyzers, you may want to start there. If you have, How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 2: Multi-fields introduced multi-fields to index and search documents written in multiple languages.



Envío de logs de Kubernetes a Elasticsearch con Filebeat

Recientemente, escribimos acerca de las nuevas funciones de Filebeat para recuperar y enriquecer los logs de Docker con Filebeat, y, desde la versión 6.0, puede aprovechar esta misma tecnología cuando utilice Kubernetes. Cuando envíe logs desde infraestructura de contenedores, es importante que incluya metadatos de contexto para garantizar que podamos correlacionar los logs más tarde.

  • Carlos Pérez-Aradrosさんによる記事です
    • k8sのログをFilebeatで取得する際、該当コンテナのメタデータを追加する方法を紹介しています
      • これにより、後からどのコンテナから取得したデータであるのか？をフィルタリングできるようになります



Get logs and metrics from your systems with Beats System modules

In a recent webinar, we gave an introduction to getting logs and metrics into the Elastic Stack. For people that prefer books over television, I'm going to dive into those same concepts again here in this blog. For my example, here is a simple application environment.

  • Dan Roscignoさんによる記事です
    • FilebeatとMetricbeatのシステムモジュールについて概説しています



Elastic Stack Updates

Keeping up with Kibana: The week of June 25th, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and related learning resources and events. The visualization spy panels have been removed from Kibana and replaced by the new Inspector feature. The Inspector shows more accurate data, such as all requests that have been made for a visualization.



This Week in Elasticsearch and Apache Lucene - 2018-06-29

Highlights Upgrades to 6.3.0 from 5.x recovery issue After releasing 6.3.0 we received reports that upgrades from 5.x to 6.3.0 fail, as replicas would not recover. The problem was caused by a refactoring which simplified our Engine.

  • Paul Sanwald • Jason Tedor • Boaz Leskes • Jay Modi • Adrien Grand • Colin Goodheart-Smitheさんらによる記事です
    • 先週一週間のElasticsearch、Apache Luceneアップデートサマリ
  • 主な更新内容
    • Elasticsearch
      • 5.xから6.3.0へのアップグレードがレプリカが回復しないために失敗する問題を解決（6.3.1で修正）
      • JDK11対応を進めている
        • 6.5で対応完了する予定
    • Lucene
      • 7.4がリリース
      • Force-mergeはnatural mergeと同様に、最大セグメントサイズより大きいセグメントを作成しなくなる



RELEASES

Elastic APM Ruby Agent 1.0 is Generally Available

The Ruby version of the Elastic APM Agent is now generally available as 1.0!

  • Mikkel Malmbergさんによる記事です
    • Elastic APMのRubyエージェントがバージョン1.0となり、GA(Generally Available)になりました
      • 記事の中では簡単な使い方と表示されるAPM UIを紹介しています



公式ウェビナー

Logstash Use Case - Ingesting csv files into Elasticsearch | Elastic

Join us for this half hour live demo where we will start by loading a csv file into Elasticsearch. This detailed dataset contains the liquor purchases from a variety of store types (grocery stores, liquor stores, convenience stores, etc.) with product details and purchase date.

  • Michael Heldebrantさんによるウェビナーです
    • csvデータをLogstashで投入する際の手順を紹介しています
  • VisualizationでVegaを多用していたのが印象的



Elastic Stack 6.3 新機能紹介ライブウェビナー

Elastic Stack 6.3 新機能紹介ライブウェビナー - Friday, June 29, 2018

  • 大輪さん、大谷さんによるウェビナーです
    • 6.3の新機能にフォーカスして紹介する内容でした
  • 録画ビデオはまだ公開されていない模様です



Qiita

ELK (Elasticsearch Logstash Kibana) をWindows10にインストールしてみた（2018/6/24のスクリーンショット） - Qiita

ELK (Elasticsearch Logstash Kibana)は更新スピードが速く、少し前のドキュメントでも何かが変わってしまってうまく動かないことが多いです。 そこで、今日(2018/6/24)時点のインストール記録としてス...

  • @kanpapaさんによる記事です



FessとElasticsearchとLuceneの違い - Qiita

Fessがクローリングして検索できるようになるまで、内部ではElasticsearchやLuceneが動いています。 どの部分がFessで、どの部分がElasticsearchやLuceneの役割なのかを簡単に記述します。 #Luc...

  • @kubokiyoshiさんによる記事です
    • Fessの内部でレイヤの異なる3プロダクトが動いていることを説明しています



Fessの検索精度改善にanalysis-kuromoji-neologdを入れてみたけど効果が無かった話 - Qiita

この文章の目的 Fessの検索精度を改善するためにneologdの辞書を入れるなどの対応を考える事がありますが、必ずしも辞書の変更が課題の解決になるわけではありません。 実際に辞書の導入が問題を解決しなかった失敗談の共有をし、類似...

  • 引き続き@kubokiyoshiさんによる記事です
    • Fessの検索速度改善における課題では辞書を変更するのではなく発行されるクエリを改善しなければいけないときもある、という事例を共有しています



PacketbeatのFlow情報をSankey Diagramで可視化する（Kibana6.2+ Vega Visualization） - Qiita

はじめに Kibana 6.2.0で追加されたVega VisualizationでネットワークのSankey Diagramを表示している人がちょこちょこ観測されます。 （↓こういうやつですね。） ![Screenshot-2...



その他ブログ記事など

日本語

高負荷状態に陥った Amazon Elasticsearch Service を安定させる方法

  • Manabu Sakaiさんによる記事です
    • Amazon ESが高負荷に陥った時の対処策を紹介しています



Fessによるクローリングから検索までの仕組みの概要解説

  • 久保清さんによる記事です
    • Fessの動作についてLucene、Elasticsearch、Fessのどの部分が何を担当しているかを解説しています



Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした - wyukawa's blog

6.3.0のrelease blogはこちら https://www.elastic.co/blog/elasticsearch-6-3-0-released https://www.el..

  • wyukawaさんによる記事です
    • Elasticsearch/Kibanaを6.3.0にアップデートしたところ、Kibana6.3.0ではグラフの自動更新のタイミングで表示がチカチカしてしまう事象を報告されています
    • また、Index Templateの更新にはCerebroを使うとよい話なども共有されています



英語

Elasticsearch Cluster and Kibana using docker-compose

I hope this post has helped you. If you enjoyed this article, please don't forget to clap👏 ! I would love to know what you think and would appreciate your thoughts on this topic. You can also follow me on Medium, GitHub and Twitter for more updates.

  • Mayank Patelさんによる記事です
    • ver6.3.0のElasticsearchクラスターとKibanaをdocker-composeで上げる方法を紹介しています
  • Elastic公式でdocker-composeないの？って思う人も多いと思いますが、こちらにあります
    • もっと大々的に宣伝しても良い気がしますが…



Running Elasticsearch Curator as an AWS Lambda function

AWS Lambda functions can be used to run the Elasticsearch Curator CLI in a serverless way. This can be very convenient as you don't need yet another server in order to run your Curator jobs, especially if you are using an Elasticsearch cloud hosting service and don't have any machines directly available.

  • Henrik Lindströmさんによる記事です
    • 先週紹介したAWS Lambda関数としてCuratorを実行するパッケージ「lambda-curator」を紹介しています



aazoo-bv/AMP4Endpoints-elasticsearch

AMP4Endpoints-elasticsearch - Index Events from AMP4Endpoints to ELK



8 surprising facts about real Docker adoption

At the beginning of April 2018, 23.4 percent of Datadog customers had adopted Docker, up from 20.3 percent one year earlier. Since 2015, the share of customers running Docker has grown at a rate of about 3 to 5 points per year.

  • Datadogで監視対象にしている環境のDockerコンテナで立ち上げているアプリランキング（2018/06）でElasticsearchが5位に
    • 実は過去のランキングよりも順位を徐々に落としつつあります
    • Elasticsearchの使用率（%）自体は微増か現状維持ぐらいなので、他のアプリがどんどんDockerコンテナで立ち上げられるようになってきているということでしょう



Marketing Firm Leaked Database With 340 Million Records

You've probably never heard of the marketing and data aggregation firm Exactis. But it may well have heard of you. And now there's also a good chance that whatever information the company has about you, it recently leaked onto the public internet, available to any hacker who simply knew where to look.

  • 米国のIPアドレスを持つ一般にアクセス可能なサーバー全てに対してセキュリティの甘いElasticsearchがないかを検索したところ7000ほどのサーバーが閲覧可能であったとのこと
    • そして、その中のマーケティング会社EXACTISは3億4000万レコードの個人情報データをリークしてしまっていたことが話題に
  • 日本語翻訳記事はこちら



Worse than Equifax: Personal records of 340M people leaked online

Last year the credit reporting firm Equifax revealed how unknown hackers stole a personal data of over 143 million Americans - In another incident, sensitive data of 123 million American Households were leaked online.

  • セキュリティジャーナリストのWaqasさんによる記事です
    • 前述の事件の3億4000万件の内訳は一般的な個人情報に加え、喫煙するかどうか、所有するペットの種類、属する宗教など詳細な情報が含まれており、総計約2TBに上ることが明かされています



Exactis Leak Shows Importance of Securing Elasticsearch Data

This week, US-based marketing firm Exactis made headlines for the possible data leak of over 340 million personal records. Think about that for a second: 340 million. That's more records than the official population in the United States of America (as of 2017).

  • 前述の事件を受けて、ちゃんとElasticsearchのデータはX-Pack Securityで守らないと駄目だよ、とNuxtユーザに警告する内容



Search Guard on Twitter

Sadly, exposing unprotected #Elasticsearch instances over the internet still seems to be a thing. 340 million personal records freely accessible: https://t.co/EgLUCLw05n Use at least Search Guard Community to protect your data. It's free. There's no excuse anymore. #elk #security

  • また、前述の事件を受けて、TwitterのSearch Guardアカウントでは「せめてX-Pack Securityが使えないなら僕らのSearch Guard Community（無償OSS版）を使ってあなたのデータを守ってください」と呼びかけています



Release Notes v5.2.x

Grafana v5.2 brings new features, many enhancements and bug fixes. This article will detail the major new features and enhancements. What's new in Grafana v5.2 Download Release Highlights Elasticsearch alerting it's finally here!

  • Elasticsearch内のデータに対するAlerting機能を追加したGrafana 5.2.0がリリース



先週の漏れ

Elasticsearch6.3のインストールと考察 - やさぐれSEの技術メモ

Elasticsearch6.3がリリースされましたので、インストールと検証を行いました。 検証した結果、下記の流れが良いと思います。 6.3からX-Packも含まれていますので、そのインストールが減ります。 基本的には6.2と変わらないです。 今回は(1)～(8)について書きます

  • id:gitya107さんによる記事です。
    • Elasticsearch6.3をインストールする手順について6.2以前と差分がある箇所について解説されています



今週は以上です。

この世の全てからElasticSearchという誤記をなくしたい。

今週のElastic News (2018/06/17～2018/06/23)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、今週はかなり量が多いです。掻い摘んで、閲覧ください。

今週の注目情報

JapanElasticUserGroupが発足し、第一回会合が開催されました。

以下、当日発表されたスライドを紹介していきます。

Japan elasticusergroup01 Acroquest

2018/06/19に開催されたJapan Elastic User Group第1会で発表した「Elastic Stack Ver.6.3の紹介」です。

Acroquest Technologyの吉岡 洋さんによるスライドです。

Elastic Stack 6.3の主な新規機能を紹介しています。

当日、Vega VisualizationのDemoを実施予定でしたが、時間、機材の都合で披露されませんでした…何処か別の場所で披露していただきたいですね！



【JEUG(仮)】 オープンSIEMの世界へ

1 2018/6/19(Tue) Future Architect, Inc. Hisashi Hibino オープンSIEMの世界へ (ElasticStackと共に歩み続けたセキュリティログ分析)

Future Architectの日比野 恒さんによるスライドです。

日比野さんの掲げるオープンSIEM構想に則して、Elastic Stackをセキュリティ方面で活用する際の関連話を語られています。

発表の中で「なるほど」と感じたのは

(P.8) シンプルな分析画面とすること！ 絞り込み用に表形式グラフと発生タイミングが分かるよう積立棒グラフがあれば十分という結論。

という記述です。

何でもSOC(Security Operation Center)の方にDashboardを作らせると、誰もがこの形式に落ち着くのだとか。

他にもRDSのSQL監査ログやCloudTrailの操作ログを取り込む際のLogstashコンフィグ例が載せられていたり、Winlogbeat、Auditbeatの諸々話…などセキュリティ好きなら必見です。



emo.travel の紹介と Elasticsearch の活用について

null

VELTRAの木戸 国彦さんによるスライドです。

2018/06/13にローンチした、emoというサービスの裏側でElasticsearchがどのように活用されているかを紹介しています。

木戸さんといえばHello! Elasticsearchの作者として有名な方です。私も「Elasticsearch入門」シリーズには大変お世話になりました。



あなたのElasticsearch 入れっ放しになってませんか? 〜DSL流Elasticsearch/Kibana監視術〜 / JEUG #1 LT

JapanElasticUserGroup #1 @2018/6/19でのLT資料です

NTTコミュニケーションズの浅野 玲央さんによるスライドです。

同社のデータ分析基盤Data Science Lab.でどのように監視を実現しているかを紹介しています。

Elasticsearchの監視としてX-PackではなくPrometheus + Grafana + Mattermostの構成で、収集・可視化・通知を実現しています。



Jeug 01 lt_tetsuyasodo_v01

Japan Elasticsearch User Group #01のLTです。 "Elasticsearch実践ガイド"執筆の裏話をお話しました。

日本ヒューレット・パッカードの惣道 哲也さんによるスライドです。

執筆に至った理由、出版に際して嬉しかったこと、苦労されたことなどを語っています。



JEUG#1LT

2018/6/19開催の第1回JapanElasticUserGroupでのLT資料です。

ネットワンシステムズの片野 祐さんによるスライドです。

X-Pack Machine LearningのForecast（未来予測）機能ってどれぐらい正確なんだろう？をテーマに/elastic/examplesの中にあるサンプルデータで確認してみる方法を紹介しています。



3ヵ月周期ぐらいで開催予定とのことですので、次回開催の時期には皆さん参加を検討してみてはいかがでしょうか。

公式ブログ

ENGINEERING

How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 2: Multi-fields

How to Search Chinese, Japanese, and Korean Text with Elasticsearch 6.2 - Part 1: Analyzers covered issues around searching documents written in multiple languages and language analyzers. Now we'll look into the issues indexing multi-language documents with a single field and how to solve with multi-fields. The texts are excerpts from https://www.pyeongchang2018.com/en/about-the-games.

ElasticのKiju Kimさんによる記事です。

Elasticsearch内の中国語、日本語、韓国語で記述されたドキュメントを問題なく検索するためにはどのように設定すればよいか？を説明するシリーズ第2弾です。

前回のポストはこちら。

今回は以下のようにanalyzerを変更した4つのmulti fieldsとして定義する方法を紹介しています

  • body
    • standard analyzer(初期設定のまま)
  • body.korean_field
    • openkoreantext-analyzer
  • body.chinese_field
    • smartcn
  • body.japanese_field
    • kuromoji

これにより

  • 韓国語が検索できるようになる
  • 日本語と中国語は漢字が混じっているので、どちらの結果も表示されるが、scoreの高い方を選べば大抵上手く行く

という結果が得られます。

最後に 「しかし、本当にこれらの言語を扱うとき、4つのanalyzerを使わなければならないのでしょうか？次回はLanguage Detectorを用いた改良を進めていきましょう。」と筆を結んでいます。

Language Detectionを目的としたElasticsearchプラグインとしてはelasticsearch-langdetectなどがあるようですが、実際にはどのようにやられることが多いんでしょうね？



Learn to build rich Vega Visualizations in Kibana

Vega is a powerful language for creating visualizations, and now you can use it in Kibana. In this blog post, learn to use Vega declarative language to build rich new visualizations from your Elasticsearch data.

ElasticのYuri Astrakhanさんによる記事です。

過去2回の記事ではKibanaのVega Visualization作成画面に張り付けて、実際に実行できるコード例の紹介に留まっていましたが、今回の記事ではVegaの各種仕様についてチュートリアルを通して理解していく内容となっています。



Upgrading Your Hosted Cluster With Our Elasticsearch Service

There's more to a managed service for Elasticsearch than just good compute and storage infrastructure. Consider upgrading, for example. It's an important part of managing the life cycle of your Elastic Stack deployment. But how easy is upgrading to newer versions on your managed service?

ElasticのYoav Derazonさんによる記事です。

Amazon Elasticsearch Service(以下Amazon ES)とElastic CloudのElasticsearchのアップデート方法を比較する記事です。

Amazon ESのアップデート方法については

  • 現在のクラスタのスナップショットを手動で作成する必要がある
    • Elastic Cloudは自動で実行してくれる
  • アップデートによって必要な手順をドキュメントで参照する必要がある
    • そのドキュメントはElasticが提供している
  • 古いクラスタをスピンダウンすることを忘れると過剰な料金がかかる
    • Elastic Cloudは自動的にそれを行うので、最小限のコストで済む

と評価し、Elastic Cloudの利点を主張しています。

また、Elastic CloudのESローリングアップデートが上位レイヤーから見た時に以下のステップで実行されることも紹介しています。

  1. (メジャーアップデートの場合のみ)Migration Assistance APIを実行し、アップグレードが可能であることを確認する
  2. 移行前と移行後のバージョンについて十分にテストされたアップグレードパスがあることを確認し、インデックスと構成の非互換性をユーザーに警告する
  3. 現在のインデックスのスナップショットを撮る
  4. 新しいバージョンのノードセットを作成し、それらがクラスタに加わるのを待つ
  5. すべてのシャードを新しいノードに移行する
  6. 古いクラスタへのすべての接続がなくなるまで、トラフィックを新しいノードにルーティングする
  7. 古いノードを削除する



Docker and Kubernetes Hints-Based Autodiscover with Beats

Starting with 6.0, we started adding new features to Beats improving our support for containers monitoring. We recently introduced a new feature: Autodiscover in Filebeat and Metricbeat, with support for Docker and Kubernetes. Autodiscover allows you to define a set of configurations that will be dynamically launched by Beats when you want them.

ElasticのCarlos Pérez-Aradrosさんによる記事です。

Filebeat/Metricbeatのautodiscovery機能の使い方を紹介しています。

これにより、Dockerおよびk8sによって動作するコンテナの起動を検知し、そのコンテナに適した監視を実現できます。



Elastic APM Go Agent Beta Released

When Elastic APM went GA early in 2018, it came with support for Node.js, Python, Ruby (beta), and frontend JavaScript (beta). Since then, we've started work on support for Java and Go. If you're not ...

ElasticのAndrew Wilkinsさんによる記事です。

Elastic APMのGoエージェントがAlpha版からBeta版になったことを記念し、その使い方を紹介しています。



Interactive inputs on Kibana Dashboards

Kibana 6.1 introduced a new experimental visualization type, Controls. Controls provide the ability to add interactive inputs to Kibana Dashboards. Controls can be used to create two types of inputs: drop-downs and range sliders. In this post, we're going to go through an example of how to use these two new inputs.

ElasticのNathan Reeseさんによる記事です。

Kibana6.1から追加されたVisualizationであるControlの使い方を紹介しています。

Controlはドロップダウンによる値の選択や範囲スライダーを画面に追加できるVisualizationで、これを活用することで対話的なダッシュボードを実現できます。



Improving Kibana's Query Language

​In 6.0, we introduced a new experimental language for Kibana's query bar. Since then, we've been listening to your feedback and making adjustments. Like all experiments, some things worked and some didn't. Let's walk through what's changing in 6.3, what's new, and where we'd like to go next.

ElasticのMatt Bargarさんによる記事。

6.3でクエリバーのオートコンプリート機能が追加されたのに際して、6.x以降で使用可能なKibanaの検索用言語Kueryについて紹介しています。きっとKibanaのQuery LanguageなのでKueryのはず。

オートコンプリートの便利さは凄まじく、文中でも以下のように述べられています。

Beware: after trying autocomplete, most people say, “I’ll never be able to use an older version of Kibana again”.

まさしく。



Elastic Stack Updates

This Week in Elasticsearch and Apache Lucene - 2018-06-22

Highlights Using dots in aggregation names will be deprecated We will begin deprecating using dots in the names of aggregations. Dots are used as a separator in buckets_path, and ordering syntax aggregations with dots in their names has thrown up many bugs. Therefore, we intend to require that all aggregation names are free of dots.

先週一週間のElasticsearchとApache Luceneのアップデートサマリ。

気になるところとしては… （以下Elasticsearchについてのみ記述）

  • Aggregation nameに"."(ドット)を使用することは非推奨となります
    • ドットはbuckets_pathの区切り文字として使用され、名前にドットがついたaggregationを並べ替えると多くのバグが発生する
      • バグの例はこのIssueを参照してください
    • 6.4以降で非推奨とする
    • 8.0で完全にaggregation nameの"."(ドット)使用を禁止する
  • Rollupはcomposite aggregationの新機能である"missing_buckets"オプションを使用するようになる
    • この機能拡張により、ユーザはより便利で正しいドキュメント数を返す単一のジョブを構成することができる
    • なお、PRによると6.3で使用していたロールアップジョブとは互換性がなくなるため、6.4.0では新たにジョブを作り直す必要がある
  • 各種プラグインについてセキュリティで保護された設定がリロード可能になった
    • discovery-ec2、repository-s3、repository-azure、repository-gcsなどのプラグイン
    • リモート呼び出しのために使用されるクライアントのパスワードとアクセスキーはelasticsearch.keystoreに保存される
      • このファイルの内容はパスワードを使用して複合化された後にのみ取り出せたが、それができるのはノードの初期化中のみである
      • すなわち、これらの設定は初期化中に一度だけ読み込まれるため、変更が不可能だった
  • CIでGradle 4.8とJDK 11が使用可能になった
    • これはエンドユーザには関係ない…



公式ウェビナー

Pro Tips from Elastic Support Engineers | Elastic

Elastic Support Engineer, Robbie Ogburn, gives his top 5 tips and tricks for advanced Elasticsearch users in this 12 min video.

Elasticのサポートエンジニア、Robbie Ogburnさんによるウェビナーです。（12分）

以下の章立てで、Elastic Stackを使用する際のTipsを紹介しています。

  • Sharding Techniques and Strategies
  • Tuning for Ingest Speed
  • Monitoring the Stack
  • Backing Up Your Data
  • Query Theory



An Introduction to the ELK Stack for Logs and Metrics | Elastic

What was the ELK Stack is now the Elastic Stack. In this video you will learn how combining the massively popular open source project Elasticsearch, Logstash, and Kibana delivers actionable insights in real time from almost any type of structured and unstructured data source.

Elasticのプロダクトマーケティングチームに所属するDan RoscignoさんとJamie Smithさんによるウェビナーです。（57分）

Elastic Stackの概要やそれぞれのプロダクトがどのように組み合わさってユースケースを実現できるのかを説明し、最後にデモを実演しています。（実際には13:06～45:32がデモなので殆どデモだったりします。）

飛ばし飛ばしで確認したところ、実際にElastic Stackを使用している方には物足りない内容かもしれませんが、Time Series Visual BuilderのAnnotationsの使い方を知らなかったので「あ、そういう風に使うものだったのか…」と今更理解した感じです。Dashboardで異常区間などを可視化したいときに便利ですね。



Qiita

Elasticsearch 6.3.0 リリース記念 APM JavaAgentでintra-martの状態を見てみる - Qiita

概要 Elasticsearch6.3.0がリリースされ、クラスメソッドさんなど多くのブログで新しい機能があらかた紹介されたところです。 今回は、X-Pack(Basic)に含まれるAPM（Application Perform...

@tsgkdtさんによる記事です。

かなり貴重なElastic APM Java Agentを使ってみる、かつ対象APサーバはresinという尖った内容です！

Java AgentはGAになったら特に日本企業では盛り上がりそうな雰囲気がありますが、どうなんでしょうね。（今後はJDKのサポート云々みたいな話もあり…）



docker-composeでElasticSearch6.2を構築してECSにデプロイするまで(前編) - Qiita

img width="586" alt="image.png" src="https://qiita-image-store.s3.amazonaws.com/0/261265/ae706373-8e9b-4e8d-4e1a-b75...

@yasumonさんによる記事です。

表題通りの内容ですが、前編はローカルで構築するまでの方法を紹介しています。後半でECSにデプロイする記事を執筆されるようです。

また、Kibana画面確認ではjohtaniさん作のanalyze-api-ui-pluginの動作画面を紹介しています。analyzerの動作確認をする際はこの手に限りますね。



AWS ElasticSearch ServiceのデータをPHPで取得する - Qiita

ESデータがGETでフルオープンの場合の取得方法です。 ESのポリシーにIAM RoleのARN書きたいんじゃぁ〜って方はこちら=>[IAM Roleを使ってAWS ElasticSearch ServiceのデータをLaravelで...

@bboobbaaさんによる記事です。

ESの接続にIAMの認証が不要な場合について、PHPでAmazon ESのデータ取得を実現する方法を紹介しています。

また、同時にIAMの認証が必要な場合のLaravel版も別記事（IAM Roleを使ってAWS ElasticSearch ServiceのデータをLaravelで取得する）で紹介されています。



RDBデータをElasticsearchに投入して全文検索する - Qiita

RDBで簡易的な検索機能を実装して使っていましたが、それだけでは柔軟な検索ができず 性能的にも問題が出てくるため、全文検索エンジンを導入することにしました。 この記事では、RDBに格納されているデータをElasticsearchに投入して全文検索できる ようにするところまでを紹介したいと思います。 インフラは下記構成(全てAWSです)　※マネージドサービスは運用楽でいいですねー ...

@miyazさんによる記事です。

表題の通りRDSのPostgreSQLからAmazon ESへデータを格納し、全文検索するまでの手順を紹介しています。日本語全文検索用のmappingおよびanalyzerの設定例も示されています。



GPU サーバのログを ELK サーバに送信して管理する - Qiita

はじめに 　GPU サーバのログを別の ELK (Elasticsearch + Logstash + Kibana) サーバで管理したい人向けのものです． ## 注意 　サーバの基本的なセットアップは済んでるものとして話を進め...

@shun_nさんによる記事です。

NVIDIAのGPUサーバ（Geforce GTX 1080搭載）から定期的にHTTP POSTでElasticsearchサーバへログデータを送信、Elasticsearchサーバ側のLogstashhで受け取り、加工・投入する方法を紹介しています。



その他ブログ記事など

英語

Stop Signing your AWS Elasticsearch Requests. - Chris Gillespie - Medium

The easy solution to this, if you can't find a turnkey library written by the community for your language/framework, is to run a proxy that will sign requests for you. Several proxies exist to do the request signing. The one I will focus on in this article is aws-es-proxy.

Chris Gillespieさんによる記事です。

IAMの認証を設定したAmazon ESへ接続するためには毎回認証を必要とし、セキュリティ的には正しいものの、開発者にとっては煩わしいものだと思います。

そこで、この記事ではリモートのAmazon ESへのアクセスをIAM認証したうえで、localhost:9200にバインドしてくれるプロキシアプリ、aws-es-proxyを紹介しています。golang製なので、バイナリを落とせばすぐに実行できます。

また、docker-hubにdocker-image版も存在するので、ECSにデプロイしたアプリに横づけするコンテナとして使用するのも容易とのこと。



Data Filtering in a Django Website using Elasticsearch

In my Web Development with Django Cookbook section Forms and Views there is a recipe Filtering object lists. It shows you how to filter a Django QuerySet dynamically by different filter parameters selected in a form. From practice, the approach is working well, but with lots of data and complex nested filters, the performance might get slow.

Web Development with Django Cookbookという書籍の著者であるAidas Bendoraitisさんによる記事です。

DjangoではQuery Set APIを使用することで、表示するデータなどをフィルタリングすることができますが、複雑なネストを持つデータを対象とする場合は著しく性能が低下する場合があります。（SQLのINNER JOINで12秒以上ロードにかかることも！）

そこで、Elasticsearchを使用します。Djangoの場合、django-elasticsearch-dslというパッケージを使用することで、Django Query Set APIライクの記述でElasticsearchとやり取りをすることができます。

記事の中ではDjango Query Set APIでAの記述をする場合、django-elasticsearch-dslではA'と書くことで同様のことが実現できる、というチートシート形式で使い方を紹介しています。



lindstromhenrik/lambda-curator

lambda-curator - An Elasticsearch Curator bootstrapper for AWS Lambda

Henrik Lindströmさんによるリポジトリです。

AWS LambdaでCurator実行するっぽいのがGitHubでInitial Commitされてました。



Writing logs to Elasticsearch with Fluentd using Serilog in ASP.NET Core

For apps running in Kubernetes, it's particularly important to be storing log messages in a central location. I'd argue that this is important for all apps, whether or not you're using Kubernetes or docker, but the ephemeral nature of pods and containers make the latter cases particularly important.

Andrew Lockさんによる記事です。

コンテナ化されたアプリケーションのコンソールログ出力はあくまでコンソールに出力されるだけのものであるため、ログが永久に失われる可能性があります。それはASP.NET Coreのアプリケーションも同様です。

この記事では、ASP.NET CoreアプリケーションにSerilogを追加し、Serilogのコンソール出力をElasticsearchに適したJSON形式のフォーマットにしたうえで、Fluentd経由でElasticsearchに投入する方法を紹介しています。

なお、文中で「serilog-elasticsearch-sinkを使えばFluentdを使う必要なく、Serilogから直接Elasticsearchにログを送信することもできるよ」という話が出ていますが、それについては3週間前に紹介したLogging with ElasticSearch, Kibana, ASP.NET Core and Dockerをご覧ください。



Monitoring unbound(8) using Net-SNMP, Telegraf, InfluxDB and Elasticsearch - TuM'Fatig

I've enabled an OpenBSD unbound(8) daemon that is used as a central DNS cache resolver. Now I needed to know what it was doing and how it performed. The question was answered grabbing statistics from unbound and render them using Grafana. The whole monitoring stack is composed of Net-SNMP, Telegraf and InfluxDB for the metrics ...

Joel Carnatさんによる記事です。

DNSキャッシュサーバであるunboundのログをsyslogに流し、Logstash syslog input Pluginを使用してElasticsearchに投入する方法を紹介しています。

また、Telegrafを使用して、unboundのSNMP監視情報をInfluxDBに投入する方法も紹介しています。



Using the ELK Stack for SIEM - Logz.io

At the heart of any SIEM system is log data. A lot of it. Whether from servers, firewalls, databases, or network routers - logs provide analysts with the raw material for gaining insight into events taking place in an IT environment. Before this material can be turned into a resource, however, several crucial steps need to be taken.

logz.ioのDaniel Bermanさんによる記事。

SIEM(Security Information and Event Management)とは何であるかを論じ、Elastic StackをSIEMに適用できるか評価しています。

記事中盤にて、参考にできそうなAWS環境を監視するSIEMダッシュボードの例が示されています。ここでは以下のような項目を監視しています。

  • Coordinate maps
    • アクセス元（？）の地理的場所
  • Line charts
  • Area charts
    • S3のレスポンスバイト数の合計
  • Pie charts
    • 米国外からの国別アクセス割合
    • 接続元サービス（ELB/VPC/S3...）のアクセス割合
  • Metric
    • VPCフローでリジェクトされた件数
  • Data table
    • Cloudtrailのログイン失敗ログ情報
  • Saved Search
    • セキュリティの生ログ

最終的には、組み込みのアラート機能、相関ルール、インシデント管理機能が欠けているため、そのままSIEMとしては使えず、独自拡張する必要がある、としています。（X-Packを使用しない前提での結論です。）



Application Logs from Kubernetes to S3 and Elasticsearch using Fluentd

Search Guard 6.x-22.3 | Search Guard | Security for Elasticsearch

Changelog for Search Guard 6.x-22.3

Elasticsearch 6.3.0に対応したSearch Guard 22.3がリリースされました。



How to install Fulltextsearch in Nextcloud 13 with Elasticsearch and Tesseract OCR

Today I want to show you how to install Fulltextsearch with OCR in Nextcloud 13 with Elasticsearch and Tesseract OCR. This guide also works with Plesk Onyx.

ElasticsearchとTesseract OCRを連携することで、Nextcloud 13にOCR付き全文検索を使用する方法を紹介しています。

Nextcloudについては後述しますが、Tesseract OCRはオープンソースのOCRエンジンとして一番に名前が挙がる有名どころのようで、100言語以上を認識可能かつ、もちろん日本語にも適用できるとのこと。 TesseractでググるとバンドのTesseracTよりも上位に来るので有名度合も頷けます。（？）



AnyChart | Data Visualization with Elasticsearch and AnyChart JavaScript Charts - Integration Sample

AnyChart News Data Visualization with Elasticsearch and AnyChart JavaScript Charts - Integration Sample It's always been important to AnyChart to make JavaScript charts run in HTML5 projects fast regardless of the users' technology stack. Our AnyChart, AnyMap, AnyStock, and AnyGantt libraries for data visualization are compatible with all major technologies and platforms, and there is a bunch of different integration samples already available.

Irina Maximovaさんによる記事です。

JavaScript可視化ライブラリであるAnyChartでElasticsearch内のデータを可視化する方法を紹介しています。

AnyChart公式サイトのChart Gelleryを見てみると、多種多様な表現が可能であることに驚かされます。これがElasticsearchと連携できるとなるとワクワクしますね。（各区分をクリックすると、より細かいバリエーションが表示されます。）



The IPOs keep coming: The search company Elastic has filed to go public

The IPOs keep coming. Elastic, the creator of a data search software that companies buy in order to scan massive documents, data sets and visualizations, has confidentially filed to go public in what will be an initial public offering at a multi-billion dollar valuation, according to people familiar with the matter.

Theodore Schleiferさんによる記事。

この、Elasticが上場するかもしれない、というニュースで一部の方々がTwitterで盛り上がっていました。

まだ、Elastic社は正式な声明を出していませんが、先日のElastic{ON}の中でもCEOのShay Banonさんが

While there are no concrete plans as yet, Elastic definitely has its sights sets on an initial public offering (IPO) in the future, Banon said at the show. from: Elastic Plots Its Own Course to Big Data Success

と発言していたようですし、ありえそうな雰囲気。仮にそうだとすれば、とてもめでたいことで、続報を待っています。



Elasticsearch Cluster with Vagrant and Virtualbox - DZone Cloud

A simple way to simulate a distributed storage and compute environment is with Virtualbox as the provider of VMs ('Virtual Machines') and Vagrant as the front-end scripting engine to configure, start, and stop those VMs. The goal for this post is to build a clustered virtual appliance offering Elasticsearch as a service that can be consumed/controlled by a host machine.

Ashok Chilakapatiさんによる記事です。

VagrantとVirtualboxを使用してElasticsearchクラスタ環境を構築する方法を紹介しています。

何だかんだいって、Windowsを使っている人はDockerよりもVagrant+Virtualboxの方が手軽だったりしますよね。 （ただ、Windows 10 Pro以上ならDocker for Windowsの方が良いと思います。VM必要でもVagrant+Hyper-Vで共存できますし。）



ELK Migration Tutorial

Elasticsearch is a NoSQL database and search engine that stores documents in indexes and can be searched in near real-time speed, it uses JSON for document structure and provides a RESTFull API to index and retrieve documents easily using many programming clients. Elasticsearch is open source, written in Java and distributed under the Apache license.

Mouhsen Ibrahimさんによる記事です。

Elastic Stackをアップデートするときに、何を実行する必要があるのか事細かにまとめています。



英語以外

Elasticsearch in Nextcloud 13 einbinden

Suchfunktionen im Allgemeinen sind manchmal mehr Schmerz als Hilfe (siehe Microsofts Bing 🤷‍♂️). Oft findet man Dinge die man sucht nicht, oder aber Dinge, die man gar nicht gesucht hat. Wer viele Dateien in seiner Nextcloud nutzt, kann natürlich auch schnell den Überblick verlieren.

Tim Scharnerさんによる記事です。（ドイツ語）

NextCloudの検索機能としてElasticsearchを使う方法を紹介しています。

NextCloudって何だろう…と思ったらownCloudのフォークプロジェクトなんですね。 ownCloudは昔某所で触れたことがありますが、その…はい。（ノーコメント）

なお、NextCloudについては、Qiitaの「Nextcloud を使うべきか？」や「nextcloudによるプライベートオンラインストレージの構築」を読むことでどんなものかわかります。



Uczymy się Elasticsearch #004: indeks odwrócony Apache Lucene - Programista Na Swoim

Moim skromnym zdaniem, żeby w pełni świadomie używać jakiegoś narzędzia należy chociaż w minimalnym stopniu dowiedzieć się co znajduje się pod maską i co z czym się łączy. W poprzednich wpisach wspominałem już, że Elasticsearch został oparty o Javową bibliotekę Apache Lucene dostarczającą pełnotekstowe wyszukiwanie.

Piotr Prądzyńskiさんによる記事です。（ポーランド語）

この記事は"Uczymy się Elasticsearch"と題したElasticsearchについて解説するシリーズの第4回です。

今回はApache Luceneの転置インデックスについて解説しています。



Devenir un service d'indexation et de recherche à la demande au sein de son S.I.

Le passage d'une utilisation à la demande du célèbre moteur de recherche Elasticsearch à une utilisation industrielle par de nombreux clients diversifiés, au sein d'un même S.I., demande quelques adaptations qui ne sont pas toujours évidentes à imaginer ou à comprendre sans entrer dans des considérations d'architecture contrat de service sécurité et d'urbanisation.

TONY BLANCHARDさんによる記事です。（フランス語）

多方面からの考察を交え、ユースケース別にElastic Stackを用いたソリューションの利点、欠点を論じています。



先週の漏れ

Bouchons applicatifs (Partie 2)

La première partie de cet article s'est concentré sur la mise en place d'une politique de centralisation des journaux générés par une partie du SI d'Atomenergy. Pour rappel, l'entreprise a développé un tableau de bord énergie utilisé pour piloter le fonctionnement de ses centrales. Malheureusement, cette application est devenue très lente à charger.

Etienne Bernouxさんによる記事です。（フランス語）

架空の原子力発電所管理ダッシュボードアプリケーションAtomenergyのボトルネックを発見するケーススタディの後半部分です。前半記事はこちら。

収益性をコントロールするために、財務的結果と技術的な状況をリアルタイムで可視化するようなダッシュボードが運用されてきましたが、開発から2年後、アプリケーションが起動するまでに長時間を要するようになりました。 当然ながら、発電所のメンバーはダッシュボードの使用を中止するようになり、現場は非効率化、収益は低下しました。 そこで、ダッシュボードの動作が遅くなった原因____ボトルネックを発見し、システムを改善する業務を委託されたのが我々です…というのが本記事のストーリー。

前半記事では、アプリの配置サーバにFilebeatを配置し、/var/log配下のボトルネックログを(Logstash=>)Elasticsearchに送信、Kibanaで可視化します。

後半記事では、いよいよ可視化結果からボトルネック区間の推定を実施していきます。

ログからは次の2つの重要な指標を算出しています。

  • 応答時間
    • アプリケーションが応答するのに要した合計時間
    • アプリケーションの待ち時間
  • 最後のバイトが受信されるまでの時間（Time To Last Byte：TTLB）
    • ネットワークのレイテンシが追加された応答時間に相当する

これらの指標から算出されるボトルネックには主に2つのタイプがあるとしています。

  • サービス間のネットワーク待ち時間
  • サービス内で過ごした時間による遅延
    • 応答時間 - 重要な要求のTTLB -重要な要求とはアプリケーションを待機させるクエリのこと

この指標を用いて、取得したデータを確認すると以下のボトルネックが明らかになります。

その後、アプリ改修やネットワーク設定の見直しをし、再度ログを可視化すると新たなボトルネックが見つかっていき…、改善に改善を重ねていく様子が綴られています。

言語的な隔たりがありますが、かなり作りこまれている記事でとても面白いです。 本文だけだと「？」となる部分が多いですが、フローチャート（画像）部分のフランス語を何らかの方法で訳せれば難しい内容ではないと思います。私には難しいんですけど。。



今週は以上です。 …の前に、公式Kibanaデモ環境がいつの間にかリニューアルされていたのを皆さんご存知でしょうか？

Kibana

私は全く気づいておらず「いつの間に！！！」と先ほど飛び起きたところです、えぇ。 各種データが投入され始めた時刻を見るに6/19頃から動作している感じです。

ちなみに、Golangのダッシュボードを見ると…あっ...

f:id:j__yama:20180624153829p:plain

今週は以上です。

May the Elastic be with you...

今週のElastic News (2018/06/10～2018/06/16)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elastic Stack 6.3.0 Released

6.3.0 is here. There are some releases that fix bugs. There are some releases that add features. There are some releases that do both, and make a fairly major change in how you are entitled to interact with the software...this is of the latter variety.

今週の注目は間違いなくこちらだと思います。Elastic Stack 6.3のリリースです！

まず、X-Packがオープンコード化しました。

また、配布パッケージにX-Packが同梱されるようになり、X-Pack Basicが有効になった状態がデフォルトになります。 もうインストール時にX-Packを追加インストールする必要はなく、Basicなら定期的なアカウント更新も必要ありません！驚異的な変更と言わざるを得ない...

しかも、KibanaにLicense Managementページが追加され、そこからX-Pack Platinumの試用ライセンス(30日間)を有効にすることができます。多分期間が過ぎたらBasicに戻るはず。

またしばらく『やってみた』記事が盛り上がりそうな雰囲気。ウォッチしていきます！



公式ブログ

RELEASES

Elasticsearch 6.3.0 Released

Today we are pleased to announce the release of Elasticsearch 6.3.0, based on Lucene 7.3.0. This is the latest stable release, and is already available for deployment via our Elasticsearch Service on Elastic Cloud.

いくつか気になった内容を示します。 (ほぼ全部！)

  • Elasticsearch SQL
    • Elasticsearchに対してSQLで問い合わせることができるようになる機能が遂に実装されました！
      • DBとしてのElasticsearchに最も望まれた機能であったことはこのツイートなどからも分かります
    • REST APIと "translate"機能はX-Pack Basic、
  • Rollup
    • X-Pack Basicの機能に追加
    • 取得したメトリックに対して一定期間経過したものは統計情報のみに変換して、生値を削除する機能が追加されました
    • これによりストレージ容量を気にかけることが少なくなりそうです
  • Java 10サポート
    • 6.2でJava 9をサポートしたのも記憶に新しいですが、6.3でJava10をサポートするようです
    • なお、Javaの短期リリースサイクルに慣れていない大多数のユーザはJava 8を引き続き使うよう勧めています



Elasticsearch 5.6.2 released

Today we are pleased to announce the release of Elasticsearch 5.6.10, based on Lucene 6.6.1. Elastisearch 5.6.10 is the latest stable release in 5.x, and is already available for deployment on Elastic Cloud, our Elasticsearch-as-a-service platform.

その横でしれっと5.xもバグフィックスがリリースされていました。



Kibana 6.3.0 is released

It's Kibana release time again, and in this release in addition to the changes related to opening of X-Pack, you will see a lot of small and medium features. But don't let their size fool you - these changes should have a large impact for the users.

主にElastic Stack管理系UIの更新と細かくも気が利く系の便利機能など。 いくつか気になった内容を示します。

  • Managementにライセンス管理画面を追加
  • クエリバーの自動補完
    • クエリバー右側のOptionsから有効化する必要あり
  • ホームページに最近閲覧したページへのリンクが表示されるように
  • タイムピッカーに最近使用した時間設定が表示されるように
    • 特にabsoluteとかで見てた場合にはかなり便利そう
  • Dashboardのグリッドがより細かくなった
  • インデックス管理画面の追加
    • Elasticsearch内のインデックスに関する情報を一覧できます
      • indexの削除が可能
      • mappingを確認可能
      • settingsを確認可能な上、画面上から更新も可能に
    • indexの設定を確認するのに、いちいちConsoleからAPIを叩く時代は終わりそうですね！
  • MonitoringのオンオフがKibanaのMonitoring画面からできるように
    • なお、デフォルトがオフになっているので注意が必要です



Logstash 6.3.0 Released

Today is a big day -- we're releasing the first version of Logstash since we've opened our X-Pack code. This is meaningful for a number of reasons which we've covered in detail in our opening X-Pack announcement. This release also brings a number of significant new features and performance improvements.

いくつか気になった内容を示します。

  • Persistent Queueの重大なバグフィックスを含むため、過去のPQは排除or削除したうえでアップデートする必要がある
  • Java実行エンジンのパフォーマンスを向上（ENGINEERINGの記事で後述）
  • S3とSQSプラグインのカスタムエンドポイントとリージョンのサポートを追加
  • Exec input plugin：'schedule'オプションを設定することで定期的実行できるようになった
  • Redis input plugin：SSL/TLSおよびUnixソケットの基本サポートを追加

これ以外にPipeline-to-Pipeline CommunicationというBeta機能が追加されていますが、私の現時点の理解力ではよくわかりませんでした…。



Beats 6.3.0 Released

We're pleased to release Beats 6.3.0. Enjoy! Here are the highlights: You probably got used to the fact that each 6.x minor release is making Kubernetes monitoring even nicer, so we couldn't disappoint you with this one.

いくつか気になった内容を示します。

  • k8s/Dockerアノテーションを通してBeatsを設定できるようになった
  • 全てのBeatsで投入イベントの永続化ができるようになった（ベータ版）
    • 発行されるイベントは最初にスプールに書き込まれ、その後でElasticsearchまたはLogstashに転送される
    • ディスクへのスプールはBeatsが再起動された後、またはネットワークの問題により出力が長時間停止した場合でも、引き続き利用できる
    • ベータ版のため、商用環境では使用しないこと
  • メタデータにホスト情報が追加されるようになった
    • クラウド上やk8sで実行しているときは各種メタデータを収集していたのに、オンプレでやってなかったのはおかしいよね？ということで追加された
    • Filebeatに以下の新モジュールを追加
      • MongoDB
      • Logstash
      • IIS
    • Metricbeatに以下の新モジュールを追加
      • Etcd
      • Graphite
      • Logstash
      • Munin



Elasticsearch for Apache Hadoop 6.3.0 Released

​I am excited to announce the release of Elasticsearch for Apache Hadoop (aka ES-Hadoop) 6.3.0 built against Elasticsearch 6.3.0. Spark 2.3 Support Starting in 6.3.0, we now support up to the most recent Spark 2.3 release. It should be noted that Spark 2.3 does not support Scala 2.10 any longer.



Elastic Cloud Enterprise 1.1.4 released

We are happy to announce the availability of ECE 1.1.4, a maintenance release. Please see the release notes here or head straight to our downloads page to get it! ECE 1.1.4 adds support for Elasticsearch and Kibana version 6.3.0. This version is required if you want to upgrade to these Stack versions.

  • Elastic Stack 6.3.0のサポート
  • 幾つかのセキュリティ脆弱性を修正



ENGINEERING

Meet the New Logstash Java Execution Engine

We're happy to announce that the new Java execution engine in Logstash has reached the production candidate stage. It features faster performance, reduced memory usage, and lower config startup and reload times. And you can use it now in Logstash 6.3.0 with the --experimental-java-execution flag!



Elastic Stack Updates

This Week in Elasticsearch and Apache Lucene - 2018-06-15

Rolling Upgrade to 6.3 Issue After the release of 6.3.0, we received reports of nodes not re-joining their cluster after a rolling upgrade for clients that both have a gold/platinum license installed, and security enabled. Workaround is to explicitly set xpack.security.enabled: true in the elasticsearch.yml file, we are adding to docs as a known issue.

ElasticsearchとLuceneに関する過去1週間のアップデートサマリ。 気になるのは…

  • 6.3のローリングアップデート時にある問題があり修正中
    • Gold / Platinumライセンスがインストールされ、セキュリティが有効になっているクライアントのローリングアップグレード後にクラスタに再結合しないノードがある問題
    • 回避策はelasticsearch.ymlのxpack.security.enabled: trueを明示的に設定すること



Qiita

Docker初心者が、Nginxのログを fluentd + elasticsearch + kibana で可視化してみた - Qiita

Dockerは仮想技術の一つ程度しか知らいない状態から、JJUG CCC 2018 Spring で「JavaエンジニアのためのDocker入門 ～ 仮想開発・テスト環境構築 ～ 」を聞いて少し勉強してみたのでDockerで環境を作ってみました。「 今更Docker入門 - コンテナ化することで何が嬉しいか」の延長線で、Nginxのログを fluentd + elasticsearch + ...

@zgmf_mbfp03さんによる記事です。

表題の内容を実現するdocker-composeを作成し、記事内で解説しています。



Dockerコンテナ上のElasticsearchのデータを永続化する - Qiita

5分でMacにDockerをインストールしてElasticsearchを起動する](https://qiita.com/matyahiko2831/items/dd64aa91f2b03e50f05d) の続編です。...

@matyahiko2831さんによる記事です。

Elasticsearchをdocker-composeで上げる際にvolumeを永続化しましょう、という話。



Elasticsearch 6.3.0 リリース記念　X-Pack SQL Accessをやってみよう - Qiita

Elasticsearchに検索条件を投げるとき、Elasticsearchのクエリを組み立てる必要がありました。 このクエリを（みんなが書き慣れてるだろう）SQLで書けないか、というような位置づけなんだろうと思いますが、 SQLをクエリとして発行したり、Elasticsearchのクエリに変換できる機能が6.3.0でX-Pack）に入りました。 それを試してみます。

@tsgkdtさんによる記事です。

（観測範囲では）本邦最速のElasitcsearch SQLを色々と試してみた系記事です！今後よく参照されそう。（少なくとも私は…）

結果が「あれ？」と思ったら「SQL Translate API」を使って実際のクエリ内容を見てみれば大丈夫ですよ～、とか実践的で、ありがたいです。JOINサポート、来てほしいですね。



書籍

Elasticsearch実践ガイド - インプレスブックス

データサイエンティスト必修のElasticsearch入門

日本ヒューレットパッカードの惣道 哲也さん著による「Elasticsearch実践ガイド」がインプレスさんから出版されました！

くしくもバージョン6.3がリリースされた直後に発売となり、古いバージョンについての本になってしまいましたが、Elasticsearchに対する基本的な考え方は変わらないと思います。

プロフェッショナルの立場から、必要な知識を隅から隅まで書かれた素晴らしい本です。また、全くElasticsearchを知らない人にも理解できるよう、背景や概念的な説明にも余念がありません。 （まだ全て読んでいませんが、読めば読むほど抜け落ちていた知識が補足されていって、有意義な読書時間を満喫しています。）

第1版のため、誤植もあったりするようですが、見つけたら「お問い合わせ - インプレスブックス」から報告しましょう！



その他ブログ記事など

日本語



Amazon Elasticsearch Service の Blue/Green デプロイについて調べてみた

Manabu Sakaiさんによる記事です。

Amazon Elasticsearch Serviceではクラスタ（ドメイン）を変更した際にBlue/Greenデプロイが走るようで、その内容を詳しくまとめられています。

Blue/Green Deploymentとは何ぞや？という方はこちら。



PythonからElasticsearchに_typeを明記せずにクエリを実行する(prefix指定)

Elasticsearch 5.3に対してPythonからアクセスする際、Indexはワイルドカード指定できるのだけど、Typeについてはワイルドカードでの指定ができない。 一応、カンマ区切りで複数の指定は可能なのだけど、あまりにTypeの数が多くなるとhttpのエラーでクエリを実行できなくなってしまう。で、なんかいい方法ないのかなと調べていたのだけど、どうやらクエリ側にprefixとして_typeを定義してやることで、ワイルドカードでの指定と同じようなことができるようだ。 query = { 'bool': { 'must':[ 'prefix': {'_type': {'value': } } ] }, ... } } この場合、クエリ実行時に_typeは指定しないようにする必要があるけど、ひとまずこれでワイルドカード指定と同じような挙動をしてくれた。

Blacknonさんによる記事です。

表題の通りのTips。また、今週は「PythonからElasticsearchのIndex/Typeの一覧を取得する」という記事も書かれています。



Elastic Stack 6.3がリリースされました - Taste of Tech Topics

こんにちは。 @ shin0higuchi です😊 昨日Elastic Stackの6.3がリリースされました。 前回のElastic{ON}から3ヶ月経ち、その中で紹介された機能が徐々に盛り込まれて来た形です。 6.3での変更点をざっくりまとめます。

Acroquest Technologyのshin higuchiさんによる記事です。

次のクラメソさんの記事と合わせて読んでおけば、ほぼリリースされたばかりのElastic Stack6.3の新機能が理解できるといっても過言ではないと思います。



Elasticsearch 6.3.0 の新機能を試してみた | Developers.IO

Elastic Stack の新しいマイナーバージョン 6.3.0 がリリースされました。 Elastic Stack 6.3.0 では Elastic{ON} 2018 で紹介された機能が多く含まれていました。今回は Elasticsearch 6.3.0 の新機能を中心に簡単に試してみました。

クラスメソッドの藤本 真司さんによる記事です。

Elasticsearch 6.3の新機能はどうやったら試せますか？系はこちらの記事を読めばｶｶｯっと理解できます。流石のスピード感です。



英語



Monitoring Audit Logs with auditd and Auditbeat

In this post, we will configure rules to generate audit logs. First, we will use auditd to write logs to flat files. Then we'll use Auditbeat to ship those logs through the Elasticsearch API: either to a local cluster or to Sematext Logs (aka Logsene, our logging SaaS).

SematextのRadu Gheorgheさんによる記事です。

まず、Auditdについて解説し、その後でAuditbeatで置き換える方法を紹介しています。



Building Better Reports With a Data Pipeline

Learn about the data-driven, visualization tools and systems that helped make Duo's new authentication and deployment reports possible.

DuoのBryan Witherspoonさんによる記事です。

利用者の認証ログをMySQLからKafka+Elasticsearchの構成に変更することで高速化した事例を共有しています。



Powerful logging with Docker, Filebeat and Elasticsearch

To perform an efficient log analysis, the ELK stack is still a good choice, even with Docker. The ELK stack is composed of the following components: Logstash , a component to collect, transform and enrich log entries. Elasticsearch , a database and search engine that stores and indexes data (here: log entries) in a scalable way.

Bruno COSTEさんによる記事です。

Filebeatを使用してログ収集をする方法を紹介しています。Dockerコンテナ上でSpring Bootを使用している前提で話を展開しています。



Geo distance search queries with Elasticsearch to provide store locator experience

Using Geo Distance Search Queries with elasticsearch to provide store locator experience

T-MobileのRam Gopinathanさんによるスライドです。

顧客向けに近くのストア情報を表示できるようにするためElasticsearchを使ってるよ、という話。 また、いくつかGolangでのクエリ実例も載っています。



ElasticSearch - Import Data from CSV by using Python - Yuliang's Blog

Importing data to ElasticSearch from CSV file is a really common use case, in my last post, I have explained how to export data from ElasticSearch to CSV. Here, I would like to explain how to import data from CSV to ElasticSearch.

Yuliangさんによる記事です。

Pythonでcsvを読み込んで、Elasticsearchに投入する方法を載せています。 前回のポストではElasticsearchのデータを読み込んでcsvに出力する方法も。



Combine Amazon Translate with Elasticsearch and Skedler to build a cost-efficient multi-lingual omnichannel customer care - Part 2 of 2 - Skedler

In the previous post, we presented a system architecture to translate text from multiple languages with AWS Translate, index this information in Elasticsearch 6.2.3 for fast search, visualize the data with Kibana, and automated sending of customized intelligence with Skedler Reports and Alerts.

GuidanzのMatteo Zucconsさんによる記事です。

このポスト単体では「？」となるので、前のポストで概要を理解したうえで読むことをお勧めします。

API Gateway=>Lambda（Amazon Translateを実行）経由で顧客からの問い合わせを翻訳したうえでElasticsearchに投入し、Kibanaで可視化する方法を紹介しています。

また、データのアラートおよびレポートは同社が提供するskedlerを使いましょう！というストーリー。

元言語と英語の両方で検索できたりするのは便利っぽい。



Docker, Elasticsearch and Rails tutorial - Diego Y Kurisaki - Medium

Install Elasticsearch gems! Well this is no news but I had some trouble setting up my existing Rails application with elasticsearch so I hope this tutorial helps someone to not fall in the same pitfalls that I had. Gems https://github.com/elastic/elasticsearch-rails Elasticsearch gems are modularized, it depends how you choose to implement the integration in your application.

Diego Y Kurisakiさんによる記事です。

Ruby on Rails製のアプリからElasticsearchを叩く方法を紹介しています。 （Railsアプリをdocker-composeで上げていることを前提にしていますが、そうでなくても内容は変わらないと思います。）



Python implementation of Scroll API : Elasticsearch

Juggernautpandaさんによる記事です。

Python ClientでScroll APIを叩く際の実例を載せています。



How To Build A Movie Search App With React and ElasticSearch

In this post, we will use React and Elasticsearch to build a MovieSearch app. I know you like React, and watching movies, but what is this Elasticsearch thing I'm talking about. Don't worry. This blog post will give you a kickstart into understanding the basics of Elasticsearch - What is it?

Raj Meghparaさんによる記事です。

ReactivesearchというReactのUIコンポーネントを使用して、Elasticsearchと連携したReactアプリを作成する方法を紹介しています。 見出し画像のような検索画面が簡単に実現できてしまうのはすごいですね！ デモサイトもあるようなので、まずはアクセスして手触り感を味わってみることをお勧めします。

また、その前のポストではReactとElasticsearchでAirbnbクローンを作るにはどうやればできるか？という内容の記事を書かれていて興味深いです。こちらではReactivesearchに加えてReactiveMapsを使って地図表示と絡めたアプリを作成しています。



英語以外

严选 | Elasticsearch史上最全最常用工具清单

铭毅天下さんによる記事です。

Elastic Stackの有用であったり、よく使われているプラグインが用途別にまとめられています。

知らないものも多く、こういうまとめが欲しかった！という感じです。すごい。（語彙力を失う）



Search Guard - Compliance Edition

Nous sommes très fiers de vous annoncer Search Guard™ Compliance Edition ! Des fonctionnalités additionnelles à "Search Guard Enterprise Edition", qui

EXCELERATE SystemsのAadel Benyoussefさんによる記事です。

Search GuardのCompliance Edition発表に合わせて搭載機能の紹介をしています。

Search Guardはポリシーベースでインデックスやフィールドを見せる/見せないをKibana/Elasticsearchに搭載できるユーザ管理プラグインです。OSS版もあり、X-Pack Securityを使えない場合の選択肢に上がるかもしれません。

日本語情報ではQiitaの@S-Tさんによるkibana(ELK)でユーザーやグループ毎に見せる/見せないをコントロールする。が詳しいです。



先週の漏れ

Change Is Good: The 5 Reasons Code.gov Moved from Lunr to Elasticsearch

Change can really bother people. Understandable as it can be a little scary. You get used to how things work, be it in life, at the day job, at home, or even on a website. When well thought out, however, change can benefit you, and we at Code.gov are always looking to make your experience with us and the website overall more efficient.

Code.govメンバによる記事です。

Code.govの検索エンジンをLunrからElasticsearchに変更した理由を述べています。

Code.govは、連邦政府機関のオープンソースプロジェクトをまとめたウェブサイトで、詳細はInsight for Dさんの記事が詳しいです。

また、LunrはSolrライクなnode.jsで書かれた軽量な検索パッケージです。

記事の中では以下の5点を理由として挙げています。

  1. より堅牢なインデックス作成機能と検索機能が提供できる
  2. 読み込み時間が短縮される
  3. より堅牢な検索言語が使用できる
    • 検索キーワードに関連する類義語検索もできるし、ステミングもできる
  4. サードパーティアプリから我々の検索APIを呼び出せるようになる
  5. 最近の検索クエリを数日間保管し、比較できる
    • これを材料として検索機能を日々改善していくことができる



Natural Language Extractions using Machine Learning in ElasticSearch

Introduction ElasticSearch is well-known for providing developers the flexibility to do common natural language tasks. Out of the box, these tasks

Apache OpenNLPを使用して自然言語抽出（構文解析）をしてくれるOpenNLP Ingest Processorプラグインの紹介。

OpenNLPのNLPはNatural Language Processing。



Monitoring AWS Redshift With Elasticsearch - Anchormen | Data activators

AnchormenのSaman Sattari Khavasさんによる記事です。

「どのユーザーがAWS RedShift上でどのクエリを実行しているのか、これらのクエリのどれがシステムに大きな負荷をかけているのか」 を明確にするため、AWS Redshiftに対するCloudwatchデータをElasticsearchに投入する方法を紹介しています。

また、Cloudwatchデータだけでなく、Logstashのjdbc input pluginで、Redshift内のシステムテーブル情報を取得する方法も載せています。実践的。



今週は以上です。

など、かなり濃い一週間でした。

Have a Elastic day!

今週のElastic News (2018/06/03～2018/06/09)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

2018年 人気＆嫌われデータベーストップ21 - Stack Overflow

Stack Overflowが1年おきに公開している開発者調査レポートの2018年版となる「 Stack Overflow Developer Survey 2018 」が公開された。同レポートには、10万人を超える開発者から得られたアンケートに基づく、開発者が最も愛しているデータベース、嫌っているデータベース、需要があるデータベースのランキングが掲載されている。 各ランキングは次のとおり。

Stack Overflowの開発者調査レポート2018年版が公開され、DBのランキングでElasticsearchが上位を獲得しました。 （開発者に愛されているDB：3位、需要があるDB：2位）

どちらのランキングもRedis、PostgreSQLとデッドヒートを繰り広げている感じです。 Elasticsearchは去年の集計では全く登場していなかったことを考えると、今最も注目されているDBと呼べるのではないでしょうか！ （まぁ、去年は集計対象が、かなり限定されていたという側面もありそうですが…）



公式ブログ

ENGINEERING

Filtering Input Data to Refine Machine Learning Jobs

Elastic machine learning is fast. It's easy. It's accurate. It allows users to analyze mountains of data in near real-time. It's amazing. (Okay, we're biased). But what if you want to be a little more selective about the data that machine learning analyzes?

X-Pack Machine Learningでジョブを実行する際に一部データを学習範囲から除外する方法を紹介している。

記事の題材は各種レスポンスコード件数の異常値を可視化する場面。ボット、Webクローラーが大量の404応答を生成しているが、着目したいのはエンドユーザが生成するステータスコードのみであり、前者を除外するには…というストーリーが展開されている。



Elastic Stack Updates

Brewing in Beats: Introduce Elastic Common Schema

Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.2 is already available? Try it and let us know what you think.

Beatsに関する過去2週間のアップデートサマリ。 気になったのは以下3つ。

  • Elastic Common Schema (ECS)
    • GitHub - elastic/ecs: Elastic Common Schema
    • 各種Elastic Stackで使用するドキュメント（例：Metricbeatで投入されるメトリクス）について共通する部分は形式を統一しよう、という動きでしょうか。
    • Amazon EC2 Container Serviceではないｗ
  • Dissect processor
    • LogstashのDissect filter相当のことがBeatsでもできるようになる
    • Ingest nodeではなくて、Beats側のプロセッサで処理してElasticsearchに投入するもの
    • Beats6.4から使用可能に
  • Enhance Packetbeat process monitor



Logstash Lines: Support for TCP and SNMPv1 in SNMP input plugin

Welcome to Logstash Lines! With these weekly series, we're keeping you up to date with what's new in Logstash, including the latest commits and releases. Did you know that Logstash 6.2 is already available? Try it and let us know what you think. This update covers the last two weeks.

Beatsに関する過去2週間のアップデートサマリ。 大分淡泊な内容ですが、試験の修正が大変そうな雰囲気。。

  • SNMP input pluginのBeta3からTCPとSNMPv1のサポートを追加
    • これまではUDPのSNMPv2cのみだった
    • プラグインのベータ版をインストールする際にはバージョンを明示的に指定する必要がある
      • $ bin/logstash-plugin install --version 0.1.0.beta3 logstash-input-snmp
  • Test stability
    • ここ数年来、あまりに標準からかけ離れたテストコードを放置してきてしまった
    • テストの信頼性を損なうため、直近はこれら不正なテストの修正を実施している



Keeping up with Kibana: This week in Kibana for June 4th, 2018

TypeScript Support was completed in the Kibana Platform. And with the merge of the saved object API docs into 6.3, we now have the first formal REST APIs in Kibana documented for public use.

Kibanaに関する過去1週間のアップデートサマリ。 なぜか求人情報が載ってて草。



This Week in Elasticsearch and Apache Lucene - 2018-06-08

Cross Cluster Search now preserves remote status code To date, if an exception is thrown on the remote cluster in a cross-cluster search, the local cluster will return a 500 error -- which prevents clients from being made aware of problems with the request (e.g., searching an index that does not exist).

ElasticsearchとLuceneに関する過去1週間のアップデートサマリ。 興味深いのは…

  • Shardsのインデクシングバッファを256MBのハードコード値にしていたが、設定できるように変更した
    • Elasitc{on}の会場でインデクシングのパフォーマンスが低下した件についてエンジニアが調査したところ、この設定値に問題があることが判明した
    • 大量のフィールド（今回の例のように、20kフィールド以上なら確実）を使用するユーザはバッファを増やすと恩恵が受けられる



Qiita

SQLとElasticsearchとのクエリの比較 - Qiita

SQLとElasticsearchのクエリがそれぞれどう対応しているのか、よく使われると思うものについて大体まとめました。 ...

@NAO_MK2さんの記事。

すぐに忘れてしまうので、チートシート的な記事はありがたいです。



fluentd/Elasticsearch/kibanaを試す: (1)インストール - Qiita

はじめに ログ収集、可視化などに良く使われているらしいfluentd, Elasticsearch, kibanaを試してみた時のメモです。 色々と応用が利きそうなので、これらを中心に色々と試してみたいと思います。 冗長化とかは置い...

@tomotagworkさんによる記事。

EFK構成での使い方紹介。 第1回はインストールまで。



fluentd/Elasticsearch/kibanaを試す: (2)基本構成/起動/停止 - Qiita

ログ収集、可視化などに良く使われているらしいfluentd, Elasticsearch, kibanaを試してみた時のメモです。 今回は最低限の構成を行って各コンポーネントの起動/停止、単体での簡易的な動作確認などやってみます。 ※バージョンによって構成ファイルの書き方など結構変わっている部分が多いです。特にfluentdはV0.x(td-agent v2)とV1.0(td-agent ...

同上。

第2回は動作確認と起動/停止方法について。



5分でMacにDockerをインストールしてElasticsearchを起動する - Qiita

巷で話題の[2018年の最先端バックエンドエンジニアに必要なスキルについて考えてみました。](https://qiita.com/poly_soft/items/fb649573c19b7a5c0227)という記事に >現在業務で...

@matyahiko2831さんによる記事。

Docker on macでDockerHubのelasticsearchイメージをpullして起動するまで。



boxとelastic searchを繋いでみた - Qiita

boxの検索には、制限がある。 box community記事より抜粋: Box は、ファイル内のキーワードに依存して、文書ごとに 1 万の全文検索文字を格納します。Box の検索索引では、多数の異なるトークン化およびストップワード削除フィルタが使用されます。 つまり、１万バイトを超える文書内の文字列については検索対象とならず、boxの検索候補に出てきません。...

@daichiiiiiiiさんによる記事。BOXの中の方らしい。

他のbox社員の方がPoCで作成したツール（boxエンタープライズイベントから検索対象のアイテムをElasticsearchへindexingするデモアプリ）の使い方を解説。 注意点として検索結果のセキュリティをどうやって担保するか？の話をされています。

仮にElasticsearch/Kibanaでユーザ権限を管理するとすればX-Pack Securityがありますが、どのように権限を付与するか？は幾つかパターンがあるとはいえ毎回考える必要があると思います。

特に記事に記載されている通り、関連システムが別のユーザ権限管理機能を持っていて、Elastic Stack側はどう合わせるか？は後から導入する際によくありそうな話題だと思います。



文書分類モデルをLTRの特徴量にする - Qiita

以前の記事 で、LTRの概要を書きました。MicrosoftのLTRのデータセットでは、"Qua...

@sugiyamathさんによる記事。

先々週の記事ではLTRの概要を記載するにとどまっていましたが、今回は実際にElasticsearch内のドキュメントに対してヒューリスティクスなアノテーションを実行するコード例を記載されています。（よくわかってない）



書籍

Introduction of Elastic Stack 6 これからはじめるデータ収集&分析 (技術書典シリーズ(NextPublishing))

Amazonで石井 葵, 前原 応光, 須田 桂伍のIntroduction of Elastic Stack 6 これからはじめるデータ収集&分析 (技術書典シリーズ(NextPublishing))。アマゾンならポイント還元本が多数。石井 葵, 前原 応光, 須田 桂伍作品ほか、お急ぎ便対象商品は当日お届けも可能。またIntroduction of Elastic Stack 6 これからはじめるデータ収集&分析 (技術書典シリーズ(NextPublishing))もアマゾン配送商品なら通常配送無料。

技術書典4でのりまりま団さんの新作、Introduction of Elastic Stack6がインプレスさんから商業ルートで出版されそうな雰囲気です。



その他ブログ記事など

日本語

【Amazon Elasticsearch Service】 手動スナップショットからリストアする方法 | Developers.IO

Developers.IOは、AWS、iOS/Androidアプリ、ビッグデータ、Alexa等の最新技術情報からリモートワークや働き方に関する記事まで多彩なトピックを紹介するクラスメソッドのオウンドメディアです。

Divelopers.IOよりユースケさんによる記事。

最後にリンク記載がある通り、Amazon Elasticsearch Service インデックススナップショットの使用 - Amazon Elasticsearch ServiceにAWS謹製のドキュメントがありますが、スナップショットのディレクトリ（S3）登録の際以外にも、アクセスポリシーがIAMユーザやIAMロールの場合、各種API実行にAWSリクエスト署名が必要となるとのこと。curlはAWSリクエスト署名をサポートしていないため、Pythonのサンプルスクリプトが記載されています。

流石は天下のAWS。Elasticsearch Serviceもドキュメント充実してますね！ また読んでみます。



Elasticsearch 5.4でIndexのSnapshotを取得してバックアップ・リストアをする

Elasticsearchでは、Snapshotという機能を使うことでIndexのバックアップを取得することができるらしい。 別ディスクにオンタイムで取得できるらしく、使い勝手はよさそう。 ...

blacknonさんによる記事。

こちらは先ほどとは打って変わって通常のElasticsearchでのバックアップ・リストアの話。



PythonからElasticsearchのbulk処理実行時のエラーを出力、加工する

調べた際に、そのものズバリで引っかからなかったので念の為残しておく。 以下のように、bulk処理をtryで実行し、exceptでhelpers.BulkIndexError.errorsを指定することで、エラーリストを取得できるようだ。...

引き続き、blacknonさんによる記事。

ElasticsearchのPythonクライアント仕様についてのTips。



Elasticsearchのインストール及び設定　その9　スナップショットの作成 - やさぐれSEの技術メモ

設定変更の際や定期的なスナップショットの取得がElasticsearchに不可欠です。...

id:gitya107さんによる記事。

スナップショット関連の話です。 先週はなぜか国内Elastic情報でスナップショット関連が盛り上がりを見せていたことになります。（？）



docker で Elasticsearch - momota.txt

Docker for Windows で Windows10 上に Elasticsearch を動かしたときのメモ。 Docker: 18.03.1-ce-win65 (17513) Elasticsearch: 6.2.4 日本語を扱いたいのでプラグイン kuromoji をインストールする ...

momotaさんによる記事。

ヘッダーがSmells Like Teen Spiritだったりサイトの配色がSolarized Lightだったりで、とにかくエモい。

Docker for WindowsでElasticsearch 6.2.4 with kuromojiなコンテナを上げて、Pythonクライアントからcsv登録/あいまい検索を実行する方法を紹介しています。



Amazon Connect + Kinesis Firehose + Amazon Elasticsearch

こんにちは。katoです。 今回はAmazon Connectのデータストリーミング機能を利用して、通話イベントの情報をAmazon Elasticsearchに連携していきたいと思います。 ...

クロスパワー社のkatoさんによる記事。

Amazon ConnectからKinesis Firehoseを経由してAmazon Elasticsearch Serviceへコンタクトイベントをストリーミングする方法を紹介しています。 最終的なダッシュボードとして、以下を表示するダッシュボードを示しています。

  • コンタクトイベントの数
  • 通話時間の平均
    • ユーザ別
    • 電話番号別
  • 時間ごとのアウトバウンド
  • 時間ごとのインバウンド

なお、Amazon Connectはコンタクトセンターを提供するサービスで、詳細は公式サイトを参照のこと。



英語

What's New in Grafana v5.2

Feature & improvement highlights for Grafana v5.2

なんと、Grafanaが新バージョン5.2でElasticsearchのAlerting機能をサポートすることになりました。 X-Pack Alertingにお金を払えないんです…という状況な方には朗報になるかも？



Noteworthy at Compose - Tuning the Elasticsearch data browser

This is your weekly summary of Compose news for those changes and updates which can make your life easier. In this edition, changes in Compose's Elasticsearch data browser, the final Write Stuff cycle bonus is awarded and we look at the past week's Compose Articles. Elasticsearch changes Compose's Elasticsearch comes

IBM ComposeにおけるElasticsearch関連のアップデート情報。

  • Elasticsearchインデックス用のデータブラウザからForce Mergeオプションを削除
  • インデックスを作成するときにデフォルトのレプリカ数を1に変更した



Elasticsearch Performance Tuning - Logz.io

Once it's running, you'll likely find that Elasticsearch performance starts to suffer over time. In order to maintain your cluster, you'll need to set up monitors to alert you to any warning signs so that you can proactively handle available maintenance windows. Here's how.

Logz.io社のQuintessence Anxさんによる記事。

なお、Logz.io社はElastic StackのSaaS等を提供している会社のようです。企業ブログを見ると確かにElastic Stackの話題がずらり。

とりあえず使い始めたElasticsearchを使い始めてしばらくするとパフォーマンスの低下は免れず、改善について検討する必要があります。本記事で紹介されている内容を概説すると以下です。

  • トレードオフがあることを理解する
    • 全てを最適化することは不可能であり、ビジネスの優先順位とクラスタの使い方を定期的に評価/比較すること
  • キューを追跡する
    • インデックス、検索、バルクのキューの深さを注視すること
      • キューの状態はできるだけ空であることが望ましい
      • X-Pack Monitoringを使用する
  • あまりにも多くのメモリを設定しないこと
    • Elasticsearchで使用するJVMのヒープサイズについて最大値と最小値を同じにすること
    • また、物理メモリの半分以下をヒープサイズにすること
    • Elasticsearch: The Definitive Guideには64GBのRAMが理想的だと記載している
  • フラッシュはあまり頻繁にしないこと
    • デフォルトではドキュメントをディスクにフラッシュして検索可能にするまでの間隔（refresh_interval）は1秒に設定されているが、その値を30秒以上に上げることでインデックスのスループットを大幅に向上させることができる
  • クラスタの合計ディスク容量サイジングで考慮すべき事項
    • Low watermark
      • 個々のノードのディスク使用率が85%（設定で変更可）に達するとElasticsearchはそのノードへの新しいシャードの送信を停止するが、既存シャードにはデータが送られており、サイズが大きくなることに注意すること
    • High watermark
      • 個々のノードのディスク使用率が90%に達すると、クラスタはそのノードからほかのノードにシャードを再割り当てしようとする
        • クラスタの状態とほかのノードで使用可能な容量によっては、パフォーマンスに悪影響を及ぼす可能性がある
    • Replicas
      • レプリカの件数に応じて、線形に、より多くの容量が必要となる
        • 各レプリカは各インデックスの完全コピーであるため、個数分の同じ容量のスペースが必要になる
    • Sharding
      • より大きなシャードはインデックスされたデータを格納する方が効率的である（？）
      • シャーディングの設定はノード間で大きく異なる可能性があるため、必要なシャードの数を試してみる必要がある
        • ノードに障害が発生すると、使用可能なディスクが十分に存在する場合、シャードが他のノードに再割り当てされるため、予期しないディスク消費になることがある
  • キャッシュを適切に予測する

性能面について現在よりどころにできる文献はElasticsearch: The Definitive Guideしかないと思っているのですが、新しいバージョンについて出ることはないのかな…根本的に変わる部分がないので更新版は出しませんよ、というスタンスだとは理解していますが。



cinhtau.net

The aggregations framework helps provide aggregated data based on a search query. Using aggregations on my audit data gives me insight who used my Elasticsea...

TAN-VINH NGUYENさんによる記事。

ElasticsearchのJavaクライアントの使用方法を紹介しています。中々見かけないので貴重な気がします。



How to Migrate ElasticSearch Data Using Logstash - Alibaba Cloud - Medium

Engineers often find themselves in a position where they need to migrate data in ElasticSearch. The purpose of migrating a cluster could be to ensure data backup and system upgrade. There are just as many methods as there are reasons to perform the migration; for example, you can use ElasticSearch-dump, snapshot, or even reindex method.

Alibaba Cloudの担当者による記事。

あるElasticsearch（オンプレ）内のインデックスを別のElasticsearch（クラウド）へLogstashを用いて移行する内容です。

Alibaba Groupはいわゆる中国版Amazonで、AWSよろしくクラウドサービスもやっている巨大企業です。流石にElasticsearchのマネージドサービスをやっていることは知りませんでした。ドキュメントを見る限りではElasticsearch5.5.3が最新のようです。 ちょい古めですが、中国向けのサービスならあり？



Build a Serverless GeoSearch GraphQL API using AWS AppSync & Elasticsearch

In this tutorial, we're going to build an Elasticsearch-backed GraphQL API on AWS AppSync. All using the Serverless Framework. AppSync offers the ability to create serverless GraphQL APIs with much less backend code than previously possible.

フリーランスのコンサルタントAndrew Griffithsさんによる記事。

serverless frameworkを使って緯度経度を使った地図検索GraphQL APIを作る方法を紹介しています。

severless frameworkはLambda関数などを作成できるツールで、サーバーレスなのにローカルでもテストできる！など話題になったのも記憶に新しいです。



3 tips for increasing search engine relevance in ElasticSearch

Written by Alexander Junger, Software Engineer Backend A couple of sprints ago my colleague and I were tasked with building a search engine for our new Balance food tracking app . Pulling out your smartphone and opening an app every time you consume your delicious gluten-free green smoothie requires some discipline.

Runtastic社のTech Teamによる記事です。

Runtastic Balanceのアプリ内検索エンジンを構築した際に得られた幾つかの知見を共有しています。



Simone Scarduzio's answer to What strategies did you use to improve Elasticsearch reliability? - Quora

ReadonlyRESTのLead DeveloperであるSimone Scarduzioさんの記事（...というより質問サイトの回答）。

Elasticsearchの可用性/完全性を担保するためにどうすべきか、外部SSOT（Single source of truth）として使用する際にどのようなアーキテクチャを採用すべきか、などが記載されています。

ReadonlyRESTはElasticsearch/Kibanaのセキュリティ関連プラグインのようです。 ユーザログイン機能などを担当するもので、単一ユーザの範囲であれば無償で利用できる模様。X-Pack Securityと比較してどうか？などは不明ですが、試してみる価値はありそう。



Setup ELK for NGINX logs with Elasticsearch, Logstash, and Kibana

ELK Elastic stack is a popular open-source solution for analyzing weblogs. In this blog post, I describe how to setup Elasticsearch, Logstash and Kibana on a barebones VPS to analyze NGINX access logs. I don't dwell on details but instead focus on things you need to get up and running with ELK-powered log analysis quickly.

WEB開発コンサルタントであるPaweł Urbanekさんによる記事。

Ubuntu 16.04にElastic Stackを構築して、nginxのログを可視化するまでの方法を紹介しています。



7 things to consider for improving ElasticSearch query performance

Nested fields are read performant compared to parent child documents. For instance, in the project I worked with our initial data model was parent-child. In a single query, our use case was to fetch the parent document matching the query criteria along with the child documents associated with it.

ThoughtworksのシニアコンサルタントであるSravanthi Naraharisettiさんによる記事。

Elasticsearchのクエリパフォーマンスを改善する際に考慮すべき7つの項目を紹介しています。項目は以下の通り。

  • 入れ子対親子
    • 親子ドキュメントは使わず、入れ子のドキュメントにすることでパフォーマンスが大幅に向上する
  • クラスタトポロジ
    • シャード数とノード数を適切に選択する
    • ノードについては、専任のコーディネートノードとデータノードを用意する
  • スワップを避ける
    • bootstrap.memory_lockをtrueに設定し、スワップを制御すること
  • マージを強制する
    • 検索やインデックス作成のリクエストが少なくなる夜間などピーク以外の時間にForce Merge APIをトリガーし、シャードごとのセグメント数を減らすこと
  • リフレッシュ間隔を調整する
    • デフォルトは1秒で検索可能となるが、調整する
  • terms aggregationクエリのパフォーマンス向上
    • クエリにterms aggregationがある場合は該当のフィールドでeager_global_ordinals: trueを設定することを検討する
  • range aggregationを最適化する
    • クエリにrange aggregationがある場合は、必要なデータが事前にindexされていることを確認すること



Searching with things not strings

Using elasticsearch's forthcoming annotated_text field to explore Wikipedia contents.

Elasticの中の人であろうMARK HARWOODさんによる動画。

Elasticsearch 7.xより導入されるannotated_text fieldについて、どういうものなのか紹介しています。 主に文章の中で注記をつけることができる機能で、注記部分を使って検索することができるようになる機能…なんでしょうか。まだよくわかっていません。

New Annotated_text field type by markharwood · Pull Request #30364 · elastic/elasticsearch · GitHubなどで詳しい議論もなされています。参考までに。



英語以外

Utilizando o ELK Stack como ferramenta de Business Intelligence

Como integrar um app Ruby on Rails pelo docker com o ELK Stack Conheço o ELK Stack (Elasticsearch, Logstash, Kibana) a algum tempo e como desenvolvedor sempre tive a - errada - ideia que este conjunto de ferramentas fosse destinado apenas à análise de logs e acompanhamento da saúde das aplicações.

Rock ContentのエンジニアであるHugo Diasさんによる記事。

Ruby on RailsのアプリとElastic StackをDocker上にコンテナで立ち上げ、結合する方法を紹介しています。 具体的にはrailsアプリのロガーがLogstashにログ情報を送信し、Elasticsearchに投入するという内容です。



Instalando o Elasticsearch em um container Docker - Thiago Adriano - Medium

Veja nesse artigo como criar um ambiente com Elasticsearch utilizando o Docker Recentemente eu criei um artigo apresentando o Elasticsearch, hoje irei demonstrar como criar um ambiente com Elasticsearch utilizando o Docker. Caso tenha interesse em ler o meu primeiro artigo, segue o seu link: Introdução ao Elasticsearch.

Thiago Adrianoさんによる記事。

Elastic社の提供する公式DockerレポジトリからElasticsearchをpullして起動、簡単な動作確認をするまでの方法を紹介しています。



先週の漏れ

Getting started with Elasticsearch in Python - Towards Data Science

In this post, I am going to discuss Elasticsearch and how you can integrate it with different Python apps. ElasticSearch (ES) is a distributed and highly available open-source search engine that is built on top of Apache Lucene.

Adnan Siddiqiさんによる記事。

PythonクライアントによるElasticsearchへのデータ投入および検索の方法を紹介しています。ついでにWebスクレイピングも。

適宜、初学者に対するフォローが記載されるので良いです。

また、REST APIをたたくときはPOSTMANを使うのがオススメだよ、とかChromeのElasticSearch Toolboxを使えばElasticsearch内のデータを簡単に見れるよ、など紹介しています。 （どちらもKibanaを用意できるならDevtoolやDiscoverで十分と思いますが…後者はだいぶアップデート状況も古いようなので使わない方が良さそう。）

And if you are going crazy or your girlfriend have dumped you, you can burn the entire world by running curl -XDELETE localhost:9200/_all from command-line.

エモい。



Fast Order Search Using Yelp's Data Pipeline and Elasticsearch

Fast Order Search Using Yelp's Data Pipeline and Elasticsearch Dmitriy Kunitskiy, Software Engineer Jun 1, 2018 Since its inception in 2013, Yelp has grown its transactions platform to tens of...

YelpのエンジニアであるDmitry Kunitskiyさんによる記事。

Yelpは長らくMySQLを利用していたが、いつしかそれは遅く煩わしいものになっていた…そこでElasticsearchにリアルタイムでデータを反映、検索することでパフォーマンスが改善できたよ！という記事だと思います。いかんせん長くて全部読み切る前にバテてしまいました…。

Yelpは国際的に展開している各種ローカルサービスのレビューサイトで、このあたりの記事をご覧になられると背景が理解できると思います。



今週はこのあたりで。 平日にもちょっとずつ調べておくべきなんだけど、週末に一気にやってしまう癖をやめたい。

今週のElastic News (2018/05/27～2018/06/02)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elasticsearch カテゴリーの記事一覧 - やさぐれSEの技術メモ

皆が辛い思いをしないようにハマったポイントなどを書きます

4月末から1ヵ月ほどかけてElastic Stackの導入に際して知るべきこと/検討すべきことをまとめられているブログがあることを今週になって知りました。 id:gitya107さんのブログです。 日本語では中々記載されていない情報や、実業務で使用していないと分からないことなど、貴重な情報が盛りだくさんで、オススメです。ありがたや…



公式ブログ

ENGINEERING

Seven Tips for Better Elasticsearch Benchmarks

This blog post is based on the talk Seven Deadly Sins of Elasticsearch Benchmarking at Elastic{ON} 2018. Performance is a key feature of Elasticsearch. Our development team runs benchmarks to evaluate the performance characteristics of new features or to measure the effectiveness of performance improvements.

Elasticsearchに限らず、システムをベンチマークする際に留意すべき7箇条について述べた記事。 また、ElasticsearchベンチマークツールとしてElastic社製のRallyを紹介している。

  1. システムセットアップ：　 できるだけプロダクション環境に近くかつシステム全体が再現可能な環境でベンチマークすること。
  2. ウォームアップ：　 負荷がかかり始めてすぐのスループットはスパイクを吸収できる余裕があるので、有効なベンチマーク結果ではない。ちゃんとサチり初めてからを有効なベンチマークとすること。
  3. ワークロード：　 プロダクション環境と同じようにシステムに対するアクセスパターンをモデル化すること。
  4. ベンチマークソフトウェアにもバグがあることに注意：　 やりたいベンチマークを実行できるか？を事前に実験し、確認しておくこと。
  5. 偶発的なボトルネックに注意する：　 ターゲットシステム以外がボトルネックとなっている場合、偽の結果になるので注意すること。特に可能性が高いのはネットワークの飽和。まずはターゲットシステムのパフォーマンスを測定するのではなく、ネットワークの最大パフォーマンスを測定すること。
  6. 構造化プロセスを用いる：　 カオスなベンチマークは毒であることを認識し、再現可能なテストを実行すること。また、再現できるように記録を取っておくこと。
  7. 統計を取る：　 実行ごとにGCやJIT、OSスケジューラの動作は異なるため、複数回実行して、統計的優位性検定をすること。

結論として、色々な観点があってベンチマークは難しいけれど、記事に示した7つのヒントを参考によい測定結果を得て、正しい意思決定をしてほしい、と結んでいる。



Understanding your teams Elasticsearch usage with Elastic Cloud Enterprise

Requirements: Elastic Cloud Enterprise 1.1+ Cluster Names with team name The ECE REST API to retrieve Elasticsearch cluster information offers quite a bit of useful information about running clusters, snapshot status, and historical information of any configuration changes.

個人では使わないため、比較的謎に包まれているECE(Elastic Cloud Enterprise)についての記事。 ECEのAPI呼び出しから3つのチーム（Sales/Security/AppDev）が使用するクラスタの使用状況について、以下の情報を呼び出し、Kibanaで可視化する流れを記載している。

  • チームごとのElasticsearchメモリ使用状況
  • チームごとのElasticsearchディスク使用状況
  • 上記2つの情報の時系列変化



Monitoring an application running in Docker containers and Kubernetes with the Elastic Stack

An introduction to the benefits of Elastic modules and autodicover feature when monitoring the logs and metrics from a Docker container environment. Collect, search, and visualize the logs and metrics from your application, Docker, and Kubernetes all in one place.

Dockerとk8sを対象としたモニタリングについての概要記事。 もう既にFilebeatやMetricbeatに親しんでいる人であれば、動画を見た後にそれぞれのBeatsのAutodiscoverを説明したドキュメントを読めば使えそう。



Elastic Stack Updates

Keeping up with Kibana: This week in Kibana for May 28, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. The highlight of this week is the new Sample Data set on the home page. This new feature allows for a one-click getting started experience users new to Kibana.

今週のKibana更新内容についてのまとめ。 フィーチャーは以下の2つ。

One-click sample data
  • Kibana導入時点からサンプルデータ、サンプルダッシュボードが同梱されるようになる
    • 使い始める人にとって嬉しい改善
    • 個人的にも新しい人に紹介するときに助かりそう！
Canvas technology preview
  • Kibanaに関する（？）全てのUIコンポーネントをElastic's in-house UI frameworkに変換している最中
    • 最近、Workpadのヘッダーとpage settingsに関する幾つかの変更をマージした
      • その内容はあまり詳しく書いてない…
  • 新しいレイアウトエンジンを開発中
    • このエンジンにより、配置要素の移動、リサイズや回転が簡単になる
    • キーボードコマンドも追加される
    • 3D変形のデモがGif画像で張られている

Kibana Canvasの更新については、Canvas Technology Previewで直近の開発状況を公開しているとのこと。（こんなんあったのか…知らなかったにょ。）

さらに言うと、この内容はdiscussにあるCanvas Blog Stream - Elastic Community / Elastic Stream - Discuss the Elastic Stackの最新20件を表示しているものなので、昔の内容を見たい人はこちらを参照のこと。



This Week in Elasticsearch and Apache Lucene - 2018-06-01

Cross Cluster Replication The primary focus last week was on benchmarking, specifically getting to a point where we index full speed to an index in one region and the follower index in another region keeps up. If you remember, in last week update we reported indexing a 30GB data set and that was fully replicated but it took ~11 hours to complete.

今週のElasticsearch更新まとめ。 SQLの話が気になるけど、記事途中で張られてるODBSドライバのGitHubリポジトリ、リンク切れてる…切れてない？



公式ウェビナー

Kibana Dashboards: Level Up | Elastic

Kibana has many ways to visualize your Elasticsearch data and now you want to take your Kibana dashboards to the next level. Join Elastic for a live demo on customizing your Kibana dashboards and visualizations. Are you using all of the features Kibana offers?

Kibanaに関するウェビナーが開催されてた。まだ見れてないので内容は不明。見なきゃ…



Qiita

Elasticsearch

コマンドライン2行：ElasticSearch + Kibana 環境を Docker on Mac で作る（2018年5月時点）

2018-05-29T04:52:33,705][INFO ][o.e.n.Node ] [] initializing ...

コンテナからホストに簡単に接続する方法（host.docker.internal）は初めて知りました。



その他ブログなど

Elasticsearch 6.x で join datatype と has_child, has_parent クエリを試した | cloudpack.media

tl;dr 参考join datatype と has_child, has_parent クエリ-- join datatype-- has_child, has_parent クエリ　　-----...

Elasticsearchでドキュメントの親子関係を表現するにはどうすればよいか？の解説記事。 子の条件で親を検索したり、親の条件で子を検索したりもできる。便利。

ちなみに公式ドキュメントを覗くとわかる通り幾つか制約がある。

Parent-joinの制約
  • indexあたりに設定できるjoinフィールドは1つだけ
  • 親と子のドキュメントは同じshardに保存されている必要がある
  • 親は複数の子を持つことができるが、子は複数の親を持つことはできない
  • 既に存在しているjoinフィールドに新たな相関関係を追加することはできる
  • 既に存在しているドキュメントに子供を追加することもできる（ただし、対象のドキュメントが既に親である場合に限る）



文書検索サービス｜CACの高品質なAWS支援サービス「enterpriseCloud+」

文書検索サービス｜CACが提供するeC+は、AWSをより簡単により便利にご利用いただくためのエンタープライズ企業向けのクラウドサービスです。AWSの導入を検討している企業様に、開発から運用まで低コストで高品質なオールインワンサービスを提供します。まずは、無料診断へ。

AWS Elasticsearch Serviceに絡めた構成例。



「Elasticsearchって何？」｜IT勉強会ならTECH PLAY［テックプレイ］

Elasticsearchとは Javaで記述された全文検索ソフトウェアである！ ※引用 「Lucene」（ルシーン）　 Javaで記述された全文検索ソフトウェアである。 あ...

Elasticsearchに関する軽い説明。



fluentdを利用してログ収集を簡単にしよう！ - OthloBlog - オスロブログ -

おはこんばんちは！@ジュジュです！ 今回のブログではRubyで書かれたログ収集の万能マン fluentd について書こうかと思います。プラグインも含め開発者がほとんど日本人のソフトウェアです。なんだか誇らしいですね。 対象読者 ログ収集って面倒くさいよねって思っている人。 fluentdって聞いたことあるけどまだ使ったことがない人。 ログの収集をハンドリングしたいインフラエンジニア。 ...

名古屋のIT系学生コミュニティOthloTech（id:othlotech）さんの記事。 FluentdでElasticsearchにデータ投入するまでの流れを解説。



Amazon Elasticsearch Service クラスタを作成するだけの CloudFormation テンプレートを作った #ただそれだけ - ようへいの日々精進XP

ただそれだけ の CloudFormation 初心者, 川原です. タイトルの通り, Amazon Elasticsearch Service クラスタを VPC 内にサクっと作成する CloudFormation テンプレートを作成しました. 作成したテンプレートは, 以下の リポジトリ にアップしています...

id:inokaraさんのブログ記事。 AWSで大量のElasticsearch Serviceクラスタを立ち上げたいときに参考になりそう。



Logging with ElasticSearch, Kibana, ASP.NET Core and Docker

In this tutorial, I'll show you how you can get up and running with ElasticSearch, Kibana and ASP.NET Core 2.1 Before we get started, let's look at what ElasticSearch, Kibana and Serilog are. In simple terms, ElasticSearch is an open source database that is well suited to indexing logs and analytical data.

ASP.NET CoreのログをElasticsearchに投入してKibanaで可視化する方法を記載している。 ASP.NET Coreはマルチプラットフォームで動作する.NET環境らしい。 データの投入にはASP.NET CoreのプラグインであるSerilogを使用している模様。

今週のElastic News (2018/05/20～2018/05/26)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elasticsearch実践ガイド | 惣道 哲也 |本 | 通販 | Amazon

impress top gearの実践ガイドシリーズにElasticsearchが登場するみたいです。 2018/6/15発売予定。もちろんポチりました。 なかなか日本語による書籍が少ないので楽しみにしています！

公式ブログ

ENGINEERING

Elastic Stack Updates

  • Keeping up with Kibana: This week in Kibana for May 14, 2018 | Elastic
    • Elastic社内で開催されているall-hands meetingのKibana編っぽい…ほかのプロダクトについては公開されないのかな？
    • 気になった内容は以下
      • TypeScriptサポート
      • 今後変わっていくKibanaの新しいプラットフォームについて
      • 6.3リリースに向けて絶賛テスト中だから皆待っててくれよな！

Qiita

Elasticsearch

その他ブログなど

このブログについて

Elasticに関するネット上の情報をまとめて閲覧できる日本語のサイトが見当たらないため、自分でまとめていくことにしました。

主なウォッチ対象

Elasticの公式リソース

www.elastic.co

www.elastic.co

Qiitaの記事

qiita.com

qiita.com

qiita.com

Mediumの記事

medium.com

その他よくElasticに関する知見を投稿しているブログ

dev.classmethod.jp

acro-engineer.hatenablog.com

logz.io

sematext.com

search-guard.com

www.skedler.com

Twitter

twitter.com

記事の分類

Elastic公式の記事以外は以下の方針でカテゴリ別に分類して紹介してます。 （カテゴリの種類は不定期に見直しています。）

  • 初心者向け（概説、インストールなど）
    • Elastic Stackのプロダクト自体や特有の概念を説明するような記事、インストール方法を紹介する記事など
  • 検索、言語別クライアントの実装例
    • 検索用途の内容や言語別のクライアントライブラリの実装例など
  • ログ監視/ログ分析
    • ログデータを投入し、監視や分析を行う記事など
  • モニタリング/パフォーマンス監視
    • ログ監視以外の監視系を扱う記事など
    • metricbeat/packetbeatによる監視やAPMなどを含みます
  • セキュリティ
    • SSL/TLS対応やセキュリティ監視/分析目的でElastic Stackを使う記事など
  • データ分析/データ集計
    • データ分析の際のデータストアとしてElasticsearchを使用する記事など
    • その他、データ集計や自然言語処理、Machine Learningの内容などを含みます
  • データ投入、可視化
    • データ形式によらずElasticsearchにデータを投入し、Kibanaで可視化をするような記事など
    • visualize作成方法やCanvasの使い方など可視化に特化したものも含みます
  • 運用Tips、トラブルシュート
    • 運用時に役立つTipsや障害時の対応の仕方など
    • スナップショットとリストア、データ保存期間、内部動作の説明などの内容を含みます
  • その他
    • これまでの分類に含まれないもの