Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/05/27～2018/06/02)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

Elasticsearch カテゴリーの記事一覧 - やさぐれSEの技術メモ

皆が辛い思いをしないようにハマったポイントなどを書きます

4月末から1ヵ月ほどかけてElastic Stackの導入に際して知るべきこと/検討すべきことをまとめられているブログがあることを今週になって知りました。 id:gitya107さんのブログです。 日本語では中々記載されていない情報や、実業務で使用していないと分からないことなど、貴重な情報が盛りだくさんで、オススメです。ありがたや…



公式ブログ

ENGINEERING

Seven Tips for Better Elasticsearch Benchmarks

This blog post is based on the talk Seven Deadly Sins of Elasticsearch Benchmarking at Elastic{ON} 2018. Performance is a key feature of Elasticsearch. Our development team runs benchmarks to evaluate the performance characteristics of new features or to measure the effectiveness of performance improvements.

Elasticsearchに限らず、システムをベンチマークする際に留意すべき7箇条について述べた記事。 また、ElasticsearchベンチマークツールとしてElastic社製のRallyを紹介している。

  1. システムセットアップ：　 できるだけプロダクション環境に近くかつシステム全体が再現可能な環境でベンチマークすること。
  2. ウォームアップ：　 負荷がかかり始めてすぐのスループットはスパイクを吸収できる余裕があるので、有効なベンチマーク結果ではない。ちゃんとサチり初めてからを有効なベンチマークとすること。
  3. ワークロード：　 プロダクション環境と同じようにシステムに対するアクセスパターンをモデル化すること。
  4. ベンチマークソフトウェアにもバグがあることに注意：　 やりたいベンチマークを実行できるか？を事前に実験し、確認しておくこと。
  5. 偶発的なボトルネックに注意する：　 ターゲットシステム以外がボトルネックとなっている場合、偽の結果になるので注意すること。特に可能性が高いのはネットワークの飽和。まずはターゲットシステムのパフォーマンスを測定するのではなく、ネットワークの最大パフォーマンスを測定すること。
  6. 構造化プロセスを用いる：　 カオスなベンチマークは毒であることを認識し、再現可能なテストを実行すること。また、再現できるように記録を取っておくこと。
  7. 統計を取る：　 実行ごとにGCやJIT、OSスケジューラの動作は異なるため、複数回実行して、統計的優位性検定をすること。

結論として、色々な観点があってベンチマークは難しいけれど、記事に示した7つのヒントを参考によい測定結果を得て、正しい意思決定をしてほしい、と結んでいる。



Understanding your teams Elasticsearch usage with Elastic Cloud Enterprise

Requirements: Elastic Cloud Enterprise 1.1+ Cluster Names with team name The ECE REST API to retrieve Elasticsearch cluster information offers quite a bit of useful information about running clusters, snapshot status, and historical information of any configuration changes.

個人では使わないため、比較的謎に包まれているECE(Elastic Cloud Enterprise)についての記事。 ECEのAPI呼び出しから3つのチーム（Sales/Security/AppDev）が使用するクラスタの使用状況について、以下の情報を呼び出し、Kibanaで可視化する流れを記載している。

  • チームごとのElasticsearchメモリ使用状況
  • チームごとのElasticsearchディスク使用状況
  • 上記2つの情報の時系列変化



Monitoring an application running in Docker containers and Kubernetes with the Elastic Stack

An introduction to the benefits of Elastic modules and autodicover feature when monitoring the logs and metrics from a Docker container environment. Collect, search, and visualize the logs and metrics from your application, Docker, and Kubernetes all in one place.

Dockerとk8sを対象としたモニタリングについての概要記事。 もう既にFilebeatやMetricbeatに親しんでいる人であれば、動画を見た後にそれぞれのBeatsのAutodiscoverを説明したドキュメントを読めば使えそう。



Elastic Stack Updates

Keeping up with Kibana: This week in Kibana for May 28, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. The highlight of this week is the new Sample Data set on the home page. This new feature allows for a one-click getting started experience users new to Kibana.

今週のKibana更新内容についてのまとめ。 フィーチャーは以下の2つ。

One-click sample data
  • Kibana導入時点からサンプルデータ、サンプルダッシュボードが同梱されるようになる
    • 使い始める人にとって嬉しい改善
    • 個人的にも新しい人に紹介するときに助かりそう！
Canvas technology preview
  • Kibanaに関する（？）全てのUIコンポーネントをElastic's in-house UI frameworkに変換している最中
    • 最近、Workpadのヘッダーとpage settingsに関する幾つかの変更をマージした
      • その内容はあまり詳しく書いてない…
  • 新しいレイアウトエンジンを開発中
    • このエンジンにより、配置要素の移動、リサイズや回転が簡単になる
    • キーボードコマンドも追加される
    • 3D変形のデモがGif画像で張られている

Kibana Canvasの更新については、Canvas Technology Previewで直近の開発状況を公開しているとのこと。（こんなんあったのか…知らなかったにょ。）

さらに言うと、この内容はdiscussにあるCanvas Blog Stream - Elastic Community / Elastic Stream - Discuss the Elastic Stackの最新20件を表示しているものなので、昔の内容を見たい人はこちらを参照のこと。



This Week in Elasticsearch and Apache Lucene - 2018-06-01

Cross Cluster Replication The primary focus last week was on benchmarking, specifically getting to a point where we index full speed to an index in one region and the follower index in another region keeps up. If you remember, in last week update we reported indexing a 30GB data set and that was fully replicated but it took ~11 hours to complete.

今週のElasticsearch更新まとめ。 SQLの話が気になるけど、記事途中で張られてるODBSドライバのGitHubリポジトリ、リンク切れてる…切れてない？



公式ウェビナー

Kibana Dashboards: Level Up | Elastic

Kibana has many ways to visualize your Elasticsearch data and now you want to take your Kibana dashboards to the next level. Join Elastic for a live demo on customizing your Kibana dashboards and visualizations. Are you using all of the features Kibana offers?

Kibanaに関するウェビナーが開催されてた。まだ見れてないので内容は不明。見なきゃ…



Qiita

Elasticsearch

コマンドライン2行：ElasticSearch + Kibana 環境を Docker on Mac で作る（2018年5月時点）

2018-05-29T04:52:33,705][INFO ][o.e.n.Node ] [] initializing ...

コンテナからホストに簡単に接続する方法（host.docker.internal）は初めて知りました。



その他ブログなど

Elasticsearch 6.x で join datatype と has_child, has_parent クエリを試した | cloudpack.media

tl;dr 参考join datatype と has_child, has_parent クエリ-- join datatype-- has_child, has_parent クエリ　　-----...

Elasticsearchでドキュメントの親子関係を表現するにはどうすればよいか？の解説記事。 子の条件で親を検索したり、親の条件で子を検索したりもできる。便利。

ちなみに公式ドキュメントを覗くとわかる通り幾つか制約がある。

Parent-joinの制約
  • indexあたりに設定できるjoinフィールドは1つだけ
  • 親と子のドキュメントは同じshardに保存されている必要がある
  • 親は複数の子を持つことができるが、子は複数の親を持つことはできない
  • 既に存在しているjoinフィールドに新たな相関関係を追加することはできる
  • 既に存在しているドキュメントに子供を追加することもできる（ただし、対象のドキュメントが既に親である場合に限る）



文書検索サービス｜CACの高品質なAWS支援サービス「enterpriseCloud+」

文書検索サービス｜CACが提供するeC+は、AWSをより簡単により便利にご利用いただくためのエンタープライズ企業向けのクラウドサービスです。AWSの導入を検討している企業様に、開発から運用まで低コストで高品質なオールインワンサービスを提供します。まずは、無料診断へ。

AWS Elasticsearch Serviceに絡めた構成例。



「Elasticsearchって何？」｜IT勉強会ならTECH PLAY［テックプレイ］

Elasticsearchとは Javaで記述された全文検索ソフトウェアである！ ※引用 「Lucene」（ルシーン）　 Javaで記述された全文検索ソフトウェアである。 あ...

Elasticsearchに関する軽い説明。



fluentdを利用してログ収集を簡単にしよう！ - OthloBlog - オスロブログ -

おはこんばんちは！@ジュジュです！ 今回のブログではRubyで書かれたログ収集の万能マン fluentd について書こうかと思います。プラグインも含め開発者がほとんど日本人のソフトウェアです。なんだか誇らしいですね。 対象読者 ログ収集って面倒くさいよねって思っている人。 fluentdって聞いたことあるけどまだ使ったことがない人。 ログの収集をハンドリングしたいインフラエンジニア。 ...

名古屋のIT系学生コミュニティOthloTech（id:othlotech）さんの記事。 FluentdでElasticsearchにデータ投入するまでの流れを解説。



Amazon Elasticsearch Service クラスタを作成するだけの CloudFormation テンプレートを作った #ただそれだけ - ようへいの日々精進XP

ただそれだけ の CloudFormation 初心者, 川原です. タイトルの通り, Amazon Elasticsearch Service クラスタを VPC 内にサクっと作成する CloudFormation テンプレートを作成しました. 作成したテンプレートは, 以下の リポジトリ にアップしています...

id:inokaraさんのブログ記事。 AWSで大量のElasticsearch Serviceクラスタを立ち上げたいときに参考になりそう。



Logging with ElasticSearch, Kibana, ASP.NET Core and Docker

In this tutorial, I'll show you how you can get up and running with ElasticSearch, Kibana and ASP.NET Core 2.1 Before we get started, let's look at what ElasticSearch, Kibana and Serilog are. In simple terms, ElasticSearch is an open source database that is well suited to indexing logs and analytical data.

ASP.NET CoreのログをElasticsearchに投入してKibanaで可視化する方法を記載している。 ASP.NET Coreはマルチプラットフォームで動作する.NET環境らしい。 データの投入にはASP.NET CoreのプラグインであるSerilogを使用している模様。