Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/08/12~2018/08/18)

f:id:j__yama:20180819154904p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

公式ブログ

ENGINEERING

  1. Test-Driven Relevance Tuning of Elasticsearch using the Ranking Evaluation API | Elastic
  2. Stretching the Cloud: Flexibility in Elastic Cloud Deployments | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-08-17 | Elastic



USER STORIES

  1. Operational Logging at Lyft: Migrating from Splunk Cloud to Amazon ES to Self-Managed Elasticsearch | Elastic



公式ウェビナー

  1. Elasticsearch Service: Hot-Warm Architecture, Machine Learning | Elastic



Qiita

  1. Elasticsearchの類義語辞書を動的に更新する方法の調査: codelibs/elasticsearch-analysis-synonym
  2. Ubuntu18へのElasticStackインストール
  3. Kibana6.2でindex patternとしてエイリアスを使用する
  4. AWS無料枠でTwitter分析 - 環境準備編
  5. ElasticsearchとKibanaをDockerでサクッとインストールする(シングルノード・マルチノード)
  6. ELK(Elasticsearch Logstash Kibana) + nginxをdocker-composeで起動
  7. Laravel ScoutでElasticsearchを使うためにカスタムエンジンを自作した
  8. Elasticsearchで電話番号をAutoCompleteさせる



その他ブログ記事など

日本語

  1. パロアルトネットワークス社製次世代ファイアウォール用 リアルタイムログ解析ツール『PALallax』 PAN-OS 8.0に対応したバージョン3.0.0をリリース | 株式会社エーピーコミュニケーションズ | プレスリリース配信代行サービス『ドリームニュース』
  2. Amazon Elasticsearch Service、Elasticsearch バージョン 5.6 および 6.3 のサポートを発表
  3. Amazon Elasticsearch ServiceをCloudFormationだけで作成する | Developers.IO
  4. 【アップデート】Amazon Elasticsearch Serviceでダウンタイム無しアップグレードが可能になりました | Developers.IO
  5. 【Laravel】Laravel Scout + Elasticsearchを使った全文検索の実装方法 | Public Constructor
  6. Homebrewで管理しているElasticsearchにプラグインをインストールする - dev/mom0tomo
  7. Elasticsearchのdate型でInvalid format言われた場合の対処方法 - sakutarou’s blog
  8. Elasticsearchの検索においてnullを検索条件にしたい時にすること - ウェブエンジニア珍道中
  9. やっとElasticsearchのクエリーでドキュメントの検索ができた - sakutarou’s blog
  10. Docker & Kubernetes ウェビナー
  11. Satoyuki Tsukano@技術書典5 か78さんのツイート: "10/8技術書典5「か78」に決まりました。何人かでElasticsearch本を出します。"



英語

  1. AWS Events Analysis with ELK – Hacker Noon
  2. Build A Search App With ElasticSearch - YouTube
  3. Creating a Single-Node ELK Stack – Burnham Forensics
  4. In-place version upgrades for Amazon Elasticsearch Service | AWS Database Blog
  5. Elastic and Alibaba Cloud Expand Partnership to Deliver Alibaba Cloud Elasticsearch Globally
  6. DBaaS for Elasticsearch Jetpack | ObjectRocket
  7. Logging Best Practices for Kubernetes using Elasticsearch, Fluent Bit and Kibana
  8. How we implemented a funnel and user journey tracker service with ElasticSearch
  9. Using SAML with Kibana | Search Guard | Security for Elasticsearch
  10. Shipping Kubernetes Cluster Metrics to Elasticsearch with Metricbeat
  11. Using Cloud Dataflow to index documents into Elasticsearch
  12. Tracking Nearby Ships with SDR and Elasticsearch – Shane Stuff!



英語以外

  1. Gestión de backups para ElasticSearch « Formación, consultoría y desarrollo Freelance
  2. Desplegar un cluster ElasticSearch con Docker « Formación, consultoría y desarrollo Freelance
  3. 記一次 Elasticsearch Troubleshooting 的歷程 | Kakashi's Notes
  4. (一)ElasticSearch-入门 – 技术成就梦想
  5. Brincando com o ElasticSearch (Parte 6: Aggregations) | LinkedIn



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/08/05~2018/08/11)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今回からしばらく縮小運営にしようと思います。(リンクを張るのみ)

公式ブログ

ENGINEERING

  1. Upcoming Kibana Plugin API Changes in 6.4 | Elastic
  2. Sizing Hot-Warm Architectures for Logging and Metrics in the Elasticsearch Service on Elastic Cloud | Elastic
  3. How to Optimize Elasticsearch Machine Learning Job Configurations using Job Validation | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-08-10 | Elastic
  2. Keeping up with Kibana: This week in Kibana for July 30, 2018 | Elastic



USER STORIES

  1. From Tableau to Elastic: How Samtec Streamlined Business Intelligence & Analytics | Elastic



CULTURE

  1. How I Used my Volunteer Time Off with Refugee Rescue | Elastic



公式ウェビナー

  1. Using the Elastic Stack for Sensor Data, Telemetry, and Metrics | Elastic
  2. How to prepare for the Elastic Certified Engineer Exam | Elastic



Qiita

  1. ElasticSearch の Heap 設定しているのに OOM Killer に殺される場合がある / DisableExplicitGC
  2. LogstashからElasticsearchへの連携でNested datatypeを扱う
  3. Metricbeat 6.x で サーバー監視
  4. Ansible Tower(AWX)のジョブタスク結果をKibanaで一覧表示した時のメモ
  5. Macにelasticsearchをインストール
  6. elasticsearchのKibanaセットアップ
  7. elasticsearch利用例 Kibanaにて
  8. elasticsearch + Kibana BulkAPIを使ってみる
  9. docker-compose.yml を分割して external_links でコンテナを接続
  10. Elasticsearchのaggregationを試す。
  11. ElasticSearchで java.lang.ClassNotFoundExceptionが発生した場合の対応策
  12. DockerでelasticsearchにWikipediaのデータを取り込むまで



その他ブログ記事など

日本語

  1. MacOSにElasticsearchいれるよ - わいの日記
  2. window10 のubuntuにElasticsearch6.3をインストール - 30代SEのメモ
  3. window10 のubuntuにkibana6.3をインストール - 30代SEのメモ
  4. Elasticsearch6.3に日本語analyzerをインストール - 30代SEのメモ
  5. elasticsearch bulkAPIで地味にはまる - 年中アイス
  6. 【記者のひとこと】企業内検索に新風 - BCN+R



英語

  1. Solr vs. Elasticsearch in the Age of Insight Engines | Search Technologies
  2. Gruntwork Newsletter, August 2018 – Gruntwork
  3. LizardFS Elasticsearch - YouTube
  4. Siren for cybersecurity on Elasticsearch - Use case 2: Leaked email investigation - YouTube
  5. Elasticsearch: mapping and analysers – Benoît Guigal – Medium
  6. Never run out of cold brewed coffee again with Elasticsearch alerts | ObjectRocket
  7. elasticsearch-certification/objectives.MD at master · consulthys/elasticsearch-certification · GitHub
  8. Elastic Reporting and Skedler Reports
  9. LoudMLさんのツイート: "Loud ML will be available for Amazon Elasticsearch Service in weeks! It's machine learning with super-fast time to market. Read more: https://t.co/qxxEyM9Lgf @awscloud #amazon #elasticsearch #aws #machinelearning #bigdata #technews #deeplearning #devops #cloud #cloudcomputing… https://t.co/NtIBDrokSt"
  10. Setup Apache Spark, ElasticSearch, hadoop & Zeppelin on Mac with Brew
  11. Suricata IDS with ELK and Web Frontend on Ubuntu 18.04 LTS
  12. User Impersonation | Search Guard | Security for Elasticsearch
  13. GitHub - larmic/spring-boot-elasticsearch-over-http: Simple example of using Spring Boot, Kotlin and Elasticsearch over http
  14. Apache Flink: Apache Flink 1.6.0 Release Announcement
  15. Setting up X-Pack Security – Zoltan Altfatter – Software Engineer
  16. Using Elasticsearch with Python and Flask - DEV Community 👩‍💻👨‍💻
  17. Elasticsearch Cluster Using Docker – Kung Wang – Medium



英語以外

  1. Brincando com o ElasticSearch (Parte 1: Instalação) | LinkedIn
  2. Brincando com o ElasticSearch (Parte 2: Indexando) | LinkedIn
  3. ESTUDO DE CASO: BUSCA DE INFORMAÇÕES JURÍDICAS NO SISTEMA SINGAJ COM ALTA PERFORMANCE UTILIZANDO ELASTICSEARCH. | Blog / IMA
  4. Tutoriel ElasticSearch - bases de données en NoSQL
  5. Talk Coders - Desenvolvendo sua Stack de Log com NLog + RabbitMQ + ELK - YouTube
  6. آموزش Elasticsearch - بخش دوم: نصب و راه‌اندازی - ویرگول
  7. 5 - NodeJS ile Elasticsearch ve MySQL Üzerine Bir Uygulama Yapalım



先週の漏れ

  1. This Week in Elasticsearch and Apache Lucene - 2018-08-03 | Elastic



今週は以上です。

「これまでのようにembed.lyでブログカード風に装飾してほしい!(この形式だと内容が分からなさすぎてつらい)」「この形式でも十分だよー」などあれば、意見いただけると嬉しいです。

それでは。

今週のElastic News (2018/07/29~2018/08/04)

はじめに

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、様々なバックグラウンドの方が読まれることを考慮して、各記事に難易度を記載しています。完全に独断と偏見に基づく難易度を設定しますので、参考程度にどうぞ。

  • 難易度について
    • ☆☆☆:技術的な内容を含まないニュースなど
    • ★☆☆:Elastic Stack初心者向けの解説、チュートリアルなど
    • ★★☆:Elastic Stackを既に使用している方向け、新機能紹介など
    • ★★★:応用的な内容でElastic Stack以外の特定の領域に対する知識を必要とするもの
      • なお、★★★については、何の理解が必要なのかを補足するようにします
      • その領域について知識があれば、特段難しくないことが多いです

また、各記事における()内は筆者意見です。

今週の注目情報

進化するElasticsearch Service:Hot-Warmクラスター、Machine Learning、ハードウェア選択、新しい料金プランが登場 | Elastic

Elastic CloudのElasticsearch Serviceがさらに進化しました。より多くのユースケースに対応してさまざまな新機能が登場し、大規模なスケールにも対応できるようになりました。また、開発に応じたカスタマイズ機能もパワーアップしています。 新機能の一部を簡単にご紹介します。 マネージドサービスのElasticsearchとKibanaを一か所で管理できるようになりました ...

  • 難易度:☆☆☆
  • Anurag Guptaさんによる記事です
    • Elastic CloudのElasticsearch Serviceに数々の新機能が加わり、さらに料金プランが見直されました
      • Machine Learningノードのデプロイが可能に
      • ユースケース別のデプロイテンプレートが追加
      • Hot / Warmアーキテクチャのデプロイに対応
      • 料金の見直しにより、より安く利用できるように
      • 無料オプションの追加

などが、代表的なサマリです。料金については、次の記事で詳しい説明がなされています。




Elasticsearch Service on Elastic Cloudに低価格プランと新しい料金体系が登場

先日、 Elasticsearch Service on Elastic Cloudにさまざまな新機能が加わり ました。検索から分析、ログまでのあらゆるユースケースでさらにバリューを体感していただくことができるようになっています。このリリースに合わせて料金体系も一層わかりやすく変更し、プランを柔軟に選べるようになりました。 新しい料金プランの主な変更点は次の通りです。 ...

  • 難易度:☆☆☆
  • Anurag Guptaさんによる記事です
    • Elastic Cloudの料金体系変更について紹介しています
      • 月額最低利用料金が$45から$16.40に
        • また、使用料に応じた料金モデルに変更し、予測しやすくなった
          • I/O上限が1GBのプランから8GBのプランに変更すると、料金は8倍になる
      • 以下の無料枠が登場(今後も順次拡大予定)
      • インスタンスで使用しているAWSインスタンスタイプ(i3、r4、m5、d2)を明示的に表示、選択できるように

ということです。 注意点としては現時点では Elasticsearch Serviceの無料枠はない と思われることです。 とはいえ、今後も順次拡大予定ということなので、追加される可能性もあります!備えましょう。




公式ブログ

ENGINEERING

Hiking the Pacific Crest Trail with the Elastic Stack - Part 2: Hitting 1000

This is Part 2 of the Hiking the Pacific Crest Trail with the Elastic Stack blog series. If you haven't read Part 1, I'd recommend you check that out before continuing. I'm told that to survive you need five things; air, food, water, sleep, and shelter.

  • 難易度:★★☆
  • Alex Francoeurさんによる記事です
    • 6ヵ月をかけてパシフィック・クレスト・トレイル(や、その他の過酷な場所)をハイキングする兄弟、Mikeさんのハイキングデータを、Kibanaでリアルタイム可視化し、その安全を確認する事例紹介です
      • まだ読んでいない方は是非パート1から読んでみてください
    • 前回からElastic Stackのバージョンを6.3にアップデートし、幾つかの変更を加えています
      • Chaining Drop-Down Inputsを使用して、地理情報を絞りやすくした
      • Top Hit Aggregationを使用し、最新の緯度/経度を使ってマップを可視化できるよう、動的Markdownの記載を更新
      • 天気の表示をタグクラウドからVega Visualizationによるものに変更
    • X-Pack ReportingとAlertingを組み合わせて毎日ダッシュボードのpdfを両親に送付するように設定

私も本当にお気に入りの連載です。 ここまで書かれていると、ダッシュボードにアクセスしてみたくなるのがKibana好きの性というものですが、なんとdashboard onlyユーザとしてアクセスする方法が記事の一番最後に書かれています! 是非ともダッシュボードを確認して、Mikeさんの旅路を確認しましょう。




How to Tune Elastic Beats Performance: A Practical Example with Batch Size, Worker Count, and More

Working in Elastic Support for some time now, I've worked on a fair amount of performance tuning case. One of the common scenarios is to help improve ingestion rates. Ingestion has to be tested and tuned per use case - there is not a formula that fits them all.




Anonymize-It: The General Purpose Tool for Data Privacy Used by the Elastic Machine Learning Team

Data science work typically begins with a question, like "which of these two UX designs will lead increase sales on my website?" or "how can I best recommend products to customers given their order history?" Often, one of the biggest challenges in data science is finding appropriate data with which to answer these questions.

  • 難易度:★☆☆
  • Michael Hirschさんによる記事です
    • 機械学習の対象とするデータは顧客の個人情報を多分に含むため、外に持ち出せないことがあります
    • そのようなときにElasticsearchの中のデータを匿名化して出力できるElastic製のツール『anonymize-it』を紹介しています



RELEASES

Elastic APM Node.js Agent 1.10.0 Released

Elastic is pleased to announce that version 1.10.0 of the Node.js agent for Elastic APM has been released today, adding support for two new databases: Cassandra and Microsoft SQL Server. The agent now traces all queries made to your Cassandra cluster (PR #437). This is achieved by instrumenting the popular cassandra-driver Node module.

  • 難易度:☆☆☆
  • Thomas Watsonさんによる記事です
    • Elastic APM Node.jsエージェントの1.10.0がリリースされました
    • 将来的に分散トレースのサポートを追加する予定であることも紹介しています



Elastic Stack Updates

公式ウェビナー

Elasticsearch SQL ウェビナー

Elasticsearch SQL,Elasticsearch,Kibana,Elastic Stack,SQL

  • 難易度:?
  • 大輪 弘詳さんによるウェビナーです
    • Elasticsearch SQLについて紹介するウェビナーだったようです
      • (当日、見ることができなかったため詳細は不明)



Qiita

ElasticsearchのRollup機能を使ってドキュメントを圧縮する - Qiita

Elasticsearchの6.3.0からRollupというインデックスのドキュメントを集計して別のインデックスに保存することで、保存しておくドキュメントを圧縮する機能が追加されました。 ...

  • 難易度:★★☆
  • @NAO_MK2さんによる記事です
    • Elasticsearch 6.3.0から追加されたRollup APIの使用方法を紹介しています



How to get aggregated data from nested schema using Elasticsearch DSL - Qiita

Environments ```bash curl http://localhost:9200 { "name" : "xxxxx", "cluster_name" : "elasticsearch", "clust...

  • 難易度:★☆☆
  • @osk_kamuiさんによる記事です
    • Nested Data Typeのフィールドについて、mappingの設定例と、Python Elasticsearch DSLを用いる際のaggregationクエリ実行例を紹介しています



CentOS7へのElasticsearch6.3 のインストール - Qiita

CentOS7環境へのElasticsearchのインストールについて纏めます。環境は次の通りです。 ・CentOS 7.5 ・Elasticsearch 6.3 タイムゾーンJST に変更 ``` # timedatect...

  • 難易度:★☆☆
  • @m-enoさんによる記事です
    • CentOS 7.5にElasticsearch 6.3 + Kibana 6.3をインストールする方法を紹介しています



Elasticsearch SQL CLIを外に出して使う - Qiita

概要 Elasticsearechに対してSQLで結果を取得できるSQL Accessが6.3から提供されています。 SQL AccessのためのCLIは、Elasticsearch本体に含まれていますが、 SQLでSELEC...

  • 難易度:★★☆
  • @tsgkdtさんによる記事です
    • Elasticsearch SQL CLIの実行jarファイルを持ち出すことで、Elasticsearchのインストールされていないサーバから遠隔でElastisearch SQL CLIを動作させる方法&関連TIPSを紹介しています



Zabbix3.4 PostgreSQLとElasticsearch 6.3の連携 - Qiita

こちら](https://qiita.com/jackkitte/items/5190ab0aea6713bb12c7)を参考に、Zabbix内のPostgreSQLデータをLogstash経由でElasticsearchに格納し、...

  • 難易度:★☆☆
  • @m-enoさんによる記事です
    • Zabbix 3.4内のPostgreSQLのデータを、Logstash経由でElasticsearchに投入し、Kibanaで可視化する方法を紹介しています



ElasticCloudがなんさま安くなっていた!! - Qiita

先月、可視化で遊んでランニングコストがかさむから一旦落としていたElasticCloudを再度立ち上げ。。。 ん? ![スクリーンショット 2018-08-04 8.39.29.png](https://qiita-image-s...

  • 難易度:☆☆☆
  • @koshinさんによる記事です
    • Elastic Cloudの価格改定により、デプロイ価格が大幅に安くなったこと、Machine Learningノードが無料になったことなどを伝えています

その他ブログ記事など

日本語

kibanaを起動する(Docker) - sakutarou's blog

今回はkibanaを起動してみます。 kibanaも基本的には公式を参考とすれば問題ありません。 Elasticsearchの起動はこちらをどうぞ kozo.hatenablog.jp www.elastic.co Dockerイメージを取得 docker pull docker.elastic.co/kibana/kibana:6.3.2 イメージ名を変更する 前回同様、イメージ名が長すぎて使いづらいのでイメージ名を変更します。 docker tag {取得したイメージID} kibana:6.3.2 # 変更前は削除 docker rmi docker.elastic.co/kibana/...

  • 難易度:★☆☆
  • id:sakutarouさんによる記事です
    • KibanaのElastic公式Dockerイメージを起動する方法を紹介しています



アクロクエストテクノロジー、Elastic社のAdvanced Reseller Partnerに認定 | Acroquest Technology株式会社(アクロクエストテクノロジー)

ビッグデータ分析/可視化ソリューション事業を展開するアクロクエストテクノロジー株式会社(本社:神奈川県横浜市代表取締役:新免流、以下「アクロクエスト」)は、Elastic社(本社:オランダ アムステルダム代表取締役:Shay Banon) の Advanced Reseller Partner に認定されましたので、お知らせいたします。 ...

  • 難易度:☆☆☆
  • Acroquest Technologyさんによるプレスリリースです
    • 日本初のElastic社とのAdvanced Reseller Partnerに認定されたことを公表しています
    • (なお、通常のユーザであれば、あまり気に掛けることはないと思いますが、パートナー契約形態の種類はこちらから確認することができます)



Elasticsearch でフィールド同士の差分で検索したい (例えば, 開始から終了の経過時間で検索したいとか) - ようへいの日々精進XP

分かりづらいタイトルですいませぬ. 以下のようなデータを Elasticsearch に突っ込んでいたとして, start と end の差分 (経過時間) を算出して, その結果から N 秒以上とか, N 秒以上, N 秒以下を検索条件として利用する方法を検討したのでメモっておく. 尚, 検証に利用した Elasticsearch 環境は以下の通りで, Kibana のバージョンは 6.2.4 を利用している.

  • 難易度:★★☆
  • id:inokaraさんによる記事です
    • 開始時間と終了時間をdate型で保持するドキュメントにおいて、その差分時間などを算出して検索条件に使用する方法を紹介しています
      • (KibanaのScripted Fieldsにも転用できる事例かと思います。)



エラーログを使用して Amazon Elasticsearch Service ドメインを簡単にトラブルシューティング

Amazon Elasticsearch Service で Elasticsearch のエラーログを有効にできるようになり、検索のトラブルシューティングに役立つ情報の利用や、インデックス作成オペレーションをすばやく簡単に行うことができるようになりました。これらのログは Amazon CloudWatch Logs サービスにパブリッシュされ、自由にオンまたはオフにできます。お支払いいただくのは、使用量に応じた CloudWatch 料金のみです。Amazon Elasticsearch Service の使用に対する追加料金は適用されません。

  • 難易度:☆☆☆
  • AWSによるアップデート情報です
    • Amazon Elasticsearch Serviceからエラーログを出力できるようになった
    • エラーログはCloudwatch logsに出力され、使用料はCloudwatchの分のみ
      • Amazon ESに追加料金はかからない



Amazon Lex と Amazon Elasticsearch Service を使用してドキュメントサーチボットを構築する | Amazon Web Services

私たちはドキュメントの検索に多大な時間を費やしています。ドキュメントストアにまずアクセスし、関連するドキュメントを検索します。ドキュメント内のテキストを検索するには、別の検索を行う必要があります。 このブログ記事では、音声やテキストを使用してドキュメントを検索する方法について説明します。

  • 難易度:★★★
  • AWSのAkash Jain, Rahul Kulkarniさんらによる記事です
    • Amazon LexとAnazon ESを組み合わせることによりドキュメントサーチボットを構築する方法を紹介しています
      1. S3にpdfデータなどのドキュメントデータをアップロードした際に、自動でAmazon ESにインデクシングするLambda関数を作成する
        • Amazon ESにはApache Tikaのライブラリがビルトインされているため、ドキュメントの文字をパースすることが可能
      2. Amazon Lexでサーチボットを構築する
        • Amazon ESに検索クエリを投げるクライアントとしてはLambdaを使用
      3. LexとWEB画面を連携させてエンドユーザに提供する
        • ここの部分は今回の記事では解説しない

なお、構築のために必要なデータなどは全て提供されているので、再現した環境を構築することが可能です。




Elasticsearchの基本的な操作について - ウェブエンジニア珍道中

Elasticsearchの基本的な操作などをまとめます。半分メモのようなものです。 間違った解釈があればご指摘いただければ幸いです。 CRUD(Create・Read・Update・Delete)はREST APIで行います。REST APIRailsでよく作るアレです(適当)。

  • 難易度:★☆☆
  • id:te-nuさんによる記事です
    • Elasticsearchの基本的なCRUD操作の方法を紹介しています



2018-08-02_elasticsearch_tarao.pdf




Kibanaを用いたアクセスログ調査と解析 / Access Log Analysis Using Kibana

  • 難易度:★★☆
  • はてなid:alpicolaさんによるスライドです
    • 同社が提供するMackerelとKibanaを組み合わせて使う際のケーススタディを紹介しています
      • まず、Mackerelのアラートで異常に気付く
      • その後、Mackerelで異常を示したメトリクスを頼りにKibanaで原因を探求していく



Sudachi ❤︎ Elasticsearch

Elasticsearchで今すぐ使えるビジネス向けトークナイザー『Sudachi』 https://github.com/WorksApplications/Sudachi 【京都開催】Elasticsearch勉強会 #elasticsearchjp https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/252971593/

  • 難易度:★★☆
    • kuromojiを使ったことが合ったり、形態素解析の基礎的な知識を有していると望ましい
  • Sorami Hisamotoさんによるスライドです
    • 商用利用に耐えうる形態素解析器Sudachiを紹介しています
      • Elasticsearchプラグインもあり、日本語解析の標準プラグインを目指すとのこと
        • (正直なところ、あとはインストールのしやすささえ改善されれば、Kuromojiのリプレイスは現実的な気がします。私も今後はメイン採用していこうかと思います!)
    • また、Sudachiに関するやり取りが可能なSlackワークスペースも紹介しています
      • GitHubから参加できるので、使用を検討している方、使用し始めている方はぜひ参加してみてはいかがでしょうか)



MacOSへのElasticsearchインストール手順

Elasticsearchインストール方法のうち、HomeBrew(推奨)の手順を解説します。 HomeBrew という、パッケージをいいようにインストールしてくれるツールをダウンロードします。他にもElasticsearchをzipファイル形式などでインストールする方法なども利用しましたが、HomeBrewを使うのが一番楽でした。 ...

  • 難易度:★☆☆
  • kubokiyoshiさんによる記事です
    • MacOSにてhomebrewでElasticsearchをインストールする方法を紹介しています



Ansible Tower(AWX)のシステムログ及びジョブ実行ログを一先ずElasticsearchに取り込んで可視化する手順(備忘録)です。

Elasticsearch + Logstash + Kibanaを構築してAnsible Towerのログを転送し一先ず可視化するところまでやります。 設定も最低限にしかしません。

  • 難易度:★☆☆
  • sky_jokerさんによる記事です
    • Ansible Tower(AWX)のシステムログおよびジョブ実行ログをKibanaで可視化するまでの環境構築+設定方法を紹介しています



ABIERRE

「ITエンジニア」や「ITやりたいけどよくわからない」、「ITなにそれ?」って方へ技術支援などを目的としたチームです。

  • 難易度:★☆☆
  • ABIERREのISSIEさんによる記事です
    • macOSにElasticsearchをインストールする方法と幾つかの初心者向け情報を紹介しています



企業内検索システムの商談が急増 使い勝手の改善で顧客ニーズ引き出す――日立ソリューションズ|ニフティニュース

日立ソリューションズの企業内検索システムの商談が活気づいている。今年度に入ってからオープンソースソフトウェア(OSS)の検索エンジン「Elasticsearch(エラスティックサーチ)」の取り扱いを始...

  • 難易度:☆☆☆
  • 週刊BCN+の記事です
    • 日立ソリューションズさんがElasticsearchの取り扱いを始めたところ、今年度の企業内検索関連の受注が倍増する見込みであり、好調であることを伝えています



Elastic Stack を使用した SQL Server の情報取得

Elastic Stack の Logstash / Elasticsearch / Kibana を利用して...

  • 難易度:★☆☆
  • Masayuki Ozawaさんによる記事です
    • Ubuntu 16.04にElasticsearch / Logstash / Kibanaの環境を構築し、SQL Serverの情報を投入するまでの手順を紹介しています



英語

Native Elasticsearch Analytics Demo

Elasticsearch analytics video demo using Knowi. We demonstrate how Knowi natively integrates to Elasticsearch including building queries and a couple of visualizations. If you're looking for an alternative to Kibana x-pack , watch this demo.

  • knowiによる動画です
    • 難易度:★☆☆
    • 同社が提供するKnowiでElasticsearchのデータを可視化する手順を紹介しています



jillesvangurp/es-kotlin-wrapper-client

es-kotlin-wrapper-client - Kotlin client for Elasticsearch 6.x that wraps the official Java Elasticsearch Highlevel REST Client.

  • jillesvangurpさんによるリポジトリです
    • 難易度:☆☆☆
    • Kotlin用Elasticsearchのα版がコミットされ始めています



[1807.10792] NDBench: Benchmarking Microservices at Scale

Abstract: Software vendors often report performance numbers for the sweet spot or running on specialized hardware with specific workload parameters and without realistic failures. Accurate benchmarks at the persistence layer are crucial, as failures may cause unrecoverable errors such as data loss, inconsistency or corruption.




Announcing the Logz.io Community

We are happy to announce the official launch of the Logz.io Community - a space for like-minded professionals dealing with the same challenges involved in developing, monitoring and troubleshooting business-critical apps and services.

  • 難易度:☆☆☆
  • Daniel Bermanさんによる記事です
    • Elastic StackのSaaS環境を提供するlogz.ioが公式コミュニティ(Slackワークスペース)を開設しました
      • サポートコミュニティではないことに注意してください
      • ガイドラインを読んだうえで、参加することを呼び掛けています



Kubernetes FaaS - Kubeless Python and Elasticsearch

FaaS or Function as a Service also known as Serverless computing implementations are gaining popularity. Discussed often are the cost savings and each implementations relationship to the physical and network architecture of a specific platform or vendor. While many of the cost and infrastructure advantages of FaaS are compelling, its only one of many advantages.

  • 難易度:★★★
    • k8s, kubelessに対する理解
  • Craig Johnstonさんによる記事です
    • kubelessを使用して、サーバーレスなElasticsearchクライアントを実現する方法を紹介しています



Force the allocation of an elasticsearch index on restore

Today, I had occasion to delete an elasticsearch index and restore it from a snapshot. Normally this is a straightforward process, but this particular cluster has been in a yellow state for a while because all of its nodes are up against the low-disk watermark and many of its replica shards are thus sitting unallocated....

  • 難易度:★★★
    • Elasticsearch内部動作に対する理解
  • andrewgさんによる記事です
    • Elasticsearchのリストア時に特定シャードの割り当てを強制終了する方法を紹介しています
      • 今回は途中で全てのノードのlow disk watermarkを超えてしまった状態に陥った
      • 解決策として、Cluster APIのCluster Rerouteを実行します
        • オプションallocate_empty_primaryコマンドにより、空のprimary shardを割り当てたことにします



How-to: Migrate Elasticsearch Cluster to Amazon Virtual Private Cloud (VPC) with ZERO downtime.

While the steps below are high level and should be applicable for most infrastructure setup, I have provided some additional details that we considered for our setup at Mighty Networks. The Old Architecture: This comprises of Elasticsearch-Master nodes and 5 Elasticsearch-data nodes (3 for Application and 2 for Analytics).

  • 難易度:★★★
    • クラシックEC2から現行のVPC上のEC2への移行方法に対する理解(Classic-Linkなど)
    • DB移行の知識(移行時期には現行系と移行系の両方にデータを書き込むなど)
  • Mighty NetworksのVishnu Narangさんによる記事です
    • これまでクラシックEC2インスタンスで起動していたElasticsearchをゼロダウンタイムでVPC上に移行する方法を紹介しています
      • Elasticsearchクラスタの構成
        • 移行前
          • 3つのマスターノード(m3.large)
          • 5つのデータノード(m3.2xlarge)
        • 移行後
          • 3つのマスターノード(m4.large)
          • 6つのデータノード(m4.2xlarge)
            • アプリ用に4つ
            • 分析用に2つ
        • 移行後の方がノード数が多いが、価格は安くなる



Taking Time-series Analysis with Elasticsearch to Production

The main goal of using the machine learning tool available with the elastic stack is extracting the maximum value from the information we index. Thus far, we've been able to obtain page views with...

  • 難易度:★☆☆
  • David Antónさんによる記事です
    • X-Pack Machine Learningの一般的な適用先や、プロダクションデータに適用したときの一例を紹介しています



Getting started with Elasticsearch and Kibana - Mikey Hogarth - Medium

If you are interested in learning Elasticsearch/Kibana and want to get up and running with an environment on your local machine, here is how to do it really quickly with Docker. Assuming Docker is installed on your machine, make a folder (call it what you want) and create a file called docker-componse.yml.

  • 難易度:★☆☆
  • Mikey Hogarthさんによる記事です
    • docker-composeでElasticsearch+Kibanaをデプロイする方法を紹介しています



日本語、英語以外の言語

https://openwebinars.net/blog/que-es-elk-elasticsearch-logstash-y-kibana/?utm_source=dlvr.it&utm_medium=twitter

  • 難易度:★☆☆
  • Sergio Losadaさんによる記事です
    • Elasticsearch / Logstash / Kibanaについて、その概要を説明しています



3 - NodeJS ile Elasticsearch ve MySQL Üzerine Bir Uygulama Yapalım

İlk iki yazı ile birlikte ES seviyesine kadar uygulamamızı getirdik ancak ES tarafında istediğimiz sonuçları halen elde edemedik. İlk iki yazıda biraz konuyu uzattık ama işin iç yüzünü öğrenmek için biraz öyle olması gerekiyordu. Bu yazıda biraz daha hızlı ilerleyelim ve daha fazla ES ile ilgili konulara girelim.




先週の漏れ

Keeping up with Kibana: This week in Kibana for July 23rd, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. Check out this guest blog by Edan Shahmoon from Micro Focus who was kind enough to share his experience with Canvas.

  • 難易度:★★★
    • 従来のKibana機能に対する理解
  • Raya Fratkinaさんによる記事です
    • 最近のKibanaアップデートサマリ
    • (週終わりにポストされたので、ギリギリ反映できず…)



Kinesis Data Firehose + Elasticsearch Serviceで実現するログ基盤 in ATEAM TECH MeetUp_Vol.02 #AWS活用事例&交流会 - July 25th, 2018

2018年7月18日に開催された、「ATEAM TECH MeetUp_Vol.02 #AWS活用事例&交流会」での登壇資料です。

  • 難易度:★★☆
  • エイチームライフスタイルの杉本 啓史さんによるスライドです
    • ログ基盤としてAmazon Elasticsearch Serviceを使う際に気を付ける点、ハマりどころに対する解決策を紹介しています



おわりに

今週は以上です。

さて、これまで毎週、説明を加えて更新してきましたが、来週から

  • 完全に更新を休止する
  • 説明など全く抜きのリンク集ぐらいでやっていく

のどちらかにするつもりです。前者の方が濃厚かも。 (別件でやりたいことができてしまったので、そちらに時間を使いたいという心境の変化。)

引き続き、最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover




* ( You're filled with ELASTIC. )

今週のElastic News (2018/07/22~2018/07/28)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

なお、様々なバックグラウンドの方が読まれることを考慮して、各記事に試験的に難易度を記載することにしました。完全に独断と偏見に基づく難易度を設定しますので、参考程度にどうぞ。

  • 難易度について
    • ☆☆☆:技術的な内容を含まないニュースなど
    • ★☆☆:Elastic Stack初心者向けの解説、チュートリアルなど
    • ★★☆:Elastic Stackを既に使用している方向け、新機能紹介など
    • ★★★:応用的な内容でElastic Stack以外の特定の領域に対する知識を必要とするもの
      • なお、★★★については、何の理解が必要なのかを補足するようにします
      • その領域について知識があれば、特段難しくないことが多いです

また、各記事における()内は筆者意見です。

今週の注目情報

今週はElasticsearchに関連する勉強会が2つ開催されました。その際の発表資料を紹介します。

第23回Elasticsearch勉強会

What's new in Elastic Stack 6.3

第23回Elasticsarch勉強会で発表した6.3の新機能の紹介スライドです。 Webinarの録画ビデオではデモもありますので、参考にしていただければと。 https://www.elastic.co/jp/webinars/elastic-stack-6-3

  • 難易度:★★☆
  • Elasticさんの大谷さんによるスライドです
    • Elastic Stack6.3の新機能紹介をされています
    • デモはElasticの大輪さんが担当し、KibanaのElastic Map Serviceで日本の都道府県区域に応じたリージョンマップなどを可視化されていました
    • また、今後の勉強会の開催についてはユースケース別かつ毎月開催する可能性があることを仄めかしていました



Elasticsearch workshop 23_sql

第23回 Elasticsearch勉強会の資料です。 タイトル:「Elasticsearch SQLで何ができるか整理してみた」




第23回 Elasticsearch勉強会の発表資料です。 勉強会の詳細はこちら https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/252456268/

  • 難易度:☆☆☆
  • NTTテクノクロスの山下 城司さんによるスライドです
    • RSSフィードTwitter検索、Googleアラートの情報をIFTTT経由でDiscordに通知し、Elasticsearchに関する最新情報を一か所に集約する方法を紹介しています
    • そして、その情報をブログにまとめて毎週更新していると…うん、何処かで聞いたような……



【京都開催】Elasticsearch勉強会 #elasticsearchjp

2018年8月2日(木) 19:00: 「京都」で開催します。東京ではないのでご注意ください19時になるとビルの正面入り口のシャッターが下ります。向かって左手の通りにある通用口からお入りください。通用口が閉まっている場合にはインターホンから「801」を呼びだしてください。スピーカー募集中です。興味のある方は、メンバーページの「オーガナイザーへコンタクトする」より連絡か、https://twitte

ちなみに今週には、はてなさんのオフィスをお借りして「Elasticsearch勉強会@京都」を開催されるそうです…が、まだまだ席に余裕がありそうです!

私が京都に居たらぜひ参加したかったのですが…このブログを閲覧されている方で京都近辺在住の方がいらっしゃいましたら、ぜひ参加検討のほど、してみてはいかがでしょうか。




JJUGナイトセミナー「Elasticsearch特集」

Elastic Stackで始めるJavaアプリのパフォーマンス監視 / Intro Elastic Stack and Elastic APM Java

2018/07/25のJJUG ナイトセミナーで使用したスライドになります。 サンプルアプリ、Beats系の設定は以下のGitHubリポジトリで公開してます。 https://github.com/johtani/apm-beats-kubernetes-demo/

  • 難易度:★★☆
  • Elasticの大谷さんによるスライドです
    • Elastic APMJavaエージェントを使用し、k8s上にデプロイしたSpring Bootアプリのパフォーマンス情報を取得する方法を紹介しています
    • また、前半ではJJUGに来られたElastic Stackをまだ知らない方に向けて各種プロダクトの簡易説明を記載しています
    • なお、補足記事「JJUGナイトセミナーで話しました」も書かれているので、こちらも参照ください



はじめてのElasticsearchクラスタ

The First Elasticsearch Cluster 2018-07-25 JJUG ナイトセミナー「Elasticsearch特集」

  • 難易度:★★★
    • Elasticsearchの内部動作に対する理解
  • Acroquest Technologyの束野 仁政さんによるスライドです
    • 前半でElasticsearchのクラスタリングの仕組みを簡単に説明し、後半で「本番運用前にやっておくべきこと」と題して、本番運用での代表的なトラブル事例とその解決策を紹介しています
      • (私は「まさにこんな実践に則した内容が聞きたかった!」と膝を打ちましたが、会場に居たElasticsearchをご存知ない方には、かなりDeep Diveに見えた気がしますw)
    • また、「JJUGナイトセミナーで「はじめてのElasticsearchクラスタ」を発表しました」という記事で発表報告も書かれています






公式ブログ

NEWS

Elastic{ON} Tour 2018: We're Taking the Elasticsearch User Conference on the Road

Join us in one of 30 cities around the world for an Elastic{ON} event tailored to your Elasticsearch journey. Find an event near you. It has been truly humbling to spend time with everyone who has had the chance to attend Elastic{ON}, the Elasticsearch user conference, in San Francisco over the last four years.

  • 難易度:☆☆☆
  • ElasticのCEO、Shay Banonさんによる記事です
    • 今後のElastic{ON}について「年に1回、サンフランシスコでの大きなカンファレンスを開催する代わりに、より多くの(30以上の)国でElastic{ON}Tourを直接開催していく」方針に変更することを公表しています



Welcome Insight.io to the Elastic Team

A note from Shay Banon Today, we welcome another fantastic team to the Elastic family. We are joining forces with Insight.io, creators of a modern source code search platform used by thousands of developers around the world.

  • 難易度:☆☆☆
  • Shay Banon • Chongzhe Li • Fuyao Zhao • Mengwei Dingさんらによる記事です
    • ソースコード検索プラットフォームであるinsight.ioがElasticファミリーにジョインすることを公表しました
      • insight.ioはIDEに搭載されているような(コードジャンプ機能や重複定義の指摘などの)コードインテリジェンス機能をクラウド上のソースコードに対して実行可能なサービスです



ENGINEERING

Elastic Stack 6.3.0 and 6.3.1 May Disable Security for Trial Licenses

If you are currently using a trial license with Elastic Stack 6.2.x or earlier, your X-Pack security functionality may be disabled when upgrading to 6.3.0 or 6.3.1. Previous to version 6.3.0, X-Pack could be downloaded and installed to extend the functionality of the Elastic Stack.

  • 難易度:★★☆
  • Josh Bressersさんによる記事です
    • Elastic Stack 6.2.x以前でX-Packの試用版ライセンスを使用している場合、6.3.0または6.3.1にアップグレードした際、X-Packのセキュリティ機能が無効になるバグがあることを注意喚起しています
    • 回避策
      • バグ対処された6.3.2を使用する
      • その際、elasticsearch.ymlxpack.security.enabled: trueを明示的に記載する必要がある



How to Build Application Search with Ruby on Rails (Sample Code)

When people interact with their computer or phone, often times it looks like this: activate the screen, open the browser, type cryptic strings into an empty search bar, scan the results for a moment, then click on a top result. Search has given tremendous power to Internet users.

  • 難易度:★★★
    • Elastic App Search Serviceに対する理解
    • Ruby on Railsに対する理解
  • Kellen Person • James Ruckerさんらによる記事です
    • Elastic App Search Service(Swiftype App Search)を活用して、Ruby gemを検索するrailsアプリを作成する方法を紹介しています
    • こちらからデモアプリにアクセスできます



RELEASES




Elastic Stack Updates

This Week in Elasticsearch and Apache Lucene - 2018-07-27

Ingest Processors We have recently undertaken an effort to add significant functionality to the ingest node feature of Elasticsearch.

ウェビナー

Prepare and Protect GDPR Data using Elastic Stack

Sabyasachi Gupta, aka Sabby, has been working in the software industry for his entire career. Sabby has performed multiple roles - starting as a Software Engineer and then managing projects to architecting startup products and leading and managing high-performance agile product teams. He has experience in multiple business domains like healthcare, media, airline, financial, and more.




Optimizing your Machine Learning Jobs in Elasticsearch | Elastic

Joining the Elastic team from the Prelert acquisition, Rich has over 20 years experience as a Solutions Architect / Pre-Sales Systems Engineer for software, hardware, and service-based solutions. Rich's technical specialties include: Big data analytics, Machine learning, Anomaly detection, Threat detection, Security Operations, Application Performance Management, Web Applications, and Contact Center Technologies.

  • ElasticのThomas GrabowskiさんとRich Collierさんによるウェビナーです
    • X-Pack Machine Learningの使用方法をNYタクシー乗降データを対象として学ぶ内容になっています
    • (その他、上記では学べない内容として今回のウェビナーでは以下が紹介されています)
      • Saved Searchに対するMachine Learningを実行する(19:27~)
        • 異常値などを取り除いたSaved Searchを作成しておくことで、ETLの面倒さが緩和される
      • 6.2.0から追加されたCalendar Management機能を使って祝日などを設定する(27:12~)
        • これにより、祝日に乗降数が減少する事象を異常ではなくす
      • Time Series Visual Builderのannotationで異常な箇所を表示する(43:10~)



Qiita

Logstashを用いてMS SQL ServerのデータをElasticsearchに登録するための設定方法 - Qiita

目標 Windows環境でSQLServerのデータをkibanaで見えるようにするための環境を構築すること ※kibanaの使い方等は含みません。単純にデータが登録された所までの記事になります。 ## 環境+使用ツール - ...

  • 難易度:★☆☆
  • @yukiqさんによる記事です
    • Windows環境でMS SQL ServerのデータをLogstash経由でElasticsearchに投入する方法を紹介しています



Elasticsearch + KibanaをDocker Composeで動かす - Qiita

Docker Compose`を利用して、`Elasticsearch`を3ノード1クラスタ構成で起動させた - `Kibana`も立ち上げて、`Elasticsearch`と連携させた - `Docker Compose`の設...

  • 難易度:★☆☆
  • @sugikeitterさんによる記事です
    • kuromoji入りのElasticsearchクラスタ3台とKibanaを立ち上げるdocker-composeでデプロイする方法を紹介しています



その他ブログ記事など

日本語

ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)

ELKで始めるElasticStack6入門 (Elasticsearch, Kibana, Logstash)

  • 難易度:★☆☆
  • Wedding Parkの菅原さんによる記事です
    • Elasticsearch / Logstash / Kibanaについて入門者向けに基本的なコンセプトと使い方を紹介しています



DockerでElasticSearchを試す1 | ハックノート

DockerでElasticSearchを使って見ます。

  • 難易度:★☆☆
  • ハックノートのtakayasuさんによる記事です
    • Elastic公式ドキュメントに則ってElasticsearchのDockerコンテナを起動する方法を紹介しています



docker-composeでのRails環境にElasticsearchを組み込む - ウェブエンジニア珍道中

dockerを用いたRailsの開発環境に新たにElasticsearhを組み込んだのでまとめます。

  • 難易度:★☆☆
  • id:te-nuさんによる記事です
    • docker-composeでRails環境をデプロイしている場合に、どのようにすればElasticsearch+Kibanaを追加できるか紹介しています



elasticsearch-railsからElasticsearchの設定を変更する方法 - patorashのブログ

Elasticsaerchのインポートを速くしたいと思って現在試行錯誤しているのだけれど、全然速くならなかったので一旦コードを元に戻そうかと思っている。しかし、設定を変更するための仕方を調べるの結構手間取ったので、とりあえずそれだけ残しておく。 Foo.__elasticsearch__.client.indices.put_settings( index: Foo.index_name ...

  • 難易度:★☆☆
  • id:patorashさんによる記事です
    • elasticsearch-railsからElasticsearchのindex設定を変更する方法を紹介しています



英語

Learn How to Perform Load Testing in Elasticsearch - DZone Performance

In this article, we will learn to create and run a load test on Elasticsearch with Apache JMeter™. We will create a search request and monitor the results, the relevance of results and the errors if there are any. We will also mention the most common problems that can be identified by means of stress testing.

  • 難易度:★★★
  • Roman Aladevさんによる記事です
    • JMeterを使用してElasticsearchに負荷リクエストをかける方法を紹介しています



Apache Solr / Elasticsearch: How to Manage Multi-term Concepts out of the Box?

This flash blog post will address a very specific and common problem : how to manage entities/concepts composed by multiple terms in a vanilla Apache Solr/Elasticsearch instance ( no plugins or extensions to install). An Elasticsearch or Apache Solr infrastructure where you cannot install third-party components (e.g. plugins, filters, query parsers).

  • 難易度:★★★
    • Multi-word Synonymsに対する理解
  • ANDREA GAZZARINIさんによる記事です
    • USAやUnited States of Americaなど表記揺れを吸収する仕組みとしてMulti-Word Synonymsを使用する方法を紹介しています
    • (この記事だけでは理解が難しかったので、Definitive GuideのMultiword Synonyms and Phrase Queriesを読むと良いです)



Squeezing performance out of Elasticsearch

Lately my colleague Michał described how he tracked a Java memory leak. Although that problem was completely solved, new complications suddenly appeared on the horizon. As it usually happens, everything started with an alert from our monitoring system which woke me up in the middle of the night.

  • 難易度:★★☆
  • Dorian Sarnowskiさんによる記事です
    • MongoDBからデータを取得し、Elasticsearchへインデクシングするシステムで、ある日からインデクシングに20分かかるようになった、その原因を探求していく内容になっています
      • 数カ月前、インデクシングにかかる時間は2分であり、ドキュメントの数も3~4倍程度にしか増加していないため、20分もかかることはないはずである
      • また、データをストリーミングしていたため、プロセスのどの部分が処理を遅くしているか分からなかった
        • メトリックを見ても、原因は分からない
      • 様々な観点から設定を変更してみたが、最終的に発覚した問題は深いネストを持つインデックス構造にあった
        • 試しに、そのフィールドを登録しないようにしたところ4.5分で登録が完了した
        • 現在は、ネストを削除し、すべてフラットな構造に変更している
    • (物語調で非常に読みやすいです)



A Guide to Deploy Elasticsearch Cluster on Google Kubernetes Engine

This is a simple guide that helps you to deploy Elasticsearch cluster on Google Kubernetes Engine. This guide should be relevant on any Kubernetes cluster with a simple tweak on the persistent volume part. The overall step-by-step is like the following: Enable the persistent volume via Storage Classes.

  • 難易度:★★★
    • k8sに対する理解
    • ただ実行するだけなら★☆☆
  • Bayu Aldi Yansyahさんによる記事です



Deprecation of Compose for Elasticsearch 2.4.6 - IBM Cloud Blog

IBM Cloud Compose will be ending support and hosting of Elasticsearch 2.4.6 and earlier versions over the coming months.

  • 難易度:☆☆☆
  • DJ Walker-Morganさんによる記事です
    • IBMクラウドで提供されるElasticsearchについて2.4.6より以前のバージョン提供を終了するとのことです
      • 2018/07/31:この日以降、2.4.6以前のバージョンのElasticsearchインスタンスを新規作成できなくなる
      • 2018/10/31:この日までに全てのインスタンスを5.x以降にアップグレードする必要あり



Deduplicating documents in Elasticsearch

Overview In this blog post we cover how to detect and remove duplicate documents from Elasticsearch by using either Logstash or alternatively by using custom code written in Python. Example document structure For the purposes of this blog post, we assume that the documents in the Elasticsearch cluster have the following structure.

  • 難易度:★★☆
  • Alexander Marquardtさんによる記事です
    • Logstashのfingerprint filterを使用して既存のインデックス内の重複ドキュメントを取り除く方法を紹介しています
    • また、よりメモリ効率の良い方法としてPythonスクリプトで実現する方法も紹介しています



Remote Query Elasticsearch on Kubernetes

Developing on our local workstations has always been a conceptual challenge for my team when it comes to remote data access. Local workstation-based development of services that intend to connect to a wide range of remote services that may have no options for external connections poses a challenge.

  • 難易度:★☆☆
  • Craig Johnstonさんによる記事です
    • localhostのポートとk8sのポートを繋げる方法を解説しています



Elasticsearch Essential Queries

The following is an overview for querying Elasticsearch. Over the years I have tried to assemble developer notes for myself and my team on a variety of platforms, languages and frameworks, a type of cheat-sheet but with context, not a comprehensive how-to, but a decent 15-minute overview of the features we are most likely to implement in a given iteration.

  • 難易度:★☆☆
  • 引き続き、Craig Johnstonさんによる記事です
    • Elasticsearchの各種REST APIに対する操作方法を紹介しています
      • インデックスの削除/作成/更新
      • 検索
        • Range / Filter
      • Aggregation
        • count / average / max / min / percentile / percentile rank / histgram



Creating An Elasticsearch Cluster | Elasticsearch Deep Dive | Linux Academy

Wanting to dive deep into Elasticsearch? Check out our in-depth, hands-on course on Elasticsearch Deep Dive at: https://linuxacademy.com/devops/training/course/name/elastic-certified-engineer =============== The Elasticsearch Deep Dive course will give you an understanding on the core functionality of Elasticsearch. Get hands-on experience with installing, indexing and querying through 12 hands-on labs.




nGram filtering for Elasticsearch in Drupal 8

A powerful content search can be built in Drupal 8 using the Search API and Elasticsearch Connector modules. Out of the box, you get the ability to select which entities, fields, and properties are indexed into an Elasticsearch index. You also have the ability to tailor the filters and analyzers for each field from the admin interface under the "Processors" tab.

  • 難易度:★★★
  • BLUEOAKINTERACTIVEさんによる記事です
    • Drupal 8とElasticsearchを連携させる際にn-gram filterを設定する方法を紹介しています



Install ELK as Centralized Logfile Management Server on CentOS 7

This tutorial explains how to setup a centralized logfile management server using ELK stack on CentOS 7. As anyone who not already know, ELK is the combination of 3 services: ElasticSearch, Logstash, and Kibana. To build a complete centralized log management server using this concept, it would require to have each of this package as it's serve a different purpose and related to each other.

  • 難易度:★☆☆
  • shahril bin kamaruzzamanさんによる記事です
    • CentOS 7にElasticsearch / Logstash / Kibanaをインストールする方法を紹介しています



日本語、英語以外の言語

Searching Images in Elasticsearch using Luminoth




今週は以上です。

"No matter where you go, everybody's elastic."

今週のElastic News (2018/07/15~2018/07/21)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週の注目情報

今週はCraig Johnstonさんによる、k8s上で可用性の高いElasticsearch+Kibana環境を構築する一連のポストが非常に有用だと感じました。

他にk8s上にElasticsearchクラスタを構築するリファレンスとしてはpires/kubernetes-elasticsearch-clusterなどがある模様。

Production Grade Elasticsearch on Kubernetes

Installing production ready, Elasticsearch 6.2 on Kubernetes requires a hand full of simple configurations. The following guide is a high-level overview of an installation process using Elastic's recommendations for best practices. The Github project kubernetes-elasticsearch-cluster is used for the Elastic Docker container and built to operate Elasticsearch with nodes dedicated as Master, Data, and Client/Ingest.

  • Craig Johnstonさんによる記事です
    • 以下のステップに則ってk8sでElasticsearchクラスタを構成する手順を紹介しています
      1. 名前空間を作成
      2. アクセスとセキュリティ用にRBAC認証を設定
      3. Master/Data/Ingestそれぞれのノード用サービスを設定
      4. Dataノードを管理するStatefulSetを設定
      5. MasterノードのDeploymentを設定
      6. ClientノードとIngestノードのDeploymentを設定
      7. 動作確認



Kibana on Kubernetes

This guide walks through a process for setting up Kibana within a namespace on a Kubernetes cluster. If you followed along with Production Grade Elasticsearch on Kubernetes then aside from personal or corporate preferences, little modifications are necessary for the configurations below.

  • 引き続き、Craig Johnstonさんによる記事です
    • 以下のステップに則ってk8s上に認証機能付き+HTTPS通信のKibanaをデプロイする方法を紹介しています
      1. 名前空間を作成
      2. サービスを設定
      3. kibana.ymlのConfigMap作成
      4. Deploymentの設定
      5. Basic認証設定(任意)
      6. TLS証明書設定(任意)
      7. Ingress設定
    • 先の記事と合わせることでElasticsearch+Kibanaの環境をk8s上に構築できます



High Traffic JSON Data into Elasticsearch on Kubernetes

IOT devices, Point-of-Sale systems, application events or any client that sends data destined for indexing in Elasticsearch often need to send and forget, however, unless that data is of low value there needs to be assurance that arrives at its final destination. Back-pressure and database outages can pose a considerable threat to data integrity.

  • 引き続き引き続き、Craig Johnstonさんによる記事です
    • k8s上のElasticsearchへ高トラフィックJSONデータが送られてくる場合を想定し、rxtxとrtbeatを使用して可用性を高める案を紹介しています



公式ブログ

ENGINEERING

Integrating Nagios Checks with Logstash

Nagios is an open-source monitoring platform wherein users can write plugins or download a wide range of community plugins to accomplish highly customized monitoring goals. A while back, I wrote about how you can integrate any Nagios plugin into the Elastic Stack by using a plugin for Beats called NagioscheckBeat.




SAML based Single Sign-On with Elasticsearch and Azure Active Directory

With the release of the SAML realm within X-Pack security feature of Elasticsearch 6.2, implementing Single Sign-On (SSO) with a SAML 2.0 compliant identity provider is now just a simple case of configuration. We've written previously about how to enable SAML authentication in Kibana and Elasticsearch.




An Introduction to Elasticsearch SQL with Practical Examples - Part 1

The version 6.3 release of the Elastic Stack represented one of the most feature rich releases in recent memory. If the opening of X-Pack and addition of rollups weren't enough to get you excited, we announced the addition of SQL support as a experimental feature.

  • Dale McDiarmidさんによる記事です
    • Elasticsearch SQLの使い方について幾つものクエリ例を記載して紹介しています
    • demo.elastic.co で試してください、と何度も繰り返されているように、自分で環境とデータを用意する必要なく、クエリを試すことができるようになっています(なんと親切な!)



An Introduction to Elasticsearch SQL with Practical Examples - Part 2

In Part 1 of this Introduction to Elasticsearch SQL series, we provided a gentle introduction to the new Elasticsearch SQL feature as well as the _translate API. This specific post continues the series by exploring more complex features. After that, we'll look at some of the current limitations a user is likely to encounter with this initial release of SQL.

  • 引き続き、Dale McDiarmidさんによる記事です
    • パート2では、パート1よりも応用的なクエリについての紹介と、現時点で通常のSQLと比較し制限されていることは何であるか、そして将来的なアップデートで何をできるようにしていくか、を紹介しています
    • (パート1とパート2を実践すれば、現時点のElasticsearch SQLについてはほぼ理解できた、といっても過言ではないのでは…という良記事です!)



Elastic Stack Updates

Brewing in Beats: Load Auditbeat rules from a configuration directory

Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.3 is already available? Try it and let us know what you think. Auditbeat is getting support for loading audit rules from /etc/auditbeat/audit.rules.d/*.conf.




Logstash Lines: Towards supporting NFS

Welcome to Logstash Lines! With these weekly series, we're keeping you up to date with what's new in Logstash, including the latest commits and releases. Did you know that Logstash 6.3 is already available? Try it and let us know what you think.

  • Monica Sarbuさんによる記事です
    • 最近のLogstashのアップデートサマリ
      • logstash-input-fileプラグインNFSなどリモートマウントされているファイルのサポートを追加した



This Week in Elasticsearch and Apache Lucene - 2018-07-20

Field aliases We have merged a new field aliases feature which allows users to specify a new alias field type. This new field type points has a property, "path", which points to a different field and will resolve to that field whenever it is used in search and aggregations.




公式ウェビナー

Integrating Data Stores with Elasticsearch | Elastic

Join Nathan Zamecnik, Senior Elastic Education Manager, for an overview of extracting data from a database, transforming and enriching it, and loading it into Elasticsearch. Content for this webinar is taken in part from Elastic's recently launched training specialization courses.

  • Nathan Zamecnikさんによるウェビナーです
    • 以下の章立てでブログの検索機能としてElasticsearchを使用する場合、RDBMSなどのData StoreとElasticsearchを統合する方法を紹介しています
      1. (2:55~)Elasticsearch and Databases
      2. (13:00~)Data Modeling
      3. (28:02~)Synchronizing DBs with Elasticsearch
      4. (39:23~)その他宣伝とQ&A
    • Elasticsearch Certified Engineerになった後の(!?)新しいコースとして幾つかのSpecialization Traningを作成中
      • Logging
      • Search
      • Security Analytics
      • Data Science
      • Metrics/APM...
    • その中のSearch Specializationコース全4章のうち、最初の3章の内容をこのウェビナーで紹介する
      • なお、デモ部分はオミットしてあるため、その部分が気になる人はSpecializationコースを受講してほしい、とのこと



Qiita

子供を守る、SquidguardとELKスタックで作るネットフィルタリングシステム - Qiita

背景 近頃の子供たちは、小学生のうちからタブレットやスマフォに慣れ親しんでいて、その活用の仕方も大人顔負けのようです。習い事に電車で通う子供たちは必ずと言っていいほどスマフォを携帯していて、乗り換え案内や待ち時間の暇つぶしにスマフ...

  • @tkeneixさんによる記事です
    • SquidguardとElastic Stackを組み合わせたdocker-composeパッケージ「docker-squidguard-elk」を紹介しています



ElasticsearchのDynamicTemplateのメモ - Qiita

Elasticsearchを使う機会があって、 DynamicTemplateを使用したので、そのときのメモです。 メモなので雑です。 DynamicTemplateは、elasticsearchにデータをアップロードする際、 el...

  • @yutako0217さんによる記事です
    • ElasticsearchのDynamicTemplateについて、どういうもので、どう使えばよいのか紹介しています



elasticsearch-rest-high-level-client の dependency を pom.xml に書くときの注意 - Qiita

java プログラムからElasticsearcのREST API を呼び出すために、 公式サイトの説明のとおり、pom.xml に以下の記述を追加しました。 org.el...

  • @windturtleさんによる記事です
    • Mavenのpom.xmlにおける依存関係の記述でelasticsearch-rest-high-level-clientのverを指定するだけではなく、elasticsearchのverも明示的に指定する必要があることを紹介しています



ICPでIngress Controllerのアクセスログを有効にする - Qiita

IBM Cloud PrivateでIngressアクセスログを有効にするメモ。 以下を参考にする。 [Configuring Ingress Controller on IBM Cloud Private](https://d...

  • @sotoiwaさんによる記事です
    • IBM Cloud PrivateでIngress Controllerのアクセスログを有効にし、LogstashでIngressのログだけを別ファイルとして出力する方法を紹介しています



ElasticSearch+Logstash+Kibanaで作るTwitter分析ダッシュボード 作成手順まとめ - Qiita

はじめに 今回はElasticSearchとKibanaを使った、Twitterダッシュボードの作成方法についての解説しています。ElasticSearchに関する前提知識はなくても、最後までたどり着ける構成になっている(はず?...

  • @koyamauchiさんによる記事です



その他ブログ記事など

日本語

アクセスログ収集用Elasticsearchの運用話 - astamuse Lab

こんにちは。インフラ・開発部のtorigakiです。 早いもので2回目の投稿となります。 弊社はアクセスログの収集・解析にElasticsearchを使用しているのですが、今回はこのElasticsearchの運用環境について書きたいと思います。

  • astamuseのtorigakiさんによる記事です
    • アクセスログ収集用に使われているElasticsearchについて以下のような運用にまつわる話を紹介しています
      • システム構成
      • Nginxによるアクセスバランシング
      • cronによる定期実行内容
      • 環境を移設する際に必要だった作業内容



EC2 上の Kibana にも認証機能を追加する | Developers.IO

2018年4月に Amazon Elasticsearch Service の Kibana に Cognito を使って認証機能を付与できるようになりました。 Amazon Elasticsearch Service の Kibana にログイン機能を追加できるようになりました 私が今関わっているプロダクトは Amazon Elasticsearch Service では要件が合わず、EC2 上で Elasticsearch クラスタを構築しています。基本的には全文検索用途なのですが、Console による API 発行だったり、データビューアとしてだったり、X-Pack のモニタリングだったり Kibana を利用しています。ただお客様情報も入っているため、セキュリティグループによる IPアドレス制御だけではセキュリティとしては物足りません。 そこで ALB の認証機能を使って、Kibana on EC2 に認証を追加しました。

  • クラスメソッドの藤本 真司さんによる記事です
    • ALBとCognito User Poolを組み合わせてEC2上のKibanaに認証を追加する方法を紹介しています



Elasticsearchで多言語検索対応してみた話.pdf

  • MedPeerの佐藤 元紀さんによるスライドです
    • ElasticsearchのSynonym Token Filter+専用辞書を活用して、海外医学文献情報のDBであるPubMedから英文ドキュメントの日本語検索を実現する方法を紹介しています



自宅でKibanaを最大限に活用してみる #1 - tshohe's memo

自宅でのElastic Stack活用事例その1 ルータのsyslog可視化 我が家のBaffalo製ルータ(WSR-2533DHP)だとsyslogを他ホストに転送できます。 詳細設定 > 管理 > ログ ...

  • id:tshoheさんによる記事です
    • 自宅でKibanaを活用できる案としてルータのsyslogをElasticsearchに転送し、可視化する案を紹介しています



GoogleのCloud LauncherがGCP Marketplaceと改名、コンテナアプリケーションのデプロイもサポート | TechCrunch Japan

Cloud ...

  • Frederic Lardinoisさんによる記事の日本語訳です
    • GoogleのCloud LancherがGCP Marketplaceと改名し、コンテナアプリケーションのデプロイが数クリックで可能になりました
      • その中にはもちろんElasticsearchも含まれています
      • また、将来的にGooglek8s engineだけではなく他のk8sへのデプロイもサポートする予定とのこと(?)



初心者のためのElasticsearchその1 | Developers.IO

Developers.IOは、AWSiOS/Androidアプリ、ビッグデータ、Alexa等の最新技術情報からリモートワークや働き方に関する記事まで多彩なトピックを紹介するクラスメソッドのオウンドメディアです。

  • クラスメソッドの中村 修太さんによる記事です
    • まだElasticsearchを使用したことのない初心者の方に向けてドキュメントの作成、検索、削除のAPI実行方法を紹介しています



英語

Securing AWS Elasticsearch Service by enabling Cognito Authentication

In this blog, we are discussing on enabling the Authentication for Elasticsearch / Kibana. Recently, AWS announced the Cognito Authentication support for Elasticsearch (link in the References section below). We have implemented the same thing in our scenario too. This article will cover how one can access the Kibana endpoint and elasticsearch endpoint securely which exists in private subnet.

  • Priyanka Sharmaさんによる記事です
    • AWS Elasticsearch ServiceにCognito認証を追加する方法を紹介しています
      • (オリジナルサービスロゴを載せた認証ページを簡単に作れるのは良いですね)
    • また、Cognito認証を有効にしたAmazon ESにcurlを実行するのにaws-es-curlの使用を薦めています



Put your Drupal Search on Steroids with Elasticsearch | Opensense Labs

Modern applications are expected to be equipped with powerful search engines. Drupal provides a core search module that is capable of doing a basic keyword search by querying the database. When it comes to storing and retrieving data, databases are very efficient and reliable. They can be also used for basic filtering and aggregating of data.

  • Ramanさんによる記事です
    • Drupalの検索機能をElasticsearchで置き換える方法を紹介しています



Marco Lancini

Have you ever been in a network penetration test where the scope is so huge you end up with dozens of files containing Nmap scan results, each of which, in turn, contains a multitude of hosts? If the answer is yes, you might be interested in this blog post.

  • Marco Lanciniさんによる記事です
    • Logstashでnmapデータを読み取り、Elasticsearchに投入する方法を紹介しています
    • また、Kibanaのvisualization/dashboard例をdashboard.jsonとしてアップロードしています



Netcool To Elasticsearch Use Case 1: Security Orchestration of Suspicious Activity Using VirtuOps Pilot | Automate IT Processes and Incident Response

We recently published an article about how you can send Netcool Events to Elasticsearch using VirtuOps®. Now the obvious question: other than having another historical database, what do I with this integration? This article will be the first in a series of posts that describe why putting your monitoring data into Elasticsearch and leveraging VirtuOps® Pilot orchestration and automation is a value add for any business.

  • VirtuOpsのChristopher Schaftさんによる記事です
    • 同社製のVirtuOps Pilotを使用してNetcoolからElasticsearchに投入されるイベントを活用したセキュリティオーケストレーションを実現する方法を紹介しています
    • (実際にワークフローが解説されていますが、Packetbeatなども活用されていて面白いです)



Optimizing Elasticsearch - How many shards per index?

Avoid performance problems by getting your shard allocation right. When Elasticsearch users create an index, the most important question they have is, "How many shards should I use?" In this video, we'll teach you how to optimize your sharding strategy. You'll also learn how design and performance are impacted by the number of shards you use.




EvtxToElk: A Python Module to Load Windows Event Logs into ElasticSearch

  • DRAGOSのDan Gunter & Marc Seitzさんによる記事です
    • 最近の脅威捜索では以下のような環境でなされることが多い
      • インターネット帯域幅が限られた環境
      • データ用に承認されたハードウェアリソース用のラップトップを使う
      • 提供されるデータセットは".evtx"ファイルとして格納された5~6GBのWindowsイベントログ
    • このような環境でも活用できる".evtx"ファイルからWindowsのイベントログをElasticsearchに投入するPythonモジュール、EvtxToElkを紹介しています
      • (Winlogbeatでいいんじゃないの?と思われる方もいらっしゃると思いますが、".evtx"ファイルからWindowsイベントログを取得することは2017/05/17次点ではWinlogbeatでは実現できないことがDiscussの発言から分かります)



Ingesting Log Files into ElasticSearch Using StreamSets Data Collector

This video shows you how use StreamSets Data Collector to ingest log files into ElasticSearch and visualize the data in Kibana.




英語以外

Uczymy się Elasticsearch #006: trafność - Programista Na Swoim

W poprzednim wpisie kilkukrotnie wspominałem o czymś takim jak trafność otrzymanych rezultatów. Nie wyjaśniłem wtedy zbyt wiele, bo temat zasługuje na poruszenie go w odrębnym artykule. I oto jest. Postaram się teraz wyjaśnić o co w tym wszystkim chodzi. Pamiętaj proszę, że tworząc ten wpis testowałem wszystko na Elasticsearchu w wersji 6.3 (najnowsza jaka w tamtym momencie była dostępna).

  • Piotr Prądzyńskiさんによる記事です。(ポーランド語)
    • この記事は"Uczymy się Elasticsearch"と題したElasticsearchについて解説するシリーズの第6回です
    • 今回は_score計算の特性について解説しています



ElasticSearch: Connaître et comprendre les bases - Le blog de la Gagie

Reading Time: 4 minutes Elasticsearch est un moteur de recherche et d'analyse distribué open-source, RESTful, distribué sur Apache Lucene. Depuis la sortie de la première version d'Elasticsearch en 2010, il est rapidement devenu le moteur de recherche le plus populaire. Il est couramment utilisé pour l'analyse des journaux, la recherche en texte intégral et les cas d'utilisation de l'intelligence opérationnelle.

  • Jean-Vincent Kassiさんによる記事です(フランス語)
    • Elasticsearchについて5つの利点、4つのユースケースを概説しています



[ELK] Tìm hiểu dịch vụ Logstash trong hệ thống ELK Stack Logging - Technology Diver

Tìm hiểu dịch vụ Logstash trong hệ thống ELK Stack Logging - Cuongquach.com | Ở bài viết này chúng ta sẽ không đi chi tiết về cách cài đặt Logstash và cách cấu hình xử lý các event log được nhận từ các nguồn log gửi tới.

  • Quách Chí Cườngさんによる記事です
    • Logstashの操作と構造の概要を説明しています



先週の漏れ

Leveraging Elasticsearch and Fuzzy String Matching to Find Duplicated Data

Like any data management software, VTS is only helpful to our users as long as the data within our system is reliable and accurate. But also like any data management system, we are not immune to human error. As new deals and leases are input each day, mistakes are made that can impact data integrity.

  • View The SpaceのElaina Polsonさんによる記事です
    • Elasticsearchのanalyzerにおけるstopwords、検索時に指定するfuzzinessパラメータ、prefixの指定を駆使して、重複データの検索を実現する方法を紹介します
      • 例:StarbuksとStarbuks Corporationが両方とも引っかかるようにする。更に可能であればStarbuxというtypoで検索しても引っかかるようにしたい



Kibana Single Sign-On with OpenID and Keycloak | Search Guard

Search Guard supports OpenID so you can seamlessly connect your Elasticsearch cluster with Identity Providers like Keycloak, Auth0 or Okta. To set up OpenID support, you just need to point Search Guard to the metadata endpoint of your provider, and all relevant configuration information is imported automatically.

  • Search GuardのJochen Kressinさんによる記事です
    • Search GuardとKeycloakを用いてOpenIDによるKibanaのシングルサインオン認証を実現する方法を紹介しています
    • (Search GuardのOpenID接続機能はEnterprise版以上でないと使えないため、有償機能の話となります)



今週は以上です。

"WHY SO ELASTIC?"

今週のElastic News (2018/07/08~2018/07/14)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

各記事における()内は筆者意見です。

今週の注目情報

ElastiK Nearest Neighbors - Insight Data

For my Insight Data Engineering project, I built an Elasticsearch plugin to simplify the implementation of large-scale K-Nearest Neighbors (KNN) in online applications. The key features include: Running approximate KNN search on a corpus of 7 million items with sub-second search time and support for many parallel searches.

  • Alex Klibiszさんによる記事です
    • オンラインアプリケーションでK-Nearest Neighborsの実装を簡素化するElasticsearchプラグインを作成したので、それを紹介する…という記事です
      • 主な機能は以下の通り
        • 1秒未満の検索時間と多数の平行検索のサポートを備えた700万件のコーパス上での近似KNN検索の実行
        • コーパスに新しい項目を継続的に追加し、即座に検索を可能にする
        • HTTPエンドポイントを介してすべての機能を公開する
        • アイテムの検索、索引付け、格納のための水平スケーラビリティを有する
      • 現時点では、まだPoCの段階なので今後は以下の改善に取り組むとしています
        • コードをリファクタリングして拡張とテストを容易にする
        • ユークリッド距離のみをサポートしているので他の距離メトリックを追加する
          • 例:コサイン距離
        • KNNクエリを他のクエリと組み合わせられるようにする
          • 例:最近2日間に追加された最近傍のみを検索する
    • Twitterを観測していた限りでは今週はかなりこの記事がバズっていた気がします)
    • (K-Nearest Neighborsは機械学習でよく用いられるアルゴリズムの1つで、日本語ではk近傍法と呼ばれます)

Elasticsearch-Aknn Image Search Demo

Uploaded by Alex K on 2018-05-13.

  • 同時にアップロードしている動画では、実際にK-NNで類似画像検索する様子をデモしています
    • 検索対象画像ファイル数は670万
    • 各画像ファイルは1000次元のベクトルで表現
    • 検索時間の中央値は200ms程度



公式ブログ

ENGINEERING

Elastic APM Java Agent Beta Released

We are happy to beta release the Java agent for Elastic APM. Kick the tires, let us know what you think as you monitor application performance.

  • Felix Barnsteinerさんによる記事です
    • Elastic AMPのJavaエージェントがβ版になったことを祝し、使い方を紹介しています



Aprendizaje automático para logs de Nginx: Identificar problemas operativos en su sitio web

Obtener información de los archivos de log de nginx puede ser complicado. Este artículo del blog muestra cómo se puede usar el aprendizaje automático para extraer información operativa a partir de grandes volúmenes de datos de log de nginx.




How to Develop Your Own Security Extensions and Custom Realms for Elasticsearch

Elasticsearch provides authentication and authorization capabilities for the Elastic Stack, and has long had the ability to extend these capabilities through X-Pack security extensions. The most common use for these extensions has been to write custom security realms which support authentication mechanisms that are not included natively by X-Pack.

  • Tim Vernumさんによる記事です
    • Elasticsearch6.3以降では標準で提供されていない独自のセキュリティ拡張機能とCustom Realmを、より簡単に定義できるようになりました
    • この記事ではeコマースストアのセキュリティ拡張方法についてサンプルコードを交えて紹介しています



Monitoring Kubernetes and Docker Containers with Beats: Logs, Metrics, and Metadata

This blog is about monitoring a container environment - which could include Google Kubernetes Engine (GKE), IBM Cloud Kubernetes Service, and any other Kubernetes (k8s) and Docker environments. For the purposes of this blog, though, I am using the IBM Cloud Kubernetes Service. You might be wondering why I am writing about monitoring Kubernetes and Docker containers.

  • Dan Roscignoさんによる記事です
    • k8sDaemon SetでBeatsをデプロイし、各Podのログとメトリックを取得する流れを紹介しています
      • Daemon Setは全てのノードに1つずつ同じPodを動かす機能のこと)



Elastic Stack Updates

Brewing in Beats: Mac installer for Beats

Welcome to Brewing in Beats! With these weekly series, we're keeping you up to date with what's new in Beats, including the latest commits and releases. Did you know that Beats 6.3 is already available? Try it and let us know what you think. We are improving our MacOS integration.

  • Monica Sarbuさんによる記事です
    • ここ最近のBeatsアップデートサマリ。気になるところをピックアップすると…



Keeping up with Kibana: This week in Kibana for July 9th, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and any related learning resources and events. The Elastic Maps Service landing page is now available! This page shows the data behind the vector layers that can be joined to Elasticsearch data in Kibana region maps.

  • Jin Muさんによる記事です
    • 先週1週間のKibanaアップデートサマリ
    • 気になった点に絞って紹介
      • Geo
      • Canvas
        • チャートの配色について幾つかのパターンからGUIで選択設定できるようになった
        • 関数の呼び出しが大文字、小文字を区別しないようになった
          • "pointseries"でも"pointSeries"でも"PoInTsRiEs"でも同じ機能を呼び出すようになる
      • Platform
      • Management
        • visualizationでRollup Index Patternをサポートすることに取り組んでいる
          • (現在のバージョンではRollupでAggregation結果のみを残した場合、KibanaのVisualizationで可視化することはできません。それを可視化できるようにする話と思われます。)
      • Visualizations



This Week in Elasticsearch and Apache Lucene - 2018-07-13

Kerberos The kerberos realm has been merged into the feature branch. We are currently working on a QA test that uses an actual KDC. Once the lookup realms feature has been completed, we will need to integrate the kerberos realm with lookup realms but this will not block the completion of the kerberos realm.

  • Paul Sanwald • Adrien Grand • Boaz Leskes • Jay Modi • Colin Goodheart-Smitheさんらによる記事です
    • 先週1週間のElasticsearchとApache Luceneアップデートサマリ
    • 気になった点に絞って紹介
      • Kerberos Realmが追加された
        • (Kerberos認証はSSOを提供するネットワーク認証方式の1つらしいです)
        • PRでの記述によればX-Pack Platinumで使用できる模様
      • 構造化されたAudit LoggingのためのPRを進めている
        • Audit Eventに対してlog4j StringMapMessageを使用することで、log4j設定を変更するだけで複数のフォーマットを試せるようになる
      • auto_date_histogramと呼ばれる新たなAggregationをマージした
        • date_histgramのように機能するが、時間間隔を指定するのではなく、バケットの最大数を設定するもの
          • 設定されたバケットの最大数を超えずに最も近い間隔を選択する



RELEASES

Rally 1.0.0 Released: Start Benchmarking your Elasticsearch Clusters

After more than two years in the making and more than 1400 commits from 27 contributors, we are proud to announce the 1.0.0 release of Rally, our benchmarking tool for Elasticsearch. To get started with Rally, check the quickstart in the docs. To help you improve your benchmarks, we also recently published seven tips for better Elasticsearch benchmarks.




公式ウェビナー

今週はまだ見れていないので、紹介文の要約のみです。

Security Analytics with Elasticsearch | Elastic

Using a variety of interactive techniques from user behavior tracking to network analysis, this demo highlights many features that make the Elastic Stack the security analytics platform of choice for organizations like Slack, USAA and more.

  • Samir Bennacerさんによるウェビナーです(52:01)
    • Elastic Stackをセキュリティ分析プラットフォームとして使用する際、以下の方法をどのように実現するかデモを交えて紹介しているようです
      • インシデントを迅速に解決する
        • ほぼすべてのWindows Server、Linuxからログデータを簡単に収集、保存、分析できる
      • 即時に洞察(Insight)を得る
        • データセンターから収集されたリアルタイムデータに対してDeep Intelligenceを対話的に得ることができる
        • サーバとアプリケーションの依存関係をマッピングし、接続と対話を検出できる
      • マシンデータを変換する
        • 柔軟な検索とカスタマイズされたアラートでインシデントを素早く処理する



Observable Kubernetes with Elasticsearch | Elastic

With the Kubernetes and Docker module in Beats, sending logs and metrics from your containerization and orchestration environment to Elasticsearch is one command away. Additionally, the Autodiscover feature in Filebeat and Metricbeat dynamically launches configurations to keep monitoring the changing environment without skipping a beat, as pods and services come and go.

  • Adam Quanさんによるウェビナーです(1:00:14)
    • Beatsのk8s moduleとdocker moduleを使用して、各PodのログとメトリックをElasticsearchへ送信する方法をデモを交えて紹介しているようです



Qiita

Grafana5.2.0+でElasticsearch内のデータに対するAlertingを実行し、Discordに通知する - Qiita

2018/6/27にリリースされたGrafana 5.2.0で遂にElasticsearch内のデータに対するAlertingが実行できるようになりました。 (リリースノートはこちら) これまではElasticsearchの閾値検知の仕組みとして、X-Pack Alerting以外の選択肢は Elastalert ぐらいでしたが、そこに新たな方法が浮上したことになります。 ...

  • わたしですo^
    • Grafanaの5.2.1を使用してElasticsearch6.3.1に格納されたデータに対するAlertingを実行する方法を紹介しました



Dockerで動かすTomcatとElasticのAPMを繋いでパフォーマンスを可視化する - Qiita

概要 2018年7月9日に[Elastic APM Java Agent Beta Released](https://www.elastic.co/blog/elastic-apm-java-agent-beta-releas...

  • @tsgkdtさんによる記事です
    • Elastic APM Javaエージェントがβになったことを受けて、Docker上のTomcatコンテナにおけるパフォーマンスを可視化する方法を紹介しています
      • 既存のイメージを再ビルドする必要なく、docker-compose.ymlにおけるtomcat serviceに記述を追記するのみで実現できてお手軽とのこと



EC2にElasticsearch、Fluentd、Kibanaを入れる方法 - Qiita

AWSにElasticsearch Serviceがあるので、そちらが使えれば使った方が良いが今回は勉強の為、あえてEC2にインストールした。 あとから思い出しながら書いているので、間違えている箇所があるかも・・。 ## 前提 - ...

  • @muraponさんによる記事です
    • EC2で立ち上げたFedora系OS上にElasticsearch、Kibana、Fluentdをインストールし、Apacheログを投入する方法を紹介しています
      • インストールするElasticsearch、Kibanaのバージョンは5.5.0
      • また、アクセスログのテスト用ログを出力する方法としてapache-loggenを紹介しています



FilebeatでApacheアクセスログの取り込み(レスポンスタイムフィールド追加) - Qiita

Filebeatのapache2モジュールを使用してアクセスログを取り込んだが、デフォルトではレスポンスタイムは取り込まれていないようだったので、取り込むよう対応してみた。 とりあえずメモです。 Elasticsearch、Kibana、Filebeatインストール用のリポジトリを配置。 [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md 下記のものをインストール。 yum install -y java-1.8.0-openjdk-devel elasticsearch kibana filebeat httpd 外部から接続できるよう設定し、Elasticsearchを起動する。 /etc/elasticsearch/elasticsearch.yml - #network.host: 192.168.0.1 + network.host: 0.0.0.0 [root@es ~]# systemctl restart elasticsearch [root@es ~]# curl http://127.0.0.1:9200 { "name" : "4FH6KEs", "cluster_name" : "elasticsearch", "cluster_uuid" :

  • @wagさんによる記事です
    • FilebeatでApacheアクセスログを取り込む際にレスポンスタイムフィールドを追加する方法を紹介しています
      • (私もレスポンスタイムフィールドぐらいFilebeatの取得対象に追加してくれても良いとは思うのですが、Apache2のデフォルトLogFormatには処理時間が出力されない設定になってるんですよね…)



その他ブログ記事など

日本語

Fluentd1.0 で ElasticSearch6.3 に WOWHoneypot のログを投入

送信側サーバ(WOWHoneypot + Fluentd)と受信側サーバ(ElasticSearch + Kibana)の2つのサーバの場合。 送信側。 Fluentd のサーバと ElasticSearch のサーバは異なるため、Fluentd -> ElasticSearch という方向でアクセス許可を行う。 AWS のコンソールより、セキュリティグループで fluentd からのアクセスを許可する。 Fluentd サーバから以下のコマンドでアクセスできることを確認する。以下のコマンドは送信側から打つ。 curl http://172.31.31.131:9200 通信が成功したら以下のようなレスポンスが帰ってくる。 { "name" : "0St5H1h", "cluster_name" : "docker-cluster", "cluster_uuid" : "SXj3orxOSAKouZVhxQyKdw", "version" : { "number" : "6.3.1", "build_flavor" : "oss", "build_type" : "tar", "build_hash" : "eb782d0", "build_date" : "2018-06-29T21:59:26.107521Z",




JANOG41 Wi-Fiチーム報告書3(運用監視ツールの紹介)|IIJ Engineers Blog

こんにちは、JANOG41 NOC(Wi-Fi)チームの金子です。 これまでの2回の記事( 第1回| 第2回 )で紹介してきたように、JANOG41 Wi-Fiチームでは会場無線LANの提供にあたりその構築・運用を行ってきました。 運用に当たってはネットワーク状況のモニタリングが必要不可欠です。これにあたりPrometheusやcactiなどOSSベースの監視ツールを活用していることはいわずもがなですが、IIJが開発している機器管理サービス SACMや、データ可視化サービス Machinistを全面的に利用しdogfoodingするというのが我々の基本方針となっています。

  • JANOG41 NOC(Wi-Fi)チームの金子 直矢さんによる記事です
    • JANOGで提供されるWi-Fiの運用監視ツールとしてElasticsearch+Kibana(その他OSSや自作可視化ツールもたくさん!)を活用している事例を紹介しています
      • (構成図を見ると主にNetFlowの可視化にElasticsearch+Kibanaを使っていたようです)



AWS Cost Explorer を使用する、Amazon Redshift、Amazon ElastiCache、Amazon Elasticsearch の予約のためのリザーブドインスタンス (RI) 購入推奨へのアクセス

これらの推奨事項を生成するために、Cost Explorerはまずお使いのインスタンスの使用状況を分析して、上記のサービスのそれぞれについて RI で対応できるオンデマンド使用のすべてを自動的に特定します。これに基づいて、Cost Explorer は割引 RI 料金でオンデマンドの使用量の最適な代用となる RI の購入推奨を生成します。推奨事項が組織のニーズに合うことを確実にするために、RI パラメーターと (例: 1 年契約で一部前払いオプションがある RI の推奨のみを返す)、推奨を計算する過去の使用期間 (例: 過去 60 日間) を調整することができます。ビジネス ニーズに対応する最適な RI の組み合わせを特定すると、AWS Cost Explorer にあるリンクから個々の AWS サービスのコンソールに直接移動できます。

  • AWSによるアナウンスです
    • Amazon Elasticsearch Serviceの予約のためのリザーブインスタンス購入推奨にAWS Cost Explorer経由でアクセスできるようになりました
      • Amazon Elasticsearch Serviceを使われている方は費用改善に繋がるかもしれません



当社社員が世界初のElastic Certified Engineerに認定されました | Acroquest Technology株式会社(アクロクエストテクノロジー)

ビッグデータ分析/可視化ソリューション事業を展開するアクロクエストテクノロジー株式会社(本社:神奈川県横浜市代表取締役:新免流、以下「アクロクエスト」)は、当社社員の吉岡洋(顧客価値創造部門 データアナリティクス シニアコンサルタント)が2018年6月29日より開始されたElastic Certificationの認定を取得して、Elastic Certified ...

  • Acroquest Technologyさんのプレスリリースです
    • Acroquestの吉岡さんが、日本人初…どころかElastic社以外のエンジニアとしては世界初のElastic Certified Engineerに認定されました!
      • (まずはトレーニングを受けてから受験しよう、と考える方が多そうな中でチャレンジし、認定されることは凄いことだと思います)



docker-elkを使って過去のCloudTrailのログをサクッと分析してみた | Developers.IO

こんにちは、佐伯です。CloudTrailのログを分析をする機会がありました。どうやって分析しようかなと考えていたところ、GitHubで docker-elk を発見し、お手軽で便利だったので紹介させて頂きます。 以下の環境で実施しています。 macOS High Sierra version 10.13.5 Docker CE for Mac version 18.03.1-ce-mac65 Docker Compose version 1.21.1 docker-elk をcloneします。 $ git clone git@github.com:deviantony/docker-elk.git Cloning into 'docker-elk'... remote: Counting objects: 1317, done. remote: Total 1317 (delta 0), reused 0 (delta 0), pack-reused 1317 Receiving objects: 100% (1317/1317), 272.64 KiB | 254.00 KiB/s, done.




英語

Logstash Authentication with SSL certificates

personal blog, profile, whateverest of Benjamin Knofe

  • Benjamin Knofeさんによる記事です
    • BeatsとLogstashの間の通信についてSSL証明書に基づいた独自の認証にする方法を紹介しています



Elasticsearch With Django - Part 4 - BoTree Technologies

In previous articles (Here you can read -  part1 part2 and part3) we have seen that how queries work on Elasticsearch engine via terminal. Now let's discuss about integration with Django application. Let's start with creating a new Django project. First you create a virtual environment with virtualenv elastic_env and enter it with source elastic_env/bin/activate in order to keep everything contained.

  • Daxita Rajputさんによる記事です
    • DjangoプロジェクトでElasticsearchと接続する方法を紹介しています
      • 過去4回にわたるポストの最終回



Rated Ranking Evaluator: Help the poor (Search Engineer)

A Software Engineer is always required to give his customers a concrete evidence about deliverables quality. A Search Engineer deals with a specialisation of such generic Software Quality, which is called Search Quality. What is Search Quality? And why is it so important in a search infrastructure?

  • ANDREA GAZZARINIさんによる記事です
    • ElasticsearchやSolrに対する検索の品質を評価するツール「Rated Ranking Evaluator」を紹介しています
      • これを用いることでCIの一環としてビルドする毎に検索品質をテストすることができます



Open Source Elasticsearch Security: Using Cilium for Elasticsearch Access Control with No App/Container Changes

Elasticsearch APIs provide mechanisms for storing and searching JSON documents. Documents are grouped into an index, which typically stores many documents of a single type (e.g., user transaction data, or network access logs). A user of the Elasticsearch API selects an index, and then may create, update, delete, or search documents within that index.

  • ciliumによる公式記事です
    • k8sやDocker上のElasticsearchのアクセス制御(セキュリティ対策)にCiliumを用いることの利点や適用する方法を紹介しています



Use Amazon Connect data in real time with Elasticsearch and Kibana | Amazon Web Services

In this blog post, we demonstrate how you use Amazon Elasticsearch Service (Amazon ES) and Kibana for real-time analytics for your Amazon Connect contact center. You can monitor your contact center performance to improve a variety of service metrics, such as call times, service level, efficiency, agent performance, and customer satisfaction.

  • Randall DuBois, Revanth Anireddy, Loc Trinh, Piyush PatelさんらによるAWS公式ブログ記事です
    • AWS Connectコンタクトセンターのリアルタイム解析にAmazon ESとKibanaをどのように使用するかを紹介しています



Using Rollup to merge old logs with Elasticsearch 6.3

Auteur(s) : Tags : Log storage and analysis is one of the most popular usage of Elasticsearch today, it's easy and it scales. But quickly enough, adding nodes cost too much money and storing logs from multiple months or years can be tricky.

  • Damien Alexandreさんによる記事です
    • Elasticsearch 6.3から使用可能になったRollup APIで古い日時のログをマージする方法を紹介しています
      • これまではBulk、Scan、Scroll、Delete By Query APIの助けを借りて、古いデータのマージ、削除を手作業で行ってきたが、6.3からはRollup APIでできるようになる
      • Elasticsearch用のテストデータ生成には「elasticsearch-test-dataを使用すると良い
      • 以下のようなジョブを作成後、ジョブを開始する
        • 10日以上経過したdocumentを対象とし、
        • bytesというフィールドのminmaxsumをaggregationした結果を
        • url.keywordで分割する
      • rollup APIによって処理された結果は_searchAPIではなく_rollup_searchAPIでアクセスする必要がある
      • Rollupされた生データは自動で削除されないため手動で削除する必要がある
        • (これはちょっと大変そうですね…)



Reduce ETL process time 9X with Cassandra and Elasticsearch

A Fortune 1000 company needed to reduce the time it took to ingest, read, and search its data. Read on to learn how partnering with Shadow-Soft helped the company reduce ETL process time 9X and improve search query time 37X.

  • John Cabanissさんによる記事です
    • NoDBとSolrの組み合わせからCassandraとElasticsearchの組み合わせに乗り換えたことによりETL(Extract / Transform / Load)処理時間を1/9に短縮し、検索クエリ時間を1/37に短縮した事例を紹介しています
      • ETLプロセスは3日(24*3=72時間?)から6.5時間に改善
      • 必要なメモリ量は360TBから180TBに改善
      • クエリ時間は7.5秒から0.2秒に改善



Container Native Monitoring Insights with Elastic on IBM Cloud - IBM Cloud Blog

Learn how to easily deploy a Kubernetes cluster in IBM Cloud and layer in the Elastic to provide container native monitoring.




Miroslav Popovic - Using Elasticsearch with ASP.NET Core and Docker

Recently, I got an assignment for my employer's internal project to investigate Elasticsearch and its usage from within ASP.NET Core 2.1 app. I had no prior knowledge of Elasticsearch, but I had some experience with Solr and earlier with NHibernate Search which also used Lucene under the cover.

  • Miroslav Popovicさんによる記事です
    • ASP.NET CoreアプリでElasticsearchを検索エンジンとして連携する方法を紹介しています
    • 方法を紹介した後、最後の段落では以下のようにまとめています
      • ElasticsearchとKibanaのアクセスを公開することは望ましくない
        • X-Pack Authenticate APISSL Certificate APIをチェックすること
      • 全てをインデックスに投げ込まずに意味のあるデータだけを投げること
        • データの投入でもパフォーマンスが低下するが最も重要なことは削除する必要があるときに問題になる
        • GDPR対応を考えても、ユーザデータは保護されている必要がある
      • Elasticsearchのドキュメントの品質は凄い
        • APIのリファレンス、スタートガイドのドキュメント、ベストプラクティス、クライアント向けの優れたガイドがある



それ以外の言語

Retour d'incident : Elasticsearch, l'aggrégation Histogram et la validation de données

Une de nos application a pour principe de base de rechercher dans notre base de données de livres, cette application reçoit des données de notre ERP pour les ajouter dans Elasticsearch. Pendant plusieurs minutes au cours du mois dernier cette application était indisponible en production, nous allons ici vous expliquer les raisons de cette indisponibilité.

  • Par Adrien Gallouさんによる記事です(フランス語)
    • 2018年5月の午後に、書籍データベースを検索するElasticsearchが本番環境で使用できなくなるほど減速するインシデントが発生。何が起こったのか、と解決策を紹介しています
      • 書籍の価格について、ヒストグラム集計で5€ごとのバケットに個数を集計していた
      • そこで、9,782,321,011.392,00€の商品が投入された結果、5€ずつ1,956,464,200,000個のバケットが作成されてしまった
      • 解決のためにminimum_doc_count1にする設定を加えた
        • これにより、空のバケットは表示されなくなる



Деплой Elasticsearch на AWS с помощью Kubernetes за 10 шагов

Kubernetes aka k8s - это система с открытым исходным кодом для автоматизации развертывания, масштабирования и управления контейнерными приложениями. В этой статье я расскажу как настроить кластер Kubernetes и развернуть на нем кластер Elasticsearch в AWS. Эти настройки также работают на GCE и Azure.

  • Southbridgeさんによる記事です



Elasticsearch Soruları - Haydar Külekci - Medium

Uzun zamandır Elasticsearch konusunda e-posta ya da çeşitli sosyal mecralar üzerinden gelen soruları kapalı kapılar ardında cevaplamaya çalıştım. Bazılarına yetişemedim bazılarına kısa kısa cevaplayabildim. Her gelen soruda biraz daha heyecanlanarak ve testler denemeler yaparak cevaplar yazdım. Bazılarına gist olarak cevap yazarken bazılarını blog yazısına çevirdim. Ancak bazı sorular aralarda kaldı ve onları bir kenara yazamamıştım.




Небольшие трюки с Elasticsearch

Небольшая заметка, скорее для себя, о мелких трюках по восстановлению данных в Elasticsearch. Как починить красный индекс если нет бэкапа, что делать если удалил документы, а копии не осталось - к сожалению в официальной документации об этих возможностях умалчивают. Первое, что необходимо сделать, это настроить бэкапы важных данных.

  • divanikusさんによる記事です(ロシア語)
    • Elasticsearchで誤ってインデックスを削除してしまった場合、かつバックアップも保持していない場合やインデックスが破損してしまった場合にどのようにインデックスを復旧させるか?を紹介している記事です
      • インデックスが破損(Red)してしまった場合
        • インデックスをcloseし、Elasticsearchを停止、失敗したシャードのバックアップコピーを作成する
        • バックアップしたシャードに対してLuceneのCheckIndexを実行させると、すべてのインデックスをチェックし、破損したセグメントを削除する
          • 一部のデータは失われてしまうが、幸運なことに全てではない
      • インデックスを誤って削除してしまった場合
        • インデックスをcloseし、Elasticsearchを停止、インデックス(ファイル)を安全な場所にコピーする
        • Lucene4(Elasticsearch1.6)より下のバージョンの頃にはLucene APIにundeleteAllという関数があって、Lukeから直接呼び出すことができた
          • しかし、新しいバージョンでは機能が削除されているので、手動で「segments_N」というファイルをバイナリエディタで編集することで対応する
    • (こんな目に合わないよう、しっかりバックアップを取っておかないと…という気持ちにさせてくれる良いポストでしたw)



Nextcloud Volltext-Index mit Docker und Elasticsearch - nerdblog

Nachdem meine Nextcloud (siehe Installationsanleitung hier) seit einiger Zeit gut läuft, landen mehr Dateien darauf und der Wunsch nach einem schnellen Nextcloud Volltext-Index wächst. Ich bildete mir zwar ein, das schonmal am Laufen gehabt zu haben, aber das tat es nicht (mehr). Daher hier, was ich dazu nun getan habe.

  • Dirk Steinkopfさんによる記事です(ドイツ語)
    • Nextcloudの全文検索機能としてDockerで用意したElasticsearchコンテナを連携する方法を紹介しています



今週は以上です。

"Everything that lives is designed to be elastic."

今週のElastic News (2018/07/01~2018/07/07)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

親知らずを抜いたばかりで各種やる気ゲージが…🤢

今週の注目情報

Get started with Amazon Elasticsearch Service: T-shirt-size your domain | Amazon Web Services

Welcome to this introductory series on Elasticsearch and Amazon Elasticsearch Service (Amazon ES). In this and future blog posts, we provide the basic information that you need to get started with Elasticsearch on AWS. Introduction When you're spinning up your first Amazon Elasticsearch Service domain, you need to configure the instance types and count, decide [...]

  • 検索技術に特化したAWSソリューションアーキテクトであるJon Handlerさんによる記事です(twitterのユーザネームも@_searchgeekとかでヤバい)
    • Amazon Elasticsearch SerivceでどのInstance構成を選べばよいか、を表形式で紹介しています
      • これ、ドキュメントとかに書いても良いぐらい重宝しそうな方針なのですが…
      • とにかくリンク先の表を見てください!話はそれからだ。
    • 以下の項目に基づいて算出していきます
      • 投入される1日あたりのデータ量
      • 必要なストレージ(最大保持データ)サイズ
      • active shardsの最大数
      • total shardsの最大数
    • ただし、注釈として書かれている通り、「この表は多くの前提に基づいたガイドラインであり、各自のワークロードは異なる。導入・監視・調整を必ず行うこと!」には注意が必要です
    • なお、XSmallでもデータノードがM4/R4.large 2台、マスターノードがm3.medium 3台となっており、ガチガチにプロダクション環境を想定している感じです
      • Hugeに至ってはデータノードがI3.16xlarge 85台と、かなり震える感じの数字も…



公式ブログ

ENGINEERING

¿Debo usar Logstash o los nodos de ingesta de Elasticsearch?

Los nodos de ingesta se presentaron con Elasticsearch 5.0 como una forma de procesar documentos en Elasticsearch antes de la indexación. Estos nodos dan lugar a arquitecturas más sencillas con un mínimo número de componentes, en las que las aplicaciones envían datos directamente a Elasticsearch para procesar e indexar.

  • Christian Dahlqvistさんによる記事です
    • ユーザからよく質問されるトピックシリーズ第3弾
    • 今回は「LogstashとIngest Nodeのどちらを使用すべきか?」という問いについて、観点別に違いを紹介しています



Elasticsearch Service on Elastic Cloud Available on G-Cloud Digital Marketplace

We are pleased to announce that Elasticsearch Service on Elastic Cloud is now available on the UK Government's G-Cloud Framework. As of July 2, 2018, customers can begin purchasing Elasticsearch Service - the only official hosted Elasticsearch and Kibana offering by the creators of the Elastic Stack.

  • Janica Leeさんによる記事です
    • G-CloudのDigital MarketplaceでElasticsearch Service(on Elastic Cloud)を購入することができるようになりました
      • G-Cloudは英国政府が運営するクラウドホストサービスの調達用フレームワーク
        • このサービスを通して「Elastic Cloud」使いたいんだけど?と注文すれば、速やかにその準備が行われるというもの
        • 英国政府機関がクラウドサービスを調達する際はG-Cloudを通して調達する模様



Elastic Stack Updates

Keeping up with Kibana: The week of July 2nd, 2018

Welcome to Keeping up with Kibana! This is a series of posts on new developments in the Kibana project and related learning resources and events. EMS now publishes four new data layers with administrative subdivisions: Australia States Switzerland Cantons Japan Prefectures Irish Counties Features in these layers contain the corresponding ISO-3166-2 identifiers, and have field names in the official language (or languages) of the country.

  • Lee Drengenbergさんによる記事です
    • 先週1週間のKibanaアップデートサマリ
    • 気になった点に絞って紹介
      • ReactコンポーネントとAngularテンプレートの翻訳をサポートするi18nエンジンをマージした
        • ダッシュボードのi18n対応もできるようになったりするんでしょうか?)
      • EMS(Elastic Map Service)が下記の国について、より細かい区分に対応するように
        • 対応国
          • オーストラリア:州
          • スイス:州
          • 日本:都道府県
            • (これはうれしい!)
          • アイルランド:州
        • 国の公用語のフィールドもあり、それを使用した地域マップも構築可能
      • Elastic{ON}でディスプレイされていたマップデモを再現できるように、新たなGISプラグインを作成中
        • GISは指す意味は恐らくGeographic Information Systemと思われ、このあたりを参照すると意味が理解できます



This Week in Elasticsearch and Apache Lucene - 2018-07-07

Highlights We have added documentation for painless script contexts, which includes each place in the Elasticsearch APIs that a script may be used, as well as what variables are available in each of those contexts. As part of our ingest node work, we have added a "bytes" processor that converts human readable byte sizes (e.g., 1kb) to raw byte sizes (e.g., 1024).

  • Tom Callahan • Paul Sanwald • Boaz Leskes • Ryan Ernst • Adrien Grandさんらによる記事です
    • 先週1週間のElasticsearchアップデートサマリ
    • 気になった点に絞って紹介
      • Painless Scriptが使える可能性のあるドキュメントまとめページが追加された
      • Ingest NodeのプロセッサとしてBytes Processorが追加
        • 人間が読めるバイトサイズを生のバイトサイズに変換するもの
        • 「1kb →1024」の変換が可能になる
      • AWS session tokensのサポートを追加
        • Elasticsearch 6.4.0からはrepository-s3-pluginを通して、EC2の外からでもMFAセキュアなS3バケットにスナップショット/リストアすることができるようになる



RELEASES

Elastic Stack 6.3.1 released

Version 6.3.1 of the Elastic Stack has been released today, incorporating a couple of major bug fixes. Rolling upgrades from Elasticsearch 5.6.10 to 6.3.0 were broken when a synced flush was performed prior to upgrade. 6.3.1 includes the fix. 6.3.0 nodes would fail to join a security-enabled cluster unless security was explicitly enabled on the node.

  • David Robertsさんによる記事です



公式ウェビナー

Introdução aos Beats (Portuguese) | Elastic

Beats são uma família de transportadores leves que enviam dados de edge machines (ou máquinas de "borda") para o Elasticsearch. Começaram com o Packetbeat, voltado para dados de rede, e se expandiram para cinco Elastic Beats adicionais para arquivos de registro, métricas, dados de auditoria, registros de eventos por meio de janelas e monitoramento de disponibilidade, e mais de 40 Beats criados pela comunidade para todos os tipos de dados operacionais.

  • Michael Yuanさんによるウェビナーです(ポルトガル語
    • 各種Beatsの概説とデモを実施しています
      • 00:00~: Beats概説、FilebeatとMetricbeatの紹介
      • 12:40~: FilebeatとMetricbeatのデモ
      • 28:10~: Auditbeat概説
      • 38:00~: Auditbeatのデモ
      • 46:50~: コンテナ上でのBeats(Metadata processors)概説
      • 57:20~: Docker、k8sに対するBeatsのデモ
    • ポルトガル語なので何を喋っているのか全く聞き取れませんが、スライドは英語なので、ご安心ください



Qiita

はじめての Elasticsearch - Qiita

この記事は全文検索エンジン「[Elasticsearch](https://www.elastic.co/jp/products/elasticsearch)」の入門チュートリアルです。 公式のチュートリアルビデオ「[Elastic...

  • @nskydivingさんによる記事です
    • お世話になった方も多いと思われる「はじめてのElasticsearch」が6.3.0に対応した内容に更新されました
    • まだ使ったことがない、これから使い始める方は必見です!



apache のリバースプロキシ for kibana - Qiita

ネットワーク環境の制限などでkibana を80 番ポートで受けるための設定 * kibana 用のconf ファイルを作成 ```/etc/httpd/conf.d/kibana.conf ProxyRequests Off P...

  • @nunbubuさんによる記事です
    • Kibanaを80番ポートで受ける際のApacheコンフィグ例を紹介されています



docker-composeでElasticSearch6.2を構築してECSにデプロイするまで(後編) - Qiita

img width="693" alt="画像 2018-07-06 14.10.11.png" src="https://qiita-image-store.s3.amazonaws.com/0/261265/429986c6-5...

  • @yasumonさんによる記事です
    • Amazon ECS上にElasticsearchコンテナ、Kibanaコンテナをデプロイする方法を紹介されています
    • スクショ多くて分かりやすいです!



fluentd+Elasticsearch+kibanaをCentOS7.4にインストール - Qiita

CentOS7.4にfluentd、Elasticsearch、kibanaをインストールして データを可視化できる基盤を構築する。 データを食わすところまでは未実施。 まずはインストールしてKibanaにアクセスできるところまで...

  • @yuki476さんによる記事です
    • CentOS7.4にfluentd、Elasticsearch、Kibanaをインストールする方法を紹介しています



その他ブログ記事など

日本語

HPEのOSS技術コンサルタント 惣道哲也が執筆!「Elasticsearch実践ガイド」

哲也(そうどう てつや)が、「HPEでOSSの技術コンサルティングを幅広く手掛ける惣道 Elasticsearch実践ガイド 」 を出版しました。はたして、Elasticsearchとは、どのようなソフトウェアなのでしょうか?今回は、Elasitcsearchについて少しだけ触れてみます。 Elasticsearch はShay Banon によって2010 ...

  • 日本HPのMasazumi Kogaさんによる記事です
    • 同社の惣道さんが執筆された「Elasticsearch実践ガイド」の出版に際して、Elasticsearchとは何か、書籍を読むことで何が得られるか、を紹介されています



LogStashでMySQLのデータをElasticSearchに流し込んだ | from umentu import stupid

MySQLに集めたものの、どうしたら良いの状態だったため。 Logstash から/usr/local/binにダウンロードしてインストール。ElasticSearchのバージョンに合わせる必要あり? https://dev.mysql.com/downloads/connector/j/からダウンロードしてサーバーにアップロード ...

  • umentuさんによる記事です
    • Logstashのjdbc input pluginを使用してMySQLのデータをElasticsearchに投入する方法を紹介しています



英語

Learnings from Migration to Elastic Search - Tokopedia Engineering - Medium

When we tried to move to Elasticsearch, we didn't know much about elasticsearch. While migrating, we faced some issues (performance, optimization etc.). Following are some of the lessons learnt: Machine Specification Initially, we tried to deploy machines with high Memory because we assumed Apache Solr and Elasticsearch machine requirements will be similar.

  • インドネシアの巨大EC2サービスを運営するTokopediaによる記事です
    • 過去5年間、検索エンジンとしてApache Solrを使用していましたが、データ件数が増えるにあたって性能に問題が出るようになってきた
    • そこで、Elasticsearchに乗り換えたところ、性能面を大幅に改善できた、という話です
      • 記事の最後に移行前と移行後のレイテンシとCPU使用率のグラフが張られていますが、明らかに大幅な改善がなされています
      • ただし、Elasticsearchならではの特性を理解してパフォーマンスチューニングすることが必要があり、その際の教訓をいくつか紹介しています
        • Solrとは違い、メモリを大きくするよりも高速なディスクを使用することが重要
        • 巨大なインデックスではfielddataよりもdoc_valuesの方が優れている
        • 必要がない限りネストされたマッピングを使用しない
        • カスタムtokenizerはdoc_valuesを無効にするので使わない
          • 並べ替えや集計をする場合はindexerにカスタムtokenizerを作成する
            • (具体的にはどういうことか分からなかった)
        • 使用可能なすべてのキャッシュを使用可能にする



Laravel Elasticsearch Tutorial Example From Scratch

Laravel Elasticsearch Tutorial Example From Scratch is the today's leading topic. For this example, we use the composer package called Elasticquent. It is called Elasticsearch for Eloquent Laravel Models. Elasticquent makes working with and models easier by mapping them to Elasticsearch types.

  • Krunalさんによる記事です
    • Elasticquentというパッケージを使用し、LaravelとElasticsearchを連携させる方法を紹介しています



Vue Elasticsearch Tutorial With Node.js From Scratch

Vue Elasticsearch Tutorial With Node.js From Scratch is today's leading topic. We build a frontend in Vue.js and then send a network request to the node.js server and node will query the data to the elastic server. It will get a response and send the JSON response back to the Vue.js client.

  • 引き続き、Krunalさんによる記事です
    • Vue.jsでElasticsearchにデータを投入、検索できるアプリケーションを作成する方法を紹介しています



AWS Podcast | Listen & Learn About AWS

Government & EducationPublic Sector organizations use AWS to improve agility while reducing costs.

  • Simon ElishaさんによるAWS公式Podcastです
    • ここ1年のAmazon Elasticsearch Serviceにおけるアップデートを振り返る回です
      • ゲストは今週注目の記事を書いていたAWS検索おじさんことJon Handlerさん
    • 聞いてはいないですが、Shownotesを眺めるだけでも最近のAmazon ESのことが追えて良い感じです



Sending Netcool and Service Now to Elasticsearch

This video will show you how to send Netcool Events and ServiceNow Tickets to Elastic search using VirtuOps Pilot

  • VirtuOpsによる動画です
    • NetcoolのイベントとServiceNowのチケットを同社製のVirtuOps Pilotを使用してElasticsearchに投入する方法を紹介しています



Time series data management in Elasticsearch

In this blog post, we'd like to outline how we defined policies for time series data management in Elasticsearch. As part of an IoT security solution built for a startup client, we have a typical real-time data processing pipeline: data from sensors is received into Kafka topics and consumed by a Spark streaming application which performs a chain of ETL operations before persisting them onto Elasticsearch.

  • cognitreeのSumit Sutharさんによる記事です
    • Elasticsearchのデータ保管期間を管理する方法としてCuratorによるアクション定義を幾つか紹介しています
      • indicesの削除とforcemerge実行の2種類



The No-BS guide to AutoComplete and FuzzySearch in Elasticsearch

The question is.. What brings you here? Fed up with all the searches on how to back-up and restore specific indices? Fear not, for your search quest ends here.! After going through a dozens of tiny gists and manual pages, here it is.. We've done all the heavy-lifting for you.

  • Sathya sarathiさんによる記事です
    • N-gram Tokenizerで設定するmin-gramを最小に、max_gramを巨大にすることでautocompleteを実現する方法を紹介しています



Demystifying ELK stack

Let's assume that your system consists of a few microservices. Everything must have high availability so each microservice has at least two active instances on separate machines and everything must be multiplied by the number of testing and production related environments.

  • CEZARY PITEKさんによる記事です



hook-commands: easy driver setup

The hook-commands() option of syslog-ng makes it easy to execute external commands when a driver is started or stopped. For example, you can open a port in the firewall when a network source is started and close it once syslog-ng is shut down. Or you...

  • Peter Czanikさんによる記事です
    • syslog-ngでauditdのファイルシステム監査結果をElasticsearchに出力する方法を紹介しています



Elasticsearch to Prometheus Exporter in Go

This post describes how to create a small Go HTTP server, which is able to expose data from Elasticsearch on a Prometheus /metrics endpoint. This can be useful if, for example, you collect logs of a web application using the ELK stack, in which case the logs will be saved in Elasticsearch.

  • Marioさんによる記事です
    • Elasticsearchに対してクエリを投げ、得られた結果をPrometheusにメトリックとして追加する方法をGo言語で紹介しています



Categorizing and Enriching Security Events in an ELK with the Help of Sysmon and ATT&CK

Lately, I have been working on a few projects such as I also had the opportunity to present with One of the challenges that I faced with Sysmon was the fact that even though I was able to collect data and categorize events by the specific Thanks to the recent update to In this post, I will show you a basic example of Sysmon rule tagging and how you can scale it with the right parser in solutions like OSSEM, HELK and @_devonkerr_ from Endgame at BSidesCharm at the beginning of the year about "Quantifying Your Hunt".




英語以外

Uczymy się Elasticsearch #005: wyszukiwanie pełnotekstowe - Programista Na Swoim

Wyszukiwanie pełnotekstowe (ang. full-text search) było czymś, co staraliśmy się osiągnąć w pierwszym projekcie, w którym zdecydowaliśmy się na użycie Elasticsearcha. Szybko okazało się, że pełnotekstowo można w nim wyszukiwać na 7 różnych sposobów. Dziś chciałbym przedstawić pokrótce każdy z nich.

  • Piotr Prądzyński さんによる記事です(ポーランド語)
    • "Uczymy się Elasticsearch"と題したElasticsearchについて解説するシリーズの第5回です
    • 今回はElasticsearchに対して_search APIに対してどのような種類のクエリを投げられるかを紹介しています



干货 | Elasticsearch 趋势科技实战分享笔记

null

  • 铭毅天下さんによる記事です(中国語)
    • インデックスのデザインをする際に考えるべきこと、Primary ShardとReplica Shardの個数をどの程度に設定すればよいか、についてステップバイステップで設計方法を紹介しています
    • なお、この記事はスライド「ElasticLog with ES in CloudEdge」の内容を一部抜粋したものです



Sauvegarder et restaurer des index dans Elasticsearch - Zwindler's Reflection

Un développeur s'est dit "J'ai BESOIN d'Elasticsearch !" Et ce qui devait arriver, arriva. Du jour au lendemain, vous n'avez pas eu le temps de dire "ouf" et vous avez déjà une base Elasticsearch à maintenir en production ! Dure vie des #Ops ;-) On va apprendre comment sauvegarder et restaurer des données dans ELK...

  • Zwindlerさんによる記事です(フランス語)
    • Elasticsearchのインデックスをバックアップ/リストアする方法を紹介しています
    • 実際にはCuratorで自動化した方が良いよ、と閉めています



Миграция данных ElasticSearch без потерь

Академическое проектирование хранилища данных рекомендует держать все в нормализованной форме, со связями между. Тогда накат изменений по реляционной математике даст надежное хранилище с поддержкой транзакций. Atomicity, Consistency, Isolation, Durability - вот это все. Иначе говоря, хранилище специально строится для безопасного обновления данных. Но оно вовсе не оптимально для поиска, особенно широким жестом по таблицам и полям.

  • Oleg Kunitsynさんによる記事です(ロシア語)
    • Reindex APIでインデックスAからインデックスBに移行するとき、Reindex処理を開始した後にインデックスAに変更処理を走らせてもインデックスBにはその内容は反映されない問題があります
      • (通常は、その問題を回避するために、Reindex中はインデックスAに変更を加えないようにすると思います)
    • この記事ではelasticsearch-followup-pluginを使用して、その問題を解決する方法を紹介しています
      • Reindex開始とともにFollowUp PluginがインデックスAに対するINDEX/UPDATE/DELETEなどの履歴を記録、Reindex完了と共に、それらの履歴をインデックスBに反映する
    • そのほか、ElasticsearchのデスクトップクライアントであるKaizenであるインデックスの一部フィールドのみを引き継いだインデックスをクローンする方法などを紹介しています



先週の漏れ

GraphDB 8.6 by Ontotext now with Enterprise Ready Security

Ontotext works continuously to improve its semantic graph database and is now happy to announce the release of GraphDB 8.6 with new security features that make operating with your data not just easier and faster but more secure.




今週は以上です。

Easy elastic, easy life!