Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News(2018/12/30～2019/01/05)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  • なし



ENGINEERING

  • なし



Elastic Stack Updates

  • なし



USER STORIES

  1. A Fast, Satisfying Search Experience with AmericanAncestors.org



OTHERS(NEWS/CULTURE/...)

  • なし



ウェビナー

  • なし



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. How to Install ELK Stack on CentOS 7 / Fedora 29 - Computingforgeeks
  2. How to Install Elasticsearch on RHEL 8 / CentOS 8 - Computingforgeeks
  3. How to install Elasticsearch on Ubuntu Server 18.04
  4. Elasticsearch – Murat Çileli – Medium
  5. elasticsearchおよびkibanaのインストールとcurlを用い...
  6. WSL UbuntuにElasticsearch6.5.4の環境設定 - Qiita
  7. Elasticsearch tutorial for beginners using Python – Nitin Panwar...
  8. How to put in Elasticsearch on Ubuntu Server 18.04 - Erpd Mashup



検索、言語別クライアントの実装例

  1. Integrating Textual and Visual Information into a Powerful Visual ...
  2. Ransackの検索をElasticsearchに置き換える - Qiita
  3. The semantics of Elasticsearch’s nested datatype and query operator
  4. Elasticsearch tutorial for beginners using Python – Towards Data...
  5. Build a Serverless GeoSearch GraphQL API using AWS AppSync & Elast...
  6. Azure Functions for Real World (data sync) – James Reátegui –...
  7. Matching rabbit owners and flatmates with Elasticsearch | REA Grou...



ログ監視/ログ分析

  1. Oracle alertlog Monitoring with Elasticsearch and Kibana
  2. Monitor nginx log on kibana using fluentd with Docker
  3. kubernetesに展開するfluentd-daemonset-elasticsearchのconfigM...



モニタリング/パフォーマンス監視

  1. Building a serverless data analytics pipeline – Rodrigo Reis –...
  2. faridcs/laravel-apm



セキュリティ

  1. i-FilterのアクセスログをLogstashで正規化してセキ...
  2. Creating Search Guard TLS certificates with OpenSSL
  3. 6IX7ine/stretcher



データ分析/データ集計

  1. “Data is the new code”. – Greg Ricker – Medium



可視化

  1. MetricbeatでElasticsearchに貯めたCPU使用率をKibanaを使...



データ投入

  1. Using painless in Kibana to calculate days between dates



運用Tips、トラブルシュート

  1. Elasticsearchで覚えておくと便利そうなAPI - Qiita
  2. ElasticsearchのDockerイメージにプラグインを入れた...
  3. Fixing "duplicate plugin" issues in Elasticsearch



その他

  1. Elasticsearch 6.1.2 Will Soon Be Available



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

また、Elasticsearchについてのツイート情報を閲覧できるKibanaダッシュボードをこちらで公開しています。以下のパスワードでログインするとダッシュボードオンリーユーザーとして閲覧できるはずです。

  • ID: elasticlover
  • password: watchtwitterinfo

Elastic Cloudの環境提供は@johtaniさんです。ご協力、ありがとうございます。提供いただいた経緯はこちらから確認できます。

去年の振り返りと今年の抱負 @2019

去年の振り返り

去年は何を血迷ったかこのブログをスタートしたことで、「1週間分のElastic Stackに関するWEB情報をまとめるブログ」の人として認知された1年でした。

最初は誰にも見向きされずに細々とやっていく予定だったのですが、開始して1ヵ月後には@johtaniさんに補足され、宣伝されたことにより、多くの人に閲覧されるようになりましたｗ

毎週最新記事をチェックしてくれる人は20~40名といったところです。いつもありがとうございます。

その関連でElasticsearch勉強会で発表させていただいたりもしました。

今年はもうちょっと別のテーマでも発表してみたいですね。

また、@johtaniさんの好意により、Elastic Cloudの環境をお借りして、記事収集に利用できるElasticsearch/Kibana環境を公開しました。個人的に毎週の更新にも利用していて、かなり助かっています。

そして、年の終わり際にはElasticさんのコミュニティランチに招待していただきました。もはや私の中では伝説と化していたShay Banonさんに間近でお会いすることができ、「実在する人物だったんだ…！」と感動を胸に、ブログ更新のやる気を頂きました。今年は去年呼ばれなかった方を中心に呼ばれると思うので、Elastic関連のコミュニティ活動をやられている皆さんは楽しみにしておいて良いのではないでしょうか。

あとは初めてAdvent Calendarに参加したり。

Reactivesearchでいい感じの検索SPAを30分ぐらいで作る - Qiita

この記事は Elastic stack (Elasticsearch) Advent Calendar 2018 の15日目の記事です。 こんな感じのSPAを30分ぐらいで作ります。 「 Elasticsearchを使った検索WEBアプリを作りたいんだよねぇ」 『はぁ』 「データ入れたらすぐに高速な検索できちゃうんでしょ？」 『いや、すぐにという訳には...』 「あとさ、ユーザ体験を良くするためにSPAでお願いしたいんだよねぇ」 『(また突拍子もないことを言い始めたぞ...)』 「というわけで検討よろしく！検索対象にしたいデータはCSVで送っとくから」 『とりあえず検討してみます😭』 こんな時、皆さんならどうしますか？ ガッツリ画面を作って検索クエリも自前でガリガリ書いて頑張りますか？ それも一つの方法ではありますが、PoCや小さい案件であれば、もっと楽に早く実現できる方法があればそっちを使いたい感じです。 そして、この場合はそれがあります。 React.jsや Vue.jsのUIコンポーネントとして使える Reactivesearchです。

去年はそこそこ挑戦できたかなぁ、と思っています。(今年のハードルが上がった...。)

今年の抱負

ジャストアイデア。

記事作成の自動化を推進する

ちょっとだけ準備を進めていたりします。

今週のElastic News(2018/12/23～2018/12/29) - Elasticloverは、これを使って記事を作成しました。

あとは記事の日時情報だけ取得できれば完璧なんですが、これを特定するのが難しい。

うーむ…アイデア募集中です。

紹介する記事をジャンルや公開日、タグなどで検索できるインタフェースを公開する

ReactivesearchでReact.jsアプリを作ってGithub Pagesなどで公開することを想定。

タグはあると便利だと思うんだけども、楽に付けるためには専用のGUIが必要な気がする。

去年よりも記事まとめブログ以外の活動を増やす

初心者向けのHow to記事、勉強会の発表とか。 前者についてはJEUGのディスカッションで話題になっているようにKibelaとかでまとめてあったりすると、使い始めた人が迷う事も減るんじゃないか、と夢想しています。なお、やる気は…

で、場合によっては記事まとめブログの活動は縮小する可能性もあると思います。 とりあえず節目となる1周年までは続けるつもりですが。

おわりに

そんな感じで。今年もElasticloverをよろしくお願いします！

今週のElastic News(2018/12/23～2018/12/29)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. The Elastic Advent Calendar 2018, Week 4
  2. Kibana Plugin API Changes in 6.6



Elastic Stack Updates

  • なし



USER STORIES

  • なし



OTHERS(NEWS/CULTURE/...)

  • なし



ウェビナー

  • なし



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. ログ解析で用いられるElasticsearchとはなんなのか -...
  2. Installing ELK stack on mac for dummies — tested and working
  3. LogStashのインストール - Qiita
  4. Kibanaのインストール - Qiita
  5. elasticsearchのインストール - Qiita



検索、言語別クライアントの実装例

  1. Elasticsearch SQL を触ってみた - istyle Tech Blog
  2. 横断検索で社内情報共有を加速させる - Hatena Devel...
  3. 基本的なElasticsearchの検索クエリ - Qiita
  4. jackmeng/simple-es
  5. Elasticsearch: Query DSL — Match & Term – David Cargatser ...
  6. Elasticsearch‘s simple_query_string: Powerful Yet Simple
  7. RestHighLevelClientでBulkAPIを使う - Qiita
  8. DynamoDBとElasticsearchをエンプラで本気で使ってみた...
  9. Building BookSearch Application using Vue and Elasticsearch
  10. 検索対象シャードのスキップ - Qiita



ログ監視/ログ分析

  1. Amazon Elasticsearch Service、Amazon Kinesis Data Firehose、Kiba...
  2. Log Aggregation using ELK Stack | Java Code Geeks - 2018
  3. Centralized logging in Kubernetes – Thilina Manamgoda – Medium
  4. Scale-Ready Logging with Heroku and ELK – Tal Bronfer – Medium



モニタリング/パフォーマンス監視

  1. Dec 23rd, 2018: [EN][Observability] Querying metrics from Prometheus
  2. ZabbixのデータをElasticsearch+Kibanaで可視化してみた ...



セキュリティ

  1. Real-Time Sysmon Processing via KSQL and HELK — Part 2: Sysm...
  2. Day24 - Predator捕捉病毒样本 - Elastic 中文社区



データ分析/データ集計

  1. Day 23 - 基于 HanLP 的 ES 中文分词插件 - Elastic 中文社区



可視化

  1. Dec 24th, 2018: [EN][Kibana] Region maps in Kibana
  2. An Intelligent Food Transportation System – Ömer Faruk Tuna –...
  3. KibanaのSpaces移行 - Qiita
  4. Dec 25th, 2018: [EN][Kibana] Awesome Kibana Spaces
  5. Elastic UI Frameworkのリポジトリは色々参考になりそ...
  6. Kibanaのデザインを6.0以前に戻す - Qiita



データ投入

  1. Day 25 - Elasticsearch Ingest节点数据管道处理器 - Elastic...
  2. データ可視化、分析をする人に「Elasticsearchにデータ入れておいて」と言われたら
  3. Dynamic/Manual field indexing on ElasticSearch
  4. Converting Elasticsearch data into structured dataset for processi...



運用Tips、トラブルシュート

  1. Réplicas de índices con un único nodo de Elasticsearch
  2. Elasticsearch under Shenandoah – Kirill A. Korinsky – Medium
  3. Elasticsearchの削除したインデックスの実データ削...
  4. Elasticsearch snapshots backup/restore from s3 to another cluster.
  5. Export Data from ElasticSearch to CSV – Shaon Shaonty – Medium
  6. moto と requests を pytest で使う - Qiita
  7. "Stream to Amazon Elasticsearch Service" does not work
  8. KibanaでElasticsearchに高負荷をかけてしまわないた...



その他

  1. Elastic Stack 7.0で入ってくる新機能をちょっと紹介 ...
  2. Elasticsearchのプラグインを作成する(1) - Qiita
  3. JEUG#02 LT "X-Pack"どうなった問題
  4. Logstashの最近のアップデートで面白そうなものを...



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

また、Elasticsearchについてのツイート情報を閲覧できるKibanaダッシュボードをこちらで公開しています。以下のパスワードでログインするとダッシュボードオンリーユーザーとして閲覧できるはずです。

  • ID: elasticlover
  • password: watchtwitterinfo

Elastic Cloudの環境提供は@johtaniさんです。ご協力、ありがとうございます。提供いただいた経緯はこちらから確認できます。

今週のElastic News(2018/12/16～2018/12/22)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  1. Elastic Stack 6.5.4 Released | Elastic
  2. Elastic Stack 7.0.0-Alpha2 Released | Elastic



ENGINEERING

  1. Elastic Advent Calendar 2018, Week 2 | Elastic
  2. What's New with Elasticsearch Ingest Node in 6.5 | Elastic
  3. Advanced Search Queries in Elastic App Search (Example) | Elastic
  4. Resolving Kibana Local File Inclusion Flaw CVE-2018-17246 | Elastic
  5. Functionbeat: Ingest Serverless Cloud Data to Elasticsearch | Elastic
  6. Elastic Advent Calendar 2018, Week 3 | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-12-15 | Elastic
  2. This Week in Elasticsearch and Apache Lucene - 2018-12-21 | Elastic



USER STORIES

  1. Monitoring Airport Security Operations with Canvas & Elasticsearch | Elastic



OTHERS(NEWS/CULTURE/...)

  • なし



ウェビナー

  1. Getting Started with the Elastic Stack on Microsoft Windows and Azure | Elastic
  2. Learn to Save Time & Money with Automated Reports and Alerts for Elastic Stack and Grafana -Skedler



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. 初心者のためのElasticsearchその3 -node.jsからアクセスする- ｜ DevelopersIO



検索、言語別クライアントの実装例

  1. Analyze設定のマイフェイバリット（Elasticsearch） - はてだBlog（仮称）
  2. 別立てのナレッジインデックス（検索UX向上のためのオレオレ考察 （Elasticsearch）） - はてだBlog（仮称）
  3. ElasticsearchのRanking Evaluation APIについて整理してみた - Taste of Tech Topics
  4. 【Python+Flask】WebAPIを使った簡易書籍管理アプリ【Elasticsearch、Vue.js】 - Qiita
  5. TransportClientからRestHighLevelClientに移行する - Qiita
  6. searchkick language: 'japanese' と Elasticsearch 6.5 系を組み合わせるとインデックスの作成に失敗する - Qiita
  7. PHP,Go,Elasticsearchによる、@cosmeを5倍速くする取り組み
  8. Dec 20th, 2018: [EN][Python/Elasticsearch] Python DSL for Elasticsearch - Advent Calendar - Discuss the Elastic Stack
  9. Dec 21st, 2018: [EN][Elasticsearch] Using SQL to query data in Elasticsearch - Advent Calendar - Discuss the Elastic Stack
  10. Guide to Elasticsearch in Java | Baeldung
  11. How to Use Elasticsearch With a Spring Data Elasticsearch Project - DZone Big Data
  12. BE CAREFUL WHILE QUERYING INNER OBJECTS IN ELASTICSEARCH | Josh Software – Where Programming is an Art!
  13. Day 19 - 通过点击反馈优化es搜索结果排序 - Elastic 中文社区
  14. Day22 - 熟练使用ES离做好搜索还差多远？ - Elastic 中文社区
  15. Elasticsearch bool query小结 | Rui's Blog
  16. Dec 16th, 2019: [DE][Elasticsearch] Zusammengesetzte Worte in Elasticsearch - Advent Calendar - Discuss the Elastic Stack



ログ監視/ログ分析

  1. ECS on Fargateで動いているプログラムのログをElasticsearch/Kibanaで可視化 - Qiita
  2. Chainerのログをログコレクターと連携させる - Qiita
  3. GKE環境でfluentd + elasticsearch + kibanaでログ環境を構築してみる - Qiita
  4. ロボットのログをLogstashで集める – Yoshihiko Miyaichi – Medium
  5. fluentdでGKEコンテナから送られたログを正規表現で分解する - Qiita
  6. AkamaiのアクセスログをElastic Stackで可視化してみる - Qiita
  7. Windows環境でFluentd+Elasticsearch+kibanaでアクセスログの可視化 - Qiita
  8. Semantic logging is great but… – Luis Pereira – Medium
  9. Managing Docker Logs with Elasticsearch and Kibana (dockerized, of course)
  10. Dec 17th, 2018: [FR][Elastic Stack] Indexer facilement les slow logs d'Elasticsearch avec Filebeat - Advent Calendar - Discuss the Elastic Stack



モニタリング/パフォーマンス監視

  1. Elastic Stackで簡単！Dockerコンテナ監視ダッシュボード作成 - Taste of Tech Topics
  2. Dec 19th, 2018: [EN][Heartbeat] Configure a TLS expiration notification using Heartbeat - Advent Calendar - Discuss the Elastic Stack
  3. Install Elastic HQ Plugin to Monitor Elasticsearch Cluster | DevOps Techie



セキュリティ

  1. 5分で分かるApache Metron - Qiita
  2. Open source security for Kibana — Node.JS reverse proxy with Kerberos
  3. Elasticsearch | Field anonymisation | Search Guard
  4. Detecting suspicious child processes using ee-outliers and Elasticsearch – NVISO Labs
  5. File Inclusion Bug in Kibana Console for Elasticsearch Gets Exploit Code
  6. Execute This, I Know You Have It - CyberArk



データ分析/データ集計

  1. Machine Learningでの異常検知をトリガーにWatcherで通知するまで - Qiita
  2. Analyze user behavior using Amazon Elasticsearch Service, Amazon Kinesis Data Firehose and Kibana | AWS Database Blog



データ投入、可視化

  1. CLI for indexing from Firestore to Elasticsearch – All things #datastreams
  2. Welcome a New Data Source — Elasticsearch – Data Driven Investor – Medium
  3. Optimize Grafana dashboards with Elasticsearch index aliases
  4. Connecting Different Pipes: Ingesting ElasticSearch Data in Splunk – Cribl Blog



運用Tips、トラブルシュート

  1. ElasticsearchのReindex APIで小ネタ紹介 - Qiita
  2. Elasticsearch API を emacs buffer から呼ぶ - Qiita
  3. Elasticsearch API を VisualStudio Code から呼ぶ - Qiita
  4. elasticsearch6ではまったところメモ - Qiita
  5. IAM認証後にローカルのElasticsearchへアクセスする際のCORS設定 - Yoshinori Satoh Tech blog
  6. GitHub - sky-joker/elasticserch-container: Elasticsearchコンテナ作成用リポジトリ
  7. Dec 18th, 2018: [EN][Elastic Stack] Set up for success - don't repeat yourself! - Advent Calendar - Discuss the Elastic Stack
  8. Hacks about ELK Stack – anand gt – Medium
  9. Deploying Elasticsearch Within Kubernetes | Rancher Labs
  10. Dec 22nd, 2018: [CN][Elasticsearch] 跨集群复制（CCR）的使用 - Advent Calendar - Discuss the Elastic Stack
  11. Day 16 - Elasticsearch性能调优 - Elastic 中文社区
  12. Day 20 - Elastic性能实战指南 - Elastic 中文社区
  13. Day 17 - 关于日志型数据管理策略的思考 - Elastic 中文社区
  14. Day 18: 记filebeat内存泄漏问题分析及调优 - Elastic 中文社区
  15. Day 21 - ECE 版本升级扫雷实战 - Elastic 中文社区
  16. 京东到家订单中心 Elasticsearch 演进历程 - 51CTO.COM
  17. Como encontrar e remover documentos duplicados no Elasticsearch | Semantix



その他

  1. 第27回Elasticsearch勉強会「LT&忘年会」2018.12 - Togetter
  2. Elastic社のGithubレポジトリで面白そうなものを紹介してみる - infra.log
  3. [秋葉原] Pythonスクレイピング勉強会 Scrapy/Elasticsearch 初心者歓迎！ - connpass
  4. Elasticsearch実践ガイドを読み終わりました - シュンツのつまづき日記
  5. Open Source as Revenue Driver: How Elasticsearch Uses Open Source for Revenue Growth, Tech…
  6. IBM Cloud Databases for etcd, Elasticsearch, and Messages for RabbitMQ Are Now Generally Available - IBM Cloud Blog



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

また、Elasticsearchについてのツイート情報を閲覧できるKibanaダッシュボードをこちらで公開しています。以下のパスワードでログインするとダッシュボードオンリーユーザーとして閲覧できるはずです。

  • ID: elasticlover
  • password: watchtwitterinfo

Elastic Cloudの環境提供は@johtaniさんです。ご協力、ありがとうございます。提供いただいた経緯はこちらから確認できます。

今週のElastic News(2018/12/09～2018/12/15)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  1. Elastic Stack 6.5.3 Released | Elastic



ENGINEERING

  1. How to Find and Remove Duplicate Documents in Elasticsearch | Elastic
  2. Elasticsearch Security: Configure TLS/SSL & PKI Authentication | Elastic
  3. Powerful New Features in Elastic Cloud Enterprise (ECE) 2.0 | Elastic
  4. Introducing Beats Central Management in the Elastic Stack | Elastic
  5. Elastic Advent Calendar 2018, Week 2 | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-12-09 | Elastic
  2. Keeping up with Kibana: This week in Kibana for Dec 10th, 2018 | Elastic



USER STORIES

  • なし



OTHERS(NEWS/CULTURE/...)

  1. Elastic doubles down on cloud native with Helm charts and CNCF membership | Elastic



ウェビナー

  1. Kibana Spaces: Organize (and Secure) Your Dashboards and Saved Objects | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. AWSのElassticsearchを利用して、ウェブサイトをEC2インスタンスで公開 - Qiita
  2. EC2+ELK環境構築 - Qiita
  3. 個人用のWikiをGrowiを用いて構築 - Qiita
  4. Elasticsearchに関する基本知識 - Qiita
  5. RailsでElasticsearchを1から動かしてみる 【その1 】インストール - 検索ブログ
  6. 12 Factor App (Uygulama Geliştirme Prensipleri) – Abdulkerim Karaman – Medium
  7. Monitoring Services with Elasticsearch APM – suraj kumar – Medium
  8. What is Elastic stack which everyone is talking about???
  9. How To Install Elasticsearch, Logstash, and Kibana (Elastic Stack) on CentOS 7 | DigitalOcean



検索、言語別クライアントの実装例

  1. Wikimedia検索インデックスに対するElasticsearchのMLT(More-Like-This)クエリを試す - NO_WAIT
  2. FlaskとElasticsearchで社内の簡易書籍管理システムを作ってみた - Qiita
  3. elasticsearch-dsl で集計を伴う検索クエリを書く - Qiita
  4. Reactivesearchでいい感じの検索SPAを30分ぐらいで作る - Qiita
  5. 「明日から検索機能の担当やってね」と言われたときに知っておくと良さそうなこと – Yusuke Iwaki – Medium
  6. Elasticsearch利用まとめ2018 - Qiita
  7. ブログ - Magento Open Source 2.3でElasticsearchをつかう | Magentoと越境ECの総合サポート Principleworks
  8. Text datatypeとKeyword datatypeの公式Rでの設定項目を一覧比較して理解を深める(Elasticsearch) - はてだBlog（仮称）
  9. 検索結果の良さを計測して定量的に改善していく - Speaker Deck
  10. Building a GraphQL API By Example: Restaurant Reviews (part 4 — geospatial search)
  11. The Commercial API Journey – CryptoCompare Research
  12. Global Enterprise Search Software Market Insights 2018-2024: Swiftype, Algolia, Elasticsearch, Apache Solr, SearchSpring – Cleveland Post Gazette
  13. Made To Measure: Ranking Evaluation using Elasticsearch - Speaker Deck
  14. Advent Calendar 9: The way to our own Elasticsearch Plugin 1/2 | Inpsyde
  15. Day 11 -父子关系维护检索实战一 - Elasticsearch 5.x-父子关系维护 - Elastic 中文社区
  16. Day 14 - 订单中心基于elasticsearch 的解决方案 - Elastic 中文社区
  17. Day 15 - 基于海量公司分词ES中文分词插件 - Elastic 中文社区
  18. Elasticsearch SQL用法详解
  19. Elasticsearch Search API - 不要乱摸 - 博客园
  20. Elasticsearch通关教程（五）：如何通过SQL查询Elasticsearch - JaJian - 博客园
  21. ElasticSearch ou SolR pour votre moteur de recherche ?
  22. Dec 11th, 2018: [PT-BR][Elasticsearch] Usando Field Aliases para criar uma visão unificada entre índices com mapeamento distinto - Advent Calendar - Discuss the Elastic Stack



ログ監視/ログ分析

  1. 最初に知っておけば良かったFilebeatの設定 - Taste of Tech Topics
  2. Go言語 + Docker + Elastic Stack (Elasticsearch Logstash Kibana) で始める BI環境構築 ハンズオン - Qiita
  3. Apacheのアクセスログを、FluentdでtailしてElasticsearchに放り込む - Qiita
  4. Apacheのアクセスログを、EmbulkでElasticsearchに叩き込む - Qiita
  5. ELCEP — Monitor your Logs? – BennyH – Medium
  6. Elastic Stack ile Log Yönetimi ve İzleme [BEATS — LOGSTASH — ELASTICSEARCH-KIBANA ENTEGRASYONU]
  7. Day 12 - Elasticsearch日志场景最佳实践 - Elastic 中文社区
  8. ElasticSearch实战：Linux日志对接Kibana - 知乎



モニタリング/パフォーマンス監視

  1. Elastic Stack Alertingではまったことと対処方法 - Qiita
  2. VagrantとAnsibleを用いたフロー情報の可視化環境作成 - Qiita
  3. Dec 9th, 2018: [EN][Elastic Stack] Ubiquiti metrics in the Elastic Stack - Advent Calendar - Discuss the Elastic Stack
  4. Dec 15th, 2018 [EN][APM] Overhead of the Java agent - Advent Calendar - Discuss the Elastic Stack



セキュリティ

  1. Announcement: open-sourcing ee-outliers – NVISO Labs
  2. Cryptocurrency Miner Spreads via Old Vulnerabilities on Elasticsearch - TrendLabs Security Intelligence Blog
  3. Boomoji app exposed 5.3 million users’ data due to misconfigured ElasticSearch server | Cyware
  4. What the HELK? SIGMA integration via Elastalert – Posts By SpecterOps Team Members
  5. Security for Elasticsearch | Custom authentication modules | Search Guard
  6. Dec 10th, 2018: [EN][Elastic Stack] Correlate and Alert for Security Analytics - Advent Calendar - Discuss the Elastic Stack



データ分析/データ集計

  1. Elasticsearch Machine Learningでファイアーウォールログから異常を検知する - ネットワークエンジニアのアレ
  2. Implementing the Netflix Media Database – Netflix TechBlog – Medium
  3. Day 13 - Elasticsearch-Hadoop打通Elasticsearch和Hadoop - Elastic 中文社区



データ投入、可視化

  1. Kibanaによるバッチ遅延監視のためのグラフ化・6つの実践例 - Qiita
  2. Elasticのフォーラムを可視化してみよう - Qiita
  3. Elasticsearchに入ったネスト構造のドキュメントをフラットにしたい - Qiita
  4. IoT機器の障害状況をKibanaで可視化する　〜U-motion®への適用事例〜 - Qiita
  5. Vega利用時によくある7つの疑問 - Taste of Tech Topics
  6. BME280とElasticserchを使って可視化してみよう - Qiita
  7. 検索練習用のサンプルデータのインポート@Elasticsearch：住所マスタを使おう - はてだBlog（仮称）
  8. mongo-connectorでMongoDBからElasticsearchへリアルタイム同期 #mongodb - クリエーションライン株式会社
  9. Real-time reporting of cucumber tests to Elastic Search
  10. Dec 14th, 2018: [EN][Kibana] Canvas: From 0 to dashboard before the morning is out - Advent Calendar - Discuss the Elastic Stack
  11. Elasticsearch + RxJava, ingesta de datos a máxima velocidad - Paradigma
  12. Using RabbitMQ as a Ruby work queue to populate Elasticsearch via Docker Compose - Eric London » Open Source » Software Blog
  13. GitHub - ZeitOnline/sphinx_elasticsearch: Indexes a documentation project build via Sphinx into elasticsearch.
  14. Elasticsearch Meetup Vienna - webLyzard Live Demo - Speaker Deck



運用Tips、トラブルシュート

  1. トラブルシュート時などの現状ざっくり把握のためのAPI一覧まとめ (Elasticsearch) - はてだBlog（仮称）
  2. Kibana6.5 便利なAdvanced Settingsの紹介 - Qiita
  3. Logstashを使ったElasticsearchの無停止インデックス更新の運用を考える - Qiita
  4. Elasticsearchに溜まったログのサマリーをLambdaで毎朝Slackに通知、する仕組みをTerraformで構築する - Qiita
  5. クラスタを殺すIngestNode&Grok - Qiita
  6. How to remove Elasticsearch node(s) - Qiita
  7. Elasticsearch: From timeout to 4 seconds  —  A Journey to 100 million logs in ELK
  8. Dec 12th, 2018: [EN][Elasticsearch] Automatically adding a timestamp to documents - Advent Calendar - Discuss the Elastic Stack
  9. ElasticSearch: Zero downtime reindexing – Autotrader & Carsguide Engineering
  10. Elasticsearch Cluster: How to Restore a snapshot – Nuwan Chamara – Medium
  11. Recovery elastic’s index’s shard if it was broken – Kirill A. Korinsky – Medium
  12. Upgrading Elasticsearch at Redmart Pt 1 - Code Changes
  13. Day 10 - Elasticsearch 分片恢复并发数过大引发的bug分析 - Elastic 中文社区
  14. Gérez vos sauvegardes ElasticSearch avec Curator - Zwindler's Reflection



その他

  1. Elasticsearchのプラグインを自作する - Qiita
  2. Oracleの下落続く - 12月データベースランキング | マイナビニュース
  3. Elastic Japan Innovation Awardを受賞を致しました。 | Acroquest Technology株式会社(アクロクエストテクノロジー)
  4. Elastic launches Helm Charts (alpha) for faster deployment of Elasticsearch and Kibana to Kubernetes | Packt Hub
  5. Elastic Joins Cloud Native Computing Foundation (CNCF) and Launches Helm Charts for Elasticsearch on Kubernetes | Business Wire
  6. Amazon Elasticsearch Service achieves HIPAA eligibility, PCI and ISO compliance
  7. #163 – Top 5 – Elasticsearch with Wayne Fuller (#54)
  8. Day 9 - 动手实现一个自定义beat - Elastic 中文社区



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

また、Elasticsearchについてのツイート情報を閲覧できるKibanaダッシュボードをこちらで公開しています。以下のパスワードでログインするとダッシュボードオンリーユーザーとして閲覧できるはずです。

  • ID: elasticlover
  • password: watchtwitterinfo

Elastic Cloudの環境提供は@johtaniさんです。ご協力、ありがとうございます。提供いただいた経緯はこちらから確認できます。

今週のElastic News(2018/12/02～2018/12/08)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES



ENGINEERING

  1. Introducing the Annotated Text Plugin for Elasticsearch: Search for Things (not Strings) | Elastic
  2. Analyzing Bitcoin Price Behavior with Elasticsearch & Kibana | Elastic
  3. Welcome to the Elastic Advent Calendar, 2018! A look at Week One | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-11-30 | Elastic
  2. Keeping up with Kibana: This week in Kibana for Nov 26th, 2018 | Elastic



USER STORIES

  • なし



OTHERS(NEWS/CULTURE/...)

  1. Hosted Elasticsearch: Elastic Cloud and Amazon Elasticsearch Service | Elastic
  2. Reflections on Three Years in the Elastic Public Sector | Elastic



ウェビナー

  1. Intro to Canvas: A new way to tell visual stories in Kibana | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け（概説、インストールなど）

  1. 様々なメトリクスやログを集めてシステム解析 - Elastic Stackの入門と活用 - / Getting started Elastic Stack for logging/metrics - Speaker Deck
  2. メモリ512M最安VPSでnginx + php + elasticsearch on dockerを起動する - Qiita
  3. Tech dossier: Elasticsearch / the ELK stack | Expedition Data
  4. Hands-on Introduction to Elasticsearch — III – Jitendra Agrawal – Medium
  5. Getting Started With ELK Stack By Building Uptime Monitor.
  6. #162 – Top 5 – Intro to Elasticsearch (#25)
  7. Supinfo Articles, lecteur et editeur d'article



検索、言語別クライアントの実装例

  1. Elasticsearchを使って、青空文庫検索エンジンの作り方を 1 から丁寧に丁寧に解説してみる - Qiita
  2. 検索サイトのUX検討の道しるべ（考えてみた）: Elasticsearchの活用視点 - はてだBlog（仮称）
  3. Full text queries と Term level queries一覧見比べ(Elasticsearch) - はてだBlog（仮称）
  4. Dec 2nd, 2018: [JP][Elasticsearch] Analyze UIプラグインでAnalyzerの動きを理解する - Advent Calendar - Discuss the Elastic Stack
  5. Dec 6th, 2018: [JP][Elasticsearch] 検索順位を自在に操る - Advent Calendar - Discuss the Elastic Stack
  6. Searchkickの設定 - Qiita
  7. Elasticsearchで「最近よくいいねされてる」順の検索結果を出す - Qiita
  8. Suggestersのシンタックス雰囲気まとめ (Elasticsearch) - はてだBlog（仮称）
  9. Using Elasticsearch as the Primary Data Store - Bol.com Techlab
  10. Dec 8th, 2018: [EN][Python/Elasticsearch] Getting started with Elasticsearch DSL and Python - Advent Calendar - Discuss the Elastic Stack
  11. A Synonym By Any Other Name: From Alt. Labels to Knowledge Graphs
  12. ElasticSearch Joins: Has_Child, Has_parent query – BMC Blogs
  13. Dec 5, 2018: [EN][Elastic App Search] Quick and easy typeahead search with Elastic App Search - Advent Calendar - Discuss the Elastic Stack
  14. GitHub - namdp06/laravel-scout-aws-elasticsearch: Laravel scout work with aws elasticsearch
  15. Boosting Elasticsearch with machine learning - Elasticsearch, RankLib, Docker - qooba.net
  16. Leverage Search Templates in Elasticsearch – manifoldco
  17. GitHub - triadev/LaravelElasticsearchODM: Elasticsearch odm for laravel.
  18. Implementação De Um Mecanismo De Busca Textual Na Plataforma Libreflix Usando Elasticsearch - Speaker Deck
  19. Day 2 - ES 6.x拼音分词高亮爬坑记 - Elastic 中文社区
  20. Elasticsearch Query DSL 整理总结（四）—— Multi Match Query - ReyCG - 博客园
  21. Day 4 - PB级规模数据的Elasticsearch分库分表实践 - Elastic 中文社区



ログ監視/ログ分析

  1. 今さらながらにElasticStackで可視化について - Qiita
  2. 無線 LAN の通信品質を見える化する話 - Technology of DeNA



モニタリング/パフォーマンス監視

  1. Spring Boot＋Micrometerで取得したメトリクスを、Elasticsearchに送ってKibanaで表示する - Qiita
  2. Beats と Infrastructure UI で何かやってみる | ENCOM SECURITY



セキュリティ

  1. artdeco/kibana: The Smallest Kibana Docker Image With Authorisation
  2. Why Wazuh needs an Elasticsearch template? - WAZUH's blog
  3. Running a multi-node Elasticsearch cluster locally with security enabled – Zoltan Altfatter – Software Engineer
  4. Data of 82 Million US users exposed on Elasticsearch InstancesSecurity Affairs
  5. Elasticsearch Data Breach Exposes 57 Million Records - SystemTek
  6. Data of 32 million SKY Brasil customers easily accessible on unprotected ElasticSearch server – HOTforSecurity



データ分析/データ集計

  1. ElasticStackで機械学習Tips～Model Boundsを表示して分かりやすく - Qiita
  2. Dec 4th, 2018: [EN][ML] Rarity Analysis with Machine Learning - Advent Calendar - Discuss the Elastic Stack
  3. Day 8 - 如何使用Spark快速将数据写入Elasticsearch - Elastic 中文社区



データ投入、可視化

  1. Kibana CanvasでCanvasならではの表現をしよう - Qiita
  2. Kibana Canvasをはじめてみよう - Qiita
  3. Excel のピボットテーブルを ElasticSearch + Kibana にしてみた - LINE ENGINEERING
  4. Logstashのhttp_poller inputプラグインでWEB上のあらゆるデータを取得する（ついでにKibanaで可視化する） - Qiita
  5. Elasticsearch + Logstash + Kibana + SudachiプラグインでTwitterを可視化したときのtemplate - Qiita
  6. Processor＠IngestNodeについての一覧(Elasticsearch) - はてだBlog（仮称）
  7. Dec 3rd, 2018: [KR][Logstash] Facebook 그룹의 글을 Elasticsearch 로 가져오기 - Advent Calendar - Discuss the Elastic Stack
  8. Dec 7th, 2018: [FR][Kibana] A la découverte de Canvas - Advent Calendar - Discuss the Elastic Stack
  9. Loading wiki dumps into elastic search – Rohan Singh – Medium
  10. Indexing Amazon DynamoDB Content with Amazon Elasticsearch Service Using AWS Lambda | AWS Compute Blog
  11. Hack the Police + Elasticsearch – Nevelina Aleksandrova – Medium
  12. Day 6 - Logstash Pipeline-to-Pipeline 尝鲜 - Elastic 中文社区



運用Tips、トラブルシュート

  1. ElasticCloudからAmazon Elasticsearch Serviceへの移行して良かったこと大変だったこと – inamuu.com
  2. ElasticsearchのQueryが遅い時のトラブルシューティング - Qiita
  3. Elasticsearchのオペレーションを楽にするツールを作成した話 - Qiita
  4. クラスタを殺すIngestNode&Grok - Qiita
  5. Logstash のプロキシ設定 - Qiita
  6. Upgrade elasticsearch cluster from elasticearch 2.4.4 to 6.5.1
  7. Cómo actualizar Elasticsearch Service en AWS
  8. A Production Elasticsearch Curator Example – ImagineLearning – Medium
  9. Elastic Stack 롤링 업그레이드 - Jongmin's blog
  10. Day 5 - Elasticsearch 存储设备全解析 - Elastic 中文社区
  11. Day 7 - Elasticsearch中数据是如何存储的 - Elastic 中文社区



その他

  1. 2018年のElastic StackとElastic - @johtaniの日記 2nd
  2. Beatsシリーズへの貢献するには - Qiita
  3. Oracleの下落続く - 12月データベースランキング | マイナビニュース
  4. Heading to the Finish Line: Code.gov at Elastic DC – CodeDotGov – Medium
  5. 幫老婆管理食譜到IPO，ELASTIC Q2 2019 Earnings – Ray Woo – Medium
  6. Day 3 - kibana二次开发tips - Elastic 中文社区



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

また、Elasticsearchについてのツイート情報を閲覧できるKibanaダッシュボードをこちらで公開しています。以下のパスワードでログインするとダッシュボードオンリーユーザーとして閲覧できるはずです。

  • ID: elasticlover
  • password: watchtwitterinfo

Elastic Cloudの環境提供は@johtaniさんです。ご協力、ありがとうございます。提供いただいた経緯はこちらから確認できます。

今週のElastic News (2018/11/25～2018/12/01)

皆さん、こんにちは。@j-yamaです。

気が付けば今年も早くも12月…アドベントカレンダーが始まる時期になってきました。

2018年、Elastic Stack関連では以下3つのアドベントカレンダーが開催されるようです。（他にもあったら教えてください！）

  1. Advent Calendar - Discuss the Elastic Stack
    • 昨年から始まったElastic公式によるアドベントカレンダーです。Discuss Forumへ投稿されます。昨年通りであれば、毎週公式ブログに(こんな感じの)まとめ記事がアップロードされていくと思います。
  2. Elastic stack (Elasticsearch) Advent Calendar 2018 - Qiita
    • 日本コミュニティのアドベントカレンダーです。Qiitaへ投稿されます。まだ枠が空いてますので、我こそは！という方は登録してみてはいかがでしょうか。
  3. advent - Elastic 中文社区
    • 中国コミュニティのアドベントカレンダーです。elasticsearch.cnへ投稿されます。中国語が読める方はそのままで、読めない方はGoogle翻訳を活用してアレしましょう。

当ブログでも、これまでと同様リンクは張っていきますが、最速で情報を仕入れたい方は直接アドベントカレンダーをチェックしてみてはいかがでしょうか。



今週、Elasticについて新たにWEBで観測した情報をまとめます。 （個人的に注目だと感じた記事は太字で紹介しています。）

公式ブログ

RELEASES

  1. Elastic App Search Beta Released for On-Premise Deployments | Elastic



ENGINEERING

  1. Elastic Machine Learning Anomaly Scoring with Partition Normalization and Multi-Bucket Analysis | Elastic
  2. Using Data Table and Debug Elements in Canvas within Kibana | Elastic



Elastic Stack Updates

  1. Keeping up with Kibana: This week in Kibana for Nov 19th, 2018 | Elastic



USER STORIES

  1. Monitoring Airport Security Operations with Canvas & Elasticsearch | Elastic



OTHERS(NEWS/CULTURE/...)

  • なし



ウェビナー

  1. App Search : Déployez rapidement l'expérience de recherche Elasticsearch sur n'importe quelle plateforme (French) | Elastic
  2. La business intelligence appliquée au texte dans l'entreprise ou sur le web (French) | Elastic
  3. Building Effective Dashboards with Kibana and Elasticsearch | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

今週から「関連プロダクト」の区分は廃止し、プラグインやSaaSプロダクトについてもユースケース別に分類するようにします。目的が分かり難かったので。

初心者向け（概説、インストールなど）

  1. Ubuntu16.04に全文検索エンジンElasticsearchをインストール | テクナレジ
  2. Windows環境で作るElasticsearch7.0（alpha1） - Qiita
  3. Introduction to the Elastic stack – ilegra – Medium
  4. All You Need to Know About the Technical Perspective of Elasticsearch - TechnoInsta
  5. Uses of Elasticsearch and Things to Learn – Sasho Trajkov – Medium
  6. Hands-on Introduction to Elasticsearch — II – Jitendra Agrawal – Medium
  7. Elastic search and Kibana in AWS with docker – Richard Parkins – Medium



検索、言語別クライアントの実装例

  1. [レポート]ANT203:NikeはこうしてElasticsearch選んだ！ #reinvent ｜ DevelopersIO
  2. nextcloud + Elasticsearch で日本語全文検索が動いたメモ - Qiita
  3. 検索サイトの検索ページのURL体系についての考察（Elasticsearchの製品哲学？の影響を受けた版） - はてだBlog（仮称）
  4. Laravel5.5 使用 Elasticsearch 做引擎，scout 全文搜索 | Laravel China 社区 - 高品质的 Laravel 和 PHP 开发者社区
  5. Vue.JS Components for building Search UIs – All things #datastreams



ログ監視/ログ分析

  1. LogstashのApache用grokフィルタ %{COMBINEDAPACHELOG} - Qiita
  2. 大きくなってきたIoTプロダクトのログ活用について 〜Amazon Elasticsearch Service篇〜 - フォトシンス エンジニアブログ
  3. Ingest NGINX container access logs to ElasticSearch using Fluentd and Docker



モニタリング/パフォーマンス監視

  1. MolochのDB内の解析結果をJupyterから分析する – Black304 – Medium
  2. Visualizenetworktraffic 20181126



セキュリティ

  1. New Data Breach exposes 57 million records - HackenProof Blog
  2. SKY Brasil Exposes 32 Million Customer Records
  3. Apathetic Cyber-Security: Data exposure and breach in major Bangladeshi companies



データ分析/データ集計

  1. Azure DatabricksとElasticsearchの連携 - Qiita
  2. KafkaからのデータをStructured Streamingで処理してElasticsearchに流す - Qiita
  3. 新サービス・JOURNAL(ジャーナル)開発秘話 - Speaker Deck
  4. How we solved ‘user selection’ to help merchants win business
  5. BA Insight’s ConnectivityHub Extends Elastic into the Enterprise Search Market | AI-driven intelligent enterprise search software



データ投入、可視化

  1. Kibana Canvasでオシャレに可視化しよう - Qiita
  2. Running a fluent-d cluster behind an AWS ELB for handling tcp input streams



運用Tips、トラブルシュート

  1. Elasticsearch 6.5 Backup and Restore - Qiita
  2. Elaschsearch 6.5 レプリカを無くす - Qiita
  3. Elasticsearch で indices をさくっとクローズしたりする方法 - Qiita
  4. How To Set Up an Elasticsearch, Fluentd and Kibana (EFK) Logging Stack on Kubernetes | DigitalOcean
  5. Java embedded Elasticsearch for integration testing
  6. elasticsearch 亿级数据检索案例与原理 - mikevictor - 博客园
  7. Day 1 - ELK 使用小技巧（第 3 期） - Elastic 中文社区



その他

  1. 2018年のElastic StackとElastic - @johtaniの日記 2nd
  2. Field Stats Plugin for Elasticsearch 6.x Released - Sematext
  3. What's New in Elastic Stack 6.5 | Logz.io



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

また、Elasticsearchについてのツイート情報を閲覧できるKibanaダッシュボードをこちらで公開しています。以下のパスワードでログインするとダッシュボードオンリーユーザーとして閲覧できるはずです。

  • ID: elasticlover
  • password: watchtwitterinfo

Elastic Cloudの環境提供は@johtaniさんです。ご協力、ありがとうございます。提供いただいた経緯はこちらから確認できます。