Elasticlover

Elasticlover

Elastic Stackに関する1週間分のネット情報をまとめるブログです。

今週のElastic News (2018/10/21~2018/10/27)

今週、Elasticについて新たにWEBで観測した情報をまとめます。 (個人的に注目だと感じた記事は太字で紹介しています。)

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. Space Savings: A Lesser Known Benefit of Index Sorting in Elasticsearch | Elastic
  2. Improve Security Analytics with the Elastic Stack, Wazuh, and IDS | Elastic
  3. Elastic App Search: Multi-user Support | Elastic



Elastic Stack Updates

  1. This Week in Elasticsearch and Apache Lucene - 2018-10-19 | Elastic
  2. Keeping up with Kibana: This week in Kibana for Oct 15th, 2018 | Elastic
  3. This Week in Elasticsearch and Apache Lucene - 2018-10-26 | Elastic



USER STORIES

  1. SAP Concur: Elastic Logging as a DevOps Strategy | Elastic



NEWS

  1. Elastic Site Search as a Google Search Appliance (GSA) Replacement | Elastic
  2. Say Heya to the Elastic Search Awards | Elastic



OTHERS

  1. Kibana Plugin API Changes in 6.5 include changes to visualizations response handler, sample data schema, and aggregations. | Elastic



ウェビナー

  1. Caso de uso de Softonic. Migración de un Monolito a Microservicios con Elasticsearch como fuente central de datos (Spanish) | Elastic
  2. Getting Started with the ELK Stack for Logs and Metrics | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け(概説、インストールなど)

  1. 様々なメトリクスやログを集めてシステム解析 - Elastic Stackの入門と活用 - / Getting started Elastic Stack for logging/metrics - Speaker Deck
  2. bmf-tech - DockerでElasticsearchとKibanaの環境構築
  3. Elasticsearch Documents and Mappings - DZone Big Data
  4. Elasticsearch tutorial: a quick start guide | AWS Database Blog
  5. How to delete Elasticsearch Index data with curl - Computingforgeeks



検索、言語別クライアントの実装例

  1. メディアコンテンツ向け記事検索DBとして使うElasticsearch
  2. 社内でElasticsearch勉強会を開いた - ogidowの日記
  3. iridakos - Elasticsearch bucket aggregations and faceted navigation
  4. Elasticsearch 4 Autosuggest – workframers – Medium
  5. Hadi Terim Önerisi Yapalım (Completion Suggester) – Haydar Külekci – Medium
  6. 解决Elasticsearch中文搜索只能搜索单个汉字,不能搜索词语的问题 – 谢邵虎博客
  7. [ElasticSearch] Nori 를 사용한 형태소 분석 :: Geun`s Page
  8. etpblog: Buscador en Symfony2 con ElasticSearch



ログ監視/ログ分析

  1. ELB logs in Elasticsearch | Lambda Fuction – Fernando Diaz – Medium
  2. Send netdata metrics through syslog-ng to Elasticsearch, and visualiz
  3. Система для сбора логов Elasticsearch + Fluentd + Kibana. Как это работает у нас | DOU
  4. 唯品会Dragonfly日志系统的Elasticsearch实践



モニタリング/パフォーマンス監視

  1. Praeco Walkthrough – John Susek – Medium
  2. Take Advantage of Elastic Stack to monitor Liferay DXP - Liferay Community



セキュリティ

  1. GitHub - socprime/soc_workflow_app_ce: SOC Workflow App helps Security Analysts and Threat Hunters explore suspicious events, look into raw events arriving at Elastic stack and view Saved Searches saved by teammates.
  2. Adatbányászat rosszul konfigurált adatbázis szerverekből - Kiberblog



データ分析/データ集計

  • なし



データ投入、可視化

  1. Spark ElasticSearch Hadoop Update and Upsert Example and Explanation – BMC Blogs
  2. How to write Apache Spark data to ElasticSearch using Python – BMC Blogs
  3. Geospatial Information with the Elastic Stack



運用Tips、トラブルシュート

  1. AWS EC2 上に立てた Elasticsearch の データを違う新たにマウントした新ボリュームに移行する方法
  2. Elasticsearchが1ノードでConditionがYellowな時の直し方
  3. Kibana 6.4以前から6.5へのアップデート時の注意点
  4. Elasticsearch Bulk Api for data migration – Craig Godden-Payne – Medium
  5. Lessons Learned from Migrating our Production Elasticsearch Cluster
  6. Highly Available and Scalable Elasticsearch on Kubernetes
  7. ElasticSearch — Index Request Workflow – ilie.simion – Medium
  8. ElasticSearch — Search Request Workflow – ilie.simion – Medium
  9. How we define speed, execution and scale – GO-JEK Product + Tech



関連プロダクト

  1. GitHub - homee-engineering/esdt: Tool for seeding/migrating an Elasticsearch datastore
  2. GitHub - kevinyan815/laravel-elastic: a elasticsearch composer package for laravel5
  3. Elasticsearch for Dot Net Developers - Dot Net Sheff - October 2018 - YouTube
  4. Introducing eth.events – eth.events – Medium
  5. Complementing Cassandra with Elasticsearch – devartis



その他

  1. Aella Data and Elastic Expand Strategic Partnership to Boost Cybersecurity - L.A. Biz



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、こちらから参加ください。

今週のElastic News (2018/10/14~2018/10/20)

f:id:j__yama:20181021162747p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週は

  • Elasticsearchの運用に関する典型的な4つの誤解を紹介する公式ブログ
  • Elastic Stackアップデート時のTipsを紹介するウェビナー
  • 第25回Elasticsearch勉強会「検索編」の発表内容
  • クラシルでの辞書シノニムの管理方法
  • Dejavu2.0のリリース

などが注目の内容だと思います。

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. Elasticsearchの運用に関する典型的な4つの誤解 | Elastic
  2. Inside the Elastic APM Go Agent | Elastic
  3. Efficient Duplicate Prevention for Event-Based Data in Elasticsearch | Elastic



Elastic Stack Updates

  • なし



USER STORIES

  1. Perform Feeds: Using the Elastic Stack to Improve the API Client Experience | Elastic



NEWS

  • なし



ウェビナー

  1. Expert Tips When Upgrading the ELK Stack | Elastic
  2. Manage Elasticsearch Clusters at Scale with ECE 2.0 | Elastic



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け(概説、インストールなど)

  1. ElasticSearchの用語が覚えられないのでまとめた
  2. elasticsearch+kibana、Fluentdから使用用途でインストールしてみた
  3. ElasticSearch — the basics – Ilie Simion – Medium
  4. Elasticsearch Documents and Mappings | Logz.io
  5. ElasticSearch Commands Cheat Sheet – BMC Blogs
  6. Technology Focus: Elasticsearch - Realm Digital
  7. Promo - ElasticSearch, LogStash, Kibana # 1 - Learn All About LogStash Data Ingestion Tool - YouTube
  8. A Guide to Transforming an Excel Spreadsheet with Web App Development | Mobile App and Software Development in Birmingham, West Midlands
  9. Exploring Elasticsearch with Docker
  10. Introdução ao Elasticsearch com Kibana - YouTube



検索、言語別クライアントの実装例

  1. Elasticsearchのanalyzerを試した
  2. minne での検索改善の歴史 - Speaker Deck
  3. query_stringのはなし / how to use query string - Speaker Deck
  4. 第25回Elasticsearch勉強会「検索編」 に参加してきました。 - Above & Beyond
  5. 辞書シノニム管理の運用 - dely engineering blog
  6. Elasticsearch analyzers – Mateus Forgiarini da Silva – Medium
  7. I Built an Elasticsearch Autocomplete – Ben Awad – Medium
  8. Powering Search and Discovery at VICE – vicetech – Medium
  9. How to create a maintainable and scalable search for your Ruby on Rails app - CookiesHQ
  10. Uczymy się Elasticsearch #009: zaczarowany zakreślacz - Programista Na Swoim



ログ監視/ログ分析

  1. How we centralized our logs using ELK stack – Ravi Varma Kottapalli – Medium
  2. Drowning in Logs – comhemtechblog – Medium
  3. A happy guide to log docker with elasticstack – Vannesa Chan – Medium
  4. 2018-10-16 Elasticsearch in Softonic - Speaker Deck
  5. ELK, Serilog ve .Net Core ile merkezi loglama sistemi
  6. EFK (Elasticsearch + Fluentd + Kibana) или как мы логи собираем



モニタリング/パフォーマンス監視

  1. Ingest Azure Redis Cache messages into Elasticsearch, Logstash and Kibana cluster deployed in Azure Kubernetes Service (AKS) – Application design and programming in .NET
  2. Monitoring Docker Containers with Elasticsearch and cAdvisor | Web Code Geeks - 2018



セキュリティ

  • なし



データ分析/データ集計

  1. 適当な日本語文章を形態素解析し、英語に翻訳して音声読み上げさせる
  2. 六花亭製菓が製造工場にIoTを試験導入製造ラインの故障をAIで予知する実証実験の実施 | 2018年度 | ニュース | NTTテクノクロス株式会社



データ投入、可視化

  • なし



運用Tips、トラブルシュート

  1. Elasticsearchを更新したら動かなかったときの話 | masterpeace21
  2. ElasticSearch Service Manual Snapshot and Restore – Sagar Patil – Medium
  3. Deploying Elastic Search, Fluentd, Kibana on AKS with Helm
  4. Modify Elasticsearch mappings and settings without downtime
  5. Elasticsearch için JVM Ayarları için Genel Bilgileri



関連プロダクト

  1. How to Make Complex Queries on a Blockchain – CodeChain – Medium
  2. Elasticsearch For Cryptogoods and NFTs – pixura – Medium
  3. Using the NetApp Unified Manager REST API to send metrics to Elastic Stack
  4. Introduction : Amazon Elasticsearch Service – Taehoon Koo – Medium
  5. Getting started with Amazon Elasticsearch Service – Taehoon Koo – Medium
  6. GitHub - homee-engineering/esdt: Tool for seeding/migrating an Elasticsearch datastore
  7. GitHub - uswitch/elastic-log-lag: Calculates the log lag on Elasticsearch indexes
  8. The world needs a HERO! - Workload Automation Community
  9. GitHub - Mirocow/yii2-elasticsearch-log: Elasticsearch log storage module
  10. The quest for minimalism – Don's Blog
  11. Kubernetes-backed AWS Users Can Now Access Elasticsearch Logs from their Qbox Dashboards
  12. Lumen: Custom, Self-Service Dashboarding For Netflix
  13. GitHub - mixer/elasticqueue
  14. Dejavu 2.0, the open source browser by ElasticSearch, now lets you build search UIs visually | Packt Hub
  15. DevOps Chat: CHAOSSEARCH New Spin on Big Data Analysis - DevOps.com
  16. Deploying Elasticsearch on Oracle Cloud Infrastructure Using a Terraform Template | IaaS Blog - Oracle Cloud Infrastructure News
  17. GitHub - kokes/esviewer.js: search through your elasticsearch index without having to install anything
  18. Een verbeterde WordPress zoekfunctionaliteit met Elasticsearch - Pronamic



その他

  1. Enterprise Search Is More About Vision Than Technology



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/10/07~2018/10/13)

f:id:j__yama:20181014170604p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週は

  • 技術書展5で頒布された書籍の情報
  • 来週Elasticsearch勉強会が開催されること
  • Kibana Canvasの公式導入記事
  • FitMetrixの個人情報を大量に含むElasticsearchクラスタが認証なしで誰にでもアクセス可能な状態になっており、ランサムウェア被害に遭っていた事件を伝える記事

などが注目の内容だと思います。

公式ブログ

RELEASES

  • なし



ENGINEERING

  1. Designing for Change in Elastic Machine Learning | Elastic
  2. Getting Started with Canvas in Kibana | Elastic



Elastic Stack Updates




USER STORIES

  • なし



NEWS

  • なし



ウェビナー

  • なし



その他ブログ記事など

Elastic公式情報以外の記事はカテゴリ別に分類して紹介しています。分類の基準が気になる方は「このブログについて」を参照ください。

初心者向け(概説、インストールなど)

  1. MySQLとElasticsearchを連携して検索を高速化 - JavaScript勉強会
  2. ELK Stack from 0 to 80 in 15 minutes – Basavaraj Kodgalli – Medium
  3. Build valuable business analytics for medicine and health digital services
  4. ELK STACK: A Perfect Guide for Log Analysis | BluePi Blogs
  5. How to Setup Elasticsearch on Ubuntu 18.04 & 16.04 LTS – TecAdmin



検索、言語別クライアントの実装例

  1. Elasticsearch の CRUD (Ruby)
  2. Elasticsearch の CRUD (PHP)
  3. PythonでElasticSearchのSearch APIを使って検索するときのめも
  4. マストドンの全文検索に形態素解析器 Sudachi を導入 - クラゲ丼
  5. What should be the value of max_gram and min_gram in Elasticsearch?
  6. Elasticsearch For .NET Developer : What and Why Elasticsearch ?
  7. Elasticsearch 의 한국어 형태소 분석기 Nori, 우리 회사에 적용해 볼 수 있을까?



ログ監視/ログ分析

  1. Analyze Custom Logs Using ELK – Sajith vijesekara – Medium
  2. Configuring Fluent Bit on VKE for AWS Elasticsearch - Cloud-Native Apps



モニタリング/パフォーマンス監視

  1. Elasticsearch+Kibanaでサーバメトリクスの可視化をする
  2. Watching/Alerting on Real-Time Data in Elasticsearch Using Kibana and SentiNL - DZone Big Data



セキュリティ

  1. Azure Kubernetes Service (AKS): Azure AD SAML based Single Sign on to secure Elasticsearch...
  2. CF Camp 2018: JVM Security Management and Elasticsearch - TeraTech
  3. FitMetrix exposed millions of customers'​ records in a passwordless database



データ分析/データ集計

  1. ElasticSearch For Analytics – Aishwarya Parthasarathy – Medium
  2. Word Embeddings and Document Vectors: Part 2. Order Reduction
  3. The Stanford Question Answering Dataset in Elasticsearch
  4. Analyze Elasticsearch Data in R - DZone Big Data



データ投入、可視化

  1. Embulkを活用してAmazon Elasticsearch Serviceへデータを同期させた話 - WILLGATE tech blog
  2. Elasticsearch と Kibana で遊んでみたよ - mattintosh note
  3. ElasticSearchとkibanaにLogstashをインストールしデータを入れてみた。 | なかしんのWork Recode Log
  4. kibanaでtweetログをグラフ化してみた。 | なかしんのWork Recode Log
  5. ElasticSearch に Bulk Insert をする - toohskの日記
  6. Movin’ Data is a Dream – Shaadi Squad – Medium
  7. Filtering events by date in Logstash – Kobi Rosenstein – Medium
  8. Enrich and transform data in ElasticSearch using Ingest Nodes
  9. Logstash 修改 output elasticsearch 的 Data type | Mr. 沙先生



運用Tips、トラブルシュート

  1. Elasticsearchに実際に書き込むテストなんかで「indexへの反映に時間がかかって困る〜〜」って時 - その手の平は尻もつかめるさ
  2. Quickbooks Search Platform — Our Journey to AWS – QuickBooks Engineering
  3. Provisioning large search server farms in 30 minutes (or sowith Ansible
  4. Kubernetes: Elasticsearch Scheduled Backup and Retention Using Curator - A D Vishnu Prasad
  5. Elasticsearch shard allocation algorithm - High Performance computing



関連プロダクト

  1. VPC内に置いたElasticsearch Serviceに Docker のプロキシ経由でアクセスする
  2. Deploying a secured Flink cluster on Kubernetes – Adaltas – Medium
  3. Search APIs — Elasticsearch vsAlgolia… – sami jan – Medium
  4. GitHub - CypressXt/AppleMusic-Elastic: AppleMusic Activity GDPR file to Elasticsearch
  5. Knowledge Graph Search with Elasticsearch and Neo4j
  6. AWS Cost Explorer’s Reserved Instance Reports now Support Amazon Elasticsearch Reservations
  7. Complete Backend Solution VS Backend Framework
  8. elasticquerybuilder | RubyGems.org | your community gem host
  9. GitHub - ankane/blazer: Business intelligence made simple
  10. สร้าง Microservice + Elasticsearch ด้วย Spring Boot + Spring Data
  11. Как создать в elasticsearch несколько типов через Spring Data? | DOU



その他

  1. Jun Ohtaniさんのツイート: "そういえば、来週やります。来週は日経さんの会場をお借りして検索のお話です! / 第25回Elasticsearch勉強会「検索編」 #elasticsearchjp | Meetup - https://t.co/BuEEvp85yo"
  2. 技術書典5でElasticsearch本を販売しました! - Taste of Tech Topics
  3. 技術書典5 Elasticsearch入門本で参加してきました! 赤裸々収支報告あり。 – Pokosho!
  4. 検索技術を手がけるElasticがIPO - ZDNet Japan
  5. Elastic's Soaring IPO Stretches Valuation to $4.9 Billion - Bloomberg
  6. The Rise of Elastic Search can Challenge Google – FutureSin – Medium
  7. Zoeksoftware om verliefd op te worden - NRC
  8. Searching for Success? Elastic Found It – Memory Leak – Medium
  9. The economy of Open Source Software – Linnovate
  10. Quick and dirty Google Search Appliance Replacement



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/09/30~2018/10/06)

f:id:j__yama:20181007153404p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

今週は

  • ElasticのNYSEへのIPO
  • Elastic Stack 6.4.2のリリース
  • 技術書展5で頒布される書籍の情報

などが注目の内容だと思います。

なお、Elastic公式情報以外の記事は以下のような分類で紹介しています。

(既にご存知の方や興味ない方はスルーしてください。)

  • 初心者向け(概説、インストールなど)
    • Elastic Stackのプロダクト自体や特有の概念を説明するような記事、インストール方法を紹介する記事など
  • 検索、言語別クライアントの実装例
    • 検索用途の内容や言語別のクライアントライブラリの実装例など
  • ログ監視/ログ分析
    • ログデータを投入し、監視や分析を行う記事など
  • セキュリティ
    • SSL/TLS対応やセキュリティ監視/分析目的でElastic Stackを使う記事など
  • データ投入、可視化
    • データ形式によらずElasticsearchにデータを投入し、Kibanaで可視化をするような記事など
  • 事例共有
    • 何らかのプロダクトでどのようにElastic Stackを活用しているかという記事など
    • 言うなればどの記事でもそうみなせるので、将来的に消える可能性大
  • 運用Tips、トラブルシュート
    • 運用時に役立つTipsや障害時の対応の仕方など
    • スナップショットとリストア、データ保存期間などの内容を含みます
  • 関連プロダクト
    • Elasitc Stackと一緒に使える他社製による関連プロダクトなど
      • Elastic Stackを提供するSaaS
      • 運用時に役立つOSSツール
    • また、他社のプロダクトにElastic Stackが内部的に含まれている事例の紹介も含みます
  • その他
    • これまでの分類に含まれないもの

公式ブログ

RELEASES




ENGINEERING

  1. Crawl, Code, Search: Elastic Site Search and Elastic App Search | Elastic



Elastic Stack Updates

  • なし



USER STORIES

  1. Elasticsearch and RightMove: Mapping Out Your New Home With Search | Elastic



NEWS

  1. Ze Bell Has Rung: Thank You Users, Customers, and Partners | Elastic



ウェビナー

  1. Scale with Confidence | Elastic



その他ブログ記事など

初心者向け(概説、インストールなど)

  1. Elasticsearchコマンド集
  2. Elasticsearch の使い方
  3. Ubuntu 18.04 に Elasticsearch をインストール
  4. Elasticsearch, search power at your fingertips! – Antonello Calamea – Medium
  5. Install Elasticsearch on Ubuntu 18.04.1 - DZone Big Data
  6. Elasticsearch (R)Evolution — You Know, for Search... - Speaker Deck
  7. Usar Elasticsearch, ¿qué ventajas ofrece esta tecnología?
  8. Aula1-Apresentação do ElasticSearch, Kibana e Nest - YouTube



検索、言語別クライアントの実装例

  1. Elasticsearchで現在時刻を基準に範囲検索する
  2. ElasticSearchの正規表現検索が意図に沿わなかった
  3. Elasticsearch へのデータ投入
  4. Elasticsearchでフィールド有無検索
  5. eCommerace with Elasticsearch – Hacker Noon
  6. Storage Performance Aftermath - ElasticSearch Joins the Fight
  7. Working With Nested Aggregates Using NEST and Elasticsearch
  8. Elastic Stack-Elasticsearch使用介绍(三) – 技术成就梦想
  9. 干货 | Elasticsearch Nested类型深入详解



ログ監視/ログ分析

  1. ELK STACK ON WINDOWS SERVER — PART 1 — INTRODUCTION
  2. Load testing with Taurus/Jmeter and logging the results to ElasticSearch
  3. Configuring Fluentbit on VKE for AWS Elasticsearch - VMware Cloud Community
  4. Visualize your chatbot logs – ELK Stack with Business Bot Platform – Citunius Blog
  5. EFK(Elasticsearch, Fluentd, Kibana) on AKS (Azure Kubernetes Service)
  6. The rabbit-hole of log parsing: istio-proxy sidecar log routing and parsing with fluent-bit – Don's Blog
  7. Log Analysis Pipelines in Elastic Stack – Thejan Rupasinghe – Medium



セキュリティ

  1. X-Pack Monitoring Setup | Search Guard | Security for Elasticsearch
  2. Sinkholing - Face the Threat, Beat the Threat | Part I - You gotta ban ‘em all! | Showmax Engineering



データ投入、可視化

  • なし



事例共有

  • なし



運用Tips、トラブルシュート

  1. ElasticSearchでjava.lang.OutOfMemoryErrorのエラーが出た対応 - デベロッパー・コラボ
  2. ElasticSearchがmemory lock failed と言ってきたメモ
  3. Elasticsearch : How to rename a field
  4. Elasticsearch — Now And Then (Part 2) – MoEngage – Medium
  5. How to resolve unassigned shards in Elasticsearch – Pal Qic – Medium
  6. Garbage Collection in Elasticsearch and the G1GC – Naukri Engineering – Medium
  7. Key metrics for Elasticsearch performance monitoring  - ManageEngine Blog
  8. [Kubernetize] Upgrade to Elasticsearch+Kibana 6 – DevSpree – Medium
  9. Operating at scale with Elastic Search in production by Subramaniajeeva Kandasamy at #ODSC_India - YouTube
  10. Vitaliy Kharytonskiy "Surviving Elasticsearch" - YouTube
  11. OSBConf 2018 | Restore and Backup Elasticsearch Indices by Daniel Neuberger - YouTube



関連プロダクト

  1. Zabbixオフィシャル日本語サイト :: エンタープライズクラスの分散監視オープンソースソリューション
  2. GitHub - vktr/blaze: A blazing fast exporter for your Elasticsearch data.
  3. GitHub - cloud-partners/oci-elasticsearch: Terraform module to deploy an Elasticsearch Cluster on Oracle Cloud Infrastructure (OCI)
  4. GitHub - Amine-Smahi/ElasticCore: Logging with ElasticSearch, Kibana, .NET Core 2.1 web api and Serilog
  5. GitHub - socprime/SigmaUI: SIGMA UI is a free open-source application based on the Elastic stack and Sigma Converter (sigmac)
  6. Mock elasticsearch with mock-server – Thomas Decaux – Medium
  7. Announcing Early Access Program for Elasticsearch on the Instaclustr Managed Platform - Instaclustr
  8. Indexing into Elasticsearch using Spark — code snippets
  9. How an Elasticsearch Cluster Fits in with a NetEye Cluster | www.neteye-blog.com
  10. Redis 5 gets a date - NewsBits from Compose - Compose Articles
  11. Aws cost optimized logging using api gateway, sqs and elastic search
  12. Katyucha - Graylog/Elasticsearch : Supprimer des documents



その他

  1. 技術書展5関連
  2. IPO関連
  3. 定番BIツールElactickStack最新版解説書!『Elastic Stackで作るBI環境 バージョン6.4対応版』発行 技術書典シリーズ・10月の新刊    |株式会社インプレスホールディングスのプレスリリース
  4. IPO申請したElasticに学ぶオープンソース x SaaSの成長戦略|決算が読めるようになるノート
  5. My Elastic Journey: Lessons for a Lifetime
  6. Elastic -- The Evolution of Open Source by Mike Volpi | Index Ventures
  7. 重磅 | 死磕Elasticsearch方法论认知清单(国庆更新版)



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/09/16~2018/09/22)

f:id:j__yama:20180924163132p:plain

今週、Elasticについて新たにWEBで観測した情報をまとめます。

これまで、その他ブログ記事は

  • 日本語
  • 英語
  • 日本語、英語以外

といった3分類でまとめていましたが、ほぼ意味のない分類になっていたので、これからは以下のような分類に変更します。(これからも都度見直していきます。)

  • 初心者向け(概説、インストールなど)
    • Elastic Stackのプロダクト自体や特有の概念を説明するような記事、インストール方法を紹介する記事など
  • 検索、言語別クライアントの実装例
    • 検索用途の内容や言語別のクライアントライブラリの実装例など
  • ログ監視/ログ分析
    • ログデータを投入し、監視や分析を行う記事など
  • セキュリティ
    • SSL/TLS対応やセキュリティ監視/分析目的でElastic Stackを使う記事など
  • データ投入、可視化
    • データ形式によらずElasticsearchにデータを投入し、Kibanaで可視化をするような記事など
    • 外部DBとElasticsearchでデータシンクをする内容も含みます
  • 事例共有
    • 何らかのプロダクトでどのようにElastic Stackを活用しているかという記事など
    • 言うなればどの記事でもそうみなせるので、将来的に消える可能性大
  • 運用Tips、トラブルシュート
    • 運用時に役立つTipsや障害時の対応の仕方など
    • スナップショットとリストア、データ保存期間などの内容を含みます
  • 関連プロダクト
    • Elasitc Stackと一緒に使える他社製による関連プロダクトなど
      • Elastic Stackを提供するSaaS
      • 運用時に役立つOSSツール
    • また、他社のプロダクトにElastic Stackが内部的に含まれている事例の紹介も含みます
  • その他
    • これまでの分類に含まれないもの

公式ブログ

RELEASES

  1. Elastic Stack 6.4.1 Released | Elastic



ENGINEERING

  1. Introducing the Analytics API Suite in Elastic App Search | Elastic



Elastic Stack Updates

  1. Keeping up with Kibana: This week in Kibana for September 17, 2018 | Elastic
  2. This Week in Elasticsearch and Apache Lucene - 2018-09-21 | Elastic



USER STORIES

  1. Signal’s Elastic Journey: Scaling a Cluster to get a reliable 24/7 environment | Elastic
  2. Zero Downtime during Elasticsearch and NEST Upgrades for Microsoft Azure DevOps Search | Elastic



ウェビナー、勉強会動画

  1. Secure Your Amazon Elasticsearch Service Domain | AWS Online Tech Talks
  2. How to Integrate Natural Language Processing and Elasticsearch for Better Analytics | AWS Online Tech Talks
  3. Comment debuter avec Elastic Stack, par Jean Luc Koffi



その他ブログ記事など

初心者向け(概説、インストールなど)

  1. さくらVPS の CentOS7 サーバに Elasticsearch 6.4 と kibana をインストールしてみる - デベロッパー・コラボ
  2. Logstashを試してみる(Docker) - sakutarou’s blog
  3. さくらVPS の CentOS7 サーバに Elasticsearch 6.4 と kibana をインストールしてみる - デベロッパー・コラボ
  4. ElasticsearchのデフォルトMapping Typeを定義する - ネットワークエンジニアのアレ
  5. ElasticSearchコマンドメモ
  6. Elastic Stack 入門 2018.09 / Getting started Elastic Stack 2018.09 - Speaker Deck
  7. Elasticsearchを触りながら調べたことのメモ - 血と汗となみだを流す
  8. 初心者のためのElasticsearchその2 -いろいろな検索- | Developers.IO
  9. Install Elasticsearch on Ubuntu 18.04.1 - DZone Big Data
  10. WORKetc Feeling Sluggish? Here’s the Solution! : WORKetc Business Management Software | CRM, Project Management, Billing
  11. Complete ElasticSearch with Hadoop, Hive, Pig, LogStash, MapReduce and Kibana by DatasharkAcademy - YouTube
  12. How to install Elasticsearch on CentOS 7? - OSRadar
  13. Начало работы с Elasticsearch – RK – Medium
  14. 【原创】elasticsearch入门 – 技术成就梦想



検索、言語別クライアントの実装例

  1. Amazon Elasticsearch ServiceにRailsからアクセスしたとき400エラーが起きる
  2. Integrate full text search service with Django - slideship.com
  3. ゼロベースからPHP 7.2 + Elasticsearch 6.2 を使って検索機能をリリースするまで - GameWith Engineering Blog
  4. Christophe Bismuthさんのツイート: "If you're looking for an #Elasticsearch debug entry point when sending HTTP commands, see o.e.a.s.TransportAction#execute 😉… https://t.co/UXPkMmBFVD"
  5. Full Text Search in Elasticsearch and Understanding of Analyzer
  6. From Hackfest to Production, Integrating with Elasticsearch
  7. How to use Java High Level Rest Client with Spring Boot to talk to AWS Elasticsearch
  8. Creating Elastic Search Mapping in Golang – Morifeoluwa Jebutu – Medium
  9. Elasticsearch: introduction, implementation and example
  10. Ordering results in ElasticSearch by the order in which ids are provided
  11. Build an Autocomplete widget with React and Elastic Search
  12. Building the Potterverse search engine – Arpit – Medium
  13. Integrating Search Capabilities with Actions for Google Assistant, using GKE and Elasticsearch: Part 1 | Programmatic Ponderings
  14. Using SQL with ElasticSearch | Old dog, New tricks
  15. 3 methodes voor zoeken in Moodle - Moodlefacts.nl



ログ監視/ログ分析

  1. Kubernetes Logging and Monitoring: The EFK Stack — Part 2: Elasticsearch Configuration - DZone Performance
  2. Centralized Logging for Ballerina Applications Running in Kubernetes Using EFK Stack
  3. Centralizing logs at Naukri.com with Kafka and ELK stack
  4. Getting started with EFK (Fluent Bit, Elasticsearch and Kibana) stack in Kubernetes



セキュリティ

  1. Elasticsearch and GDPR - Blog | Eivind Arvesen
  2. johest: Elasticsearch: Mein kleines Setup (+SSL)
  3. OSINT tool for visualizing relationships between domains, IPs and email addresses.



データ投入、可視化

  1. Kibana Canvas(Technical Preview版)を触ってみた
  2. Time-Based Indexing in Elasticsearch Using Java - DZone Java



事例共有

  1. 「JDDStudy #3 最新DevOps事例勉強会!」に参加してきた!! - Opensourcetechブログ
  2. Elasticsearch at MoEngage — Now And Then (Part 1) – MoEngage – Medium
  3. Analyzing media assets using AI, Elasticsearch, and Cloudian HyperStore | Cloudian



運用Tips、トラブルシュート

  1. Elasticsearch の バージョンアップ(備忘録)
  2. Amazon Elasticsearch Service × kibanaでindex復元エラー:cannot restore index [.kibana] because it's open
  3. HOW TO CREATE SNAPSHOTS OF ELASTICSEARCH CLUSTER DATA AND RESTORE – Linux_Point



関連プロダクト

  1. Amazon Elasticsearch Service で Elasticsearch ノード間の暗号化通信がサポート可能に
  2. crowiをアップデートする(1.6.2 -> 1.7.0)
  3. Elasticsearch + Logstash で採取したNetFlowをダンプしてみた
  4. AxonOps - digitalis.io
  5. Bootstrapping StreamingPhish to Bro DNS Logs in RockNSM
  6. GitHub - mpucholblasco/s3logsbeat: S3 Logs imported into ElasticSearch
  7. GitHub - paq85/kibana-proxy: Makes it possible to use AWS Elasticsearch provided Kibana that's available only inside the VPC
  8. 1.4.0 Release Notes | Loud ML Reference [1.4] | Loud ML
  9. Crear una Red Neuronal con Spark MLlib | adictosaltrabajo
  10. Materializing Aggregate Views With Hibernate and Debezium
  11. GitHub - StaySense/fast-cosine-similarity: Fast cosine similarity (vector scoring) ElasticSearch 6.4+ Plugin



その他

  1. 技術書展5でElasticsearchとBFFの頒布を行います! - てくすた
  2. Does data center location matter for Elasticsearch? | ObjectRocket
  3. Philipp Krennさんのツイート: "Elasticsearch and Kibana switched to GitHub's standardized "help wanted" and "good first issue" labels today. Another small step to make contributions a little easier https://t.co/X6U1zSaVFV"



今週は以上です。

分類はこうした方が良いんじゃない?など意見あればアドバイスください!

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/09/09~2018/09/15)

f:id:j__yama:20180916165601p:plain

先週は帰省したりしてプライベートが忙しかったのでお休みでした!

今週、Elasticについて新たにWEBで観測した情報をまとめます。

公式ブログ

ENGINEERING

  1. How We Handle Pull Requests at Elastic | Elastic
  2. Elastic APM Node.js Agent: Now with Restify Instrumentation | Elastic
  3. Temporal vs. Population Analysis in Elastic Machine Learning | Elastic
  4. Task Management with the NEST Elasticsearch .NET Client | Elastic
  5. ActiveRecord to Repository, Changing Persistence Patterns with the Elasticsearch Rails Gem | Elastic
  6. Introducing Multi-language Engines in Elastic App Search | Elastic



USER STORIES

  1. Rabobank: Enhancing the Online Banking Experience with Elasticsearch | Elastic



Qiita

  1. Elasticsearchでindexを再作成しながらfieldを変更する手順
  2. ELKスタックに入門してみた
  3. ElasticSearchを利用したjavaアプリの状態監視(準備編)
  4. Mac OS X上にてELKスタック構築及びJAVAによるログをElasticSearchに出力(log4j2)
  5. AWS AppSyncでElasticsearchから検索結果とtotal件数を取得するresponse mapping template.



公式ウェビナー

  1. El Stack Elastic en el mundo DevOps (Spanish) | Elastic
  2. Using the Elastic Stack for Application Performance Management | Elastic

その他ブログ記事など

日本語

  1. Windowsのログ管理ツールをJPCERT/CCが公開、サイバー攻撃の挙動調査に役立つ:Windows用ツールを分かりやすくする - @IT
  2. bugs.ruby-lang.org で Elasticsearch を使うのをやめた - HsbtDiary(2018-09-14)
  3. SaaS提供で爆発的に成長!「日経」「Uber」も活用する「Elasticsearch」提供会社が新規上場 | Stockclip



英語

  1. Setup Highly Available EPK stack with Fluentd in GCP | ElasticSearch , Pub/Sub and Kibana
  2. Looking for Q: Level up logs and ELK - Logging best practices with Logback
  3. kafka elastic search consumer – Sithija Thewahettige – Medium
  4. Elasticsearch: Building Autocomplete with Go (Completion Suggester)
  5. Elasticsearch Explained wrt Relational Database – Sammy – Medium
  6. Kibana Overview – Sammy – Medium
  7. Elasticsearch -Why and How – Andrea Gioco – Medium
  8. MongoDB Elasticsearch Tutorial | Examples Java Code Geeks - 2018
  9. TDS event presentation – SI4T based Elasticsearch Integration for SDL Tridion Web 8+ with DXA 2.0 - Tridion community feed - Tridion Sites Developers - SDL Community
  10. Elasticsearch - under the hood
  11. Running elasticsearch cluster on spot instances – Engineering @ Housing/Proptiger/Makaan – Medium
  12. Using the Attunity AEM REST API to send metrics to Elastic Stack
  13. Elasticsearch fails to start: access denied "/etc/elasticsearch/${instance}/scripts"
  14. Machine learning, advanced search boosts cybersecurity - FederalNewsRadio.com
  15. Hinemos研究日記/Hinemos Tech Diary » Blog Archive » Sending Monitor Results to Elasticsearch
  16. Sample Query with Elasticsearch [6.4] – nami oyamada – Medium
  17. CodeChainさんのツイート: "To build a block explorer, you need an indexer of the data stored on the blockchain. #CodeChain indexer uses #elasticsearch and on top of it, we have built our block explorer. - Husky testnet explorer: https://t.co/FepIfCc1Gz - CodeChain-indexer: https://t.co/AIoeIxZ1Pc"
  18. Johan Louwers - Tech blog: Oracle Cloud - Elastic Search set number of replicas for shards
  19. Instalar Elasticsearch en Centos 7 - ochobitshacenunbyte
  20. Looking for Q: Level up logs and ELK - ElasticSearch Replication Factor and Retention - VRR Estimation Strategy
  21. Kubernetes Logging and Monitoring: The Elasticsearch, Fluentd, and Kibana (EFK) Stack - Part 1: Fluentd Architecture and Configuration - Platform9
  22. Notes on search autocomplete – Pere Urbon-Bayes – Medium
  23. Elastic IPO | S-1 Breakdown – Alex Clayton – Medium
  24. Grafana elasticsearch 应用 – 技术成就梦想
  25. Increasing the usefulness of your Kubernetes Ingress logging – Don's Blog
  26. Taming Your Data With Elasticsearch - Madison PHP - Speaker Deck
  27. 03. Installation of Graylog server and an Elasticsearch server part1 || Graylog - YouTube
  28. Elasticsearch: introduction, implementation and example - Plava tvornica
  29. Analyze Nginx logs with ELK stack - Logstail
  30. Home — Helping Patreon Employees find things – art/work -behind the scenes at patreon
  31. Wondering how to get Elasticsearch and Firebase’s Firestore to play nice?
  32. Elasticsearch Snapshot on S3-Repository – Hariom Vashisth – Medium
  33. Elasticsearch Data Migration – Hariom Vashisth – Medium
  34. Make Your Data FABulous - Speaker Deck
  35. rsyslog => elasticsearch logging : devops



日本語、英語以外

  1. ELK Stack Web Access Log Aggregation — Örnek Bir Uygulama
  2. [เริ่มต้น] ลองเล่น Elasticsearch ผ่าน Kibana Dev Tools
  3. ELK 升級版本 6.4.0 – Sam Xiao – Medium
  4. Elastic Stack-Elasticsearch使用介绍(二) – 技术成就梦想
  5. Monitoring API performance with Grafana & Elasticsearch
  6. Grafana elasticsearch 应用 – 技术成就梦想
  7. Elasticsearch Süresi Dolmuş Lisans Problemi – Haydar Külekci – Medium
  8. Vitaliy Kharytonskiy "Surviving Elasticsearch" | Highload fwdays'18 - Track A - YouTube



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover

今週のElastic News (2018/08/26~2018/09/01)

今週、Elasticについて新たにWEBで観測した情報をまとめます。

公式ブログ

RELEASES

  1. Elastic APM RUM JS Agent is Generally Available | Elastic
  2. Elastic APM Go Agent 0.5.0 Released | Elastic



ENGINEERING

  1. Azure Cloud Monitoring with the Elastic Stack | Elastic



Elastic Stack Updates

  1. Keeping up with Kibana: The week of August 13, 2018 | Elastic
  2. Brewing in Beats: DNS reverse lookup processor | Elastic
  3. Logstash Lines: Improve CEF and Netflow codecs | Elastic



USER STORIES

  1. OTTO Motors: Using the Elastic Stack to Expand the IoT Landscape | Elastic
  2. 「Elastic認定エンジニア」に聞く | Elastic



Qiita

  1. Elasticsearch 6.2.4 で More Like This Query を利用する際にデータを絞り込む
  2. Elasticsearchの概要
  3. ElasticsearchのAPI



その他ブログ記事など

日本語

  1. ElasticStack 6.4がリリースされました! - Taste of Tech Topics
  2. Redmine のチケットを取得して Elasticsearch に登録するPythonスクリプトを作ってみた - Curious IT
  3. 「Elasticsearch実践ガイド」を読んだ - 理系学生日記



英語

  1. Celebros Announces Celastic, a New Plugin for Elasticsearch
  2. Docker + Fluentd + Elasticsearch logging – Don's Blog
  3. Create a Multiuser GraphQL CRUD(L) App in 10 minutes with the new AWS Amplify CLI (and, in a few…
  4. Elasticsearch: Anatomy of a Search
  5. Introduction to Elasticsearch - YouTube
  6. Elasticsearch Geo-Shape Slow Indexing Performance – Solved | Technology Source
  7. 02 - How to visualize and analyze AWS VPC Flow Logs using Elasticsearch and Kibana - YouTube
  8. Data Analytics on Application Events and Logs Using Elasticsearch, Logstash, and Kibana - DZone Big Data
  9. Building time-based Elasticsearch indices to perform downtime-free maintenance operations
  10. Elasticsearch installation and REST APIs tutorial on Linux | ELK | Online Training - YouTube
  11. TIND 1.6 is released: acquisitions, serials, elasticsearch
  12. From Zero to Hero, MultiModel & Autocompletion Search with Elasticsearch & Rails
  13. Captain’s Log: Container Native Logging with the EFK Stack | CloudNative Blog
  14. Full Featured Development Logging With Docker Compose, Fluentd, Elasticsearch, and Grafana
  15. What does the significance of Centralised Logging for your Organisation?
  16. ElasticSearch sort by manual/input order – Tensult Blogs – Medium
  17. Build an ElasticSearch on AWS – YINLCHEN – Medium
  18. Elasticsearch: The Beginner’s Cookbook – Animesh Agarwal – Medium
  19. Learning to install Elastic Search on Linux (and failing at it)
  20. A detailed comparison between autocompletion strategies in ElasticSearch
  21. Managing Elasticsearch in Django like a pro – Harsh Bhimjyani – Medium
  22. VimeoHow to use Elasticsearch, Logstash, and Kibana to manage logs



日本語、英語以外

  1. Uczymy się Elasticsearch #007: przygotowanie tekstu do optymalnego wyszukiwania - Programista Na Swoim
  2. Использование Elasticsearch | Losst
  3. ¿Qué es y cómo funciona Elasticsearch? - ochobitshacenunbyte
  4. Elastic Stack komplett aus der Cloud
  5. Ajouter des résultats à une recherche effectuée avec Search API et ElasticSearch sur Drupal 8 | Flocon de toile
  6. Elasticsearch v6 - Part 1 – Ali Kızıldağ – Medium
  7. Elasticsearch 시작하기 – Jiha Song – Medium
  8. Upgrade sem degradação do cluster de Elasticsearch – thiagobarradas – Medium
  9. Por que usamos elasticsearch para buscas? – TechBlogHotmart – Medium
  10. 干货 | 论Elasticsearch数据建模的重要性



先週の漏れ

  1. fluent-plugin-elasticsearchのHTTPバックエンドを切り替えられるようにするには - ククログ(2018-08-21)



今週は以上です。

最新の情報を収集したい方向けに、情報収集に使用しているDiscordチャンネルを公開しています。ご興味ありましたら、是非とも参加ください。

Elasticlover