日記/2018/12/08/Fluentd/Embulkなどデータ,ログ収集系の参考リンクメモ

使い方とか、雰囲気などわかる参考URLのメモです。

• ログ収集ツールの比較 - Qiita
  • https://qiita.com/kazookie/items/eef3071a0667cb4d5136
    • Fluentd, Logstash, Apache Flume, Apache Kafka の紹介。
• ログ収集系の個人的まとめ - Qiita
  • https://qiita.com/zuzu0301/items/d2b46c817d97f330d91d
    • 収集 : Fluentd, Logstash, Apache Flume / 集積 : Elasticsearch, InfluxDB, MongoDB / 解析・ダッシュボード : Tableau, Kibana, Grafana の紹介。

Fluentd関連参考

• 柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
  • https://knowledge.sakura.ad.jp/1336/
• Fluentdとログ収集のパターン - Go ahead!
  • http://repeatedly.github.io/ja/2014/07/fluentd-and-log-forwarding-patterns/
• Fluentdで各サーバからログ収集し、1箇所に集約してS3ログやElasticSearch Serviceに転送 - Qiita
  • https://qiita.com/hayashier/items/b20a909fc94a9579bfa0
• td-agent(Fluentd) を利用したログ収集 - ユニファ開発者ブログ
  • https://tech.unifa-e.com/entry/2017/01/19/194052

Embulk : Fluentdと開発者が同じで、Fluendtがstreamなら、Embulkはbulk転送。

• 【Embulk】使い方あれこれ - Qiita
  • https://qiita.com/da-sugi/items/13d4ead19c86d783ebb4
• Embulkについてまとめてみた　2017/08 - Qiita
  • https://qiita.com/tashiro_gaku/items/f7fa0f1a99c759d947a7
• 大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog
  • https://techlog.voyagegroup.com/entry/2017/07/31/173839
• Embulkの使い方メモ - Qiita
  • https://qiita.com/reflet/items/812d6a5a436862e26f19

なお、Datadog/Mackerel/NewRelic はログ収集ではなくてモニタリングサービス(メトリクス収集など)なので、データ・ログ収集とは全然違う分野のサービス群。
参考：

• モニタリングサービス（Mackerel、Datadog、New Relic）入門！ - Qiita
  • https://qiita.com/uzresk/items/fa58720acbe7672607c9