使い方とか、雰囲気などわかる参考URLのメモです。 - ログ収集ツールの比較 - Qiita -- https://qiita.com/kazookie/items/eef3071a0667cb4d5136 --- Fluentd, Logstash, Apache Flume, Apache Kafka の紹介。 - ログ収集系の個人的まとめ - Qiita -- https://qiita.com/zuzu0301/items/d2b46c817d97f330d91d --- 収集 : Fluentd, Logstash, Apache Flume / 集積 : Elasticsearch, InfluxDB, MongoDB / 解析・ダッシュボード : Tableau, Kibana, Grafana の紹介。 Fluentd関連参考 - 柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ -- https://knowledge.sakura.ad.jp/1336/ - Fluentdとログ収集のパターン - Go ahead! -- http://repeatedly.github.io/ja/2014/07/fluentd-and-log-forwarding-patterns/ - Fluentdで各サーバからログ収集し、1箇所に集約してS3ログやElasticSearch Serviceに転送 - Qiita -- https://qiita.com/hayashier/items/b20a909fc94a9579bfa0 - td-agent(Fluentd) を利用したログ収集 - ユニファ開発者ブログ -- https://tech.unifa-e.com/entry/2017/01/19/194052 Embulk : Fluentdと開発者が同じで、Fluendtがstreamなら、Embulkはbulk転送。 - 【Embulk】使い方あれこれ - Qiita -- https://qiita.com/da-sugi/items/13d4ead19c86d783ebb4 - Embulkについてまとめてみた 2017/08 - Qiita -- https://qiita.com/tashiro_gaku/items/f7fa0f1a99c759d947a7 - 大量データの転送にEmbulkを使ってみたら本当に楽だった - VOYAGE GROUP techlog -- https://techlog.voyagegroup.com/entry/2017/07/31/173839 - Embulkの使い方メモ - Qiita -- https://qiita.com/reflet/items/812d6a5a436862e26f19 なお、Datadog/Mackerel/NewRelic はログ収集ではなくてモニタリングサービス(メトリクス収集など)なので、データ・ログ収集とは全然違う分野のサービス群。 参考: - モニタリングサービス(Mackerel、Datadog、New Relic)入門! - Qiita -- https://qiita.com/uzresk/items/fa58720acbe7672607c9