Splunk是業(yè)界赫赫有名的數據分析工具，比較擅長(cháng)BI和安全日志分析，我司很多部門(mén)都有購買(mǎi)其產(chǎn)品和服務(wù)。最近有個(gè)需求要把Splunk和分布式消息隊列Kafka做個(gè)集成，Splunk官方提供的一個(gè)Kafka的插件，可以很容易的做到與開(kāi)源Kafka集成，本文簡(jiǎn)單描述一下集成的配置方法。

這里假設你的環(huán)境里已經(jīng)搭建好了Splunk和Kafka（Splunk搭建請參考，Kafka搭建請參考）。

概述

Splunk Add-on for kafka
支持三種輸入

• 監控Kafka本身的日志，需要在Kafka的機器上部署Forward

• 用JMX輸入來(lái)收集kafka集群的性能指標，這還需要額外安裝一個(gè)Splunk Add-on for JMX來(lái)跟Kafka的JMX對接

• 與Kafka的topic對接直接消費數據，通常會(huì )把插件裝在heavy forwarder上，通過(guò)他與Kafka對接一個(gè)完整的部署架構和數據流向如下圖所示，實(shí)際上前兩種輸入都是可選的，根據實(shí)際需求選擇即可：

  

  1511517099227260.png

安裝Splunk Add-on for Kafka

1.下載插件：https://splunkbase.splunk.com/app/2935/#/overview
2.安裝插件，在Splunk主界面上點(diǎn)“Apps”后面的圖標

1511517109810819.png

在彈出界面上點(diǎn)“Install app from file”，在彈出界面上選擇前一步下載的Splunk Add-on for kafka，然后點(diǎn)“upload”安裝完后會(huì )提示重啟。

配置Splunk集成Kafka

官方推薦把接收Kafka消息的集成點(diǎn)放在Heavy Forwarder上，但是直接在Splunk實(shí)例上配置訂閱Kafka主題也是可以的。

1. 在Splunk Web上點(diǎn)Apps->Manage Apps
   

   

   1511517114161388.png

2. 在彈出頁(yè)面中找到Splunk Add-on for Kafka，點(diǎn)擊“Set up”

3. （可選）配置“Logging level”

4. 在下面的“Credential Settings ”中，點(diǎn)擊“Add Kafka Cluster”，在彈出窗口中只需配置前兩項即可，其他都可以留白

• Kafka Cluster 定義kafka集群的名字

• Kafka Brokers kafka實(shí)例的IP和端口，如果有多個(gè)實(shí)例，格式為 ([,][,…]).

1. 點(diǎn)“save”

2. 點(diǎn)擊“Settings->Data inputs”

3. 找到“Splunk Add-on for kafka”那一行，點(diǎn)擊“Add new”

4. 填寫(xiě)表格

• Kafka data input name 給這個(gè)輸入定個(gè)名字

• Kafka cluster kafka 集群的名字，見(jiàn)上面4、5兩步

• Kafka topic 收集數據的kafka 主題

• Kafka partitions （選填）

• Kafka partition offset 指定是從頭開(kāi)始還是從尾開(kāi)始

• Topic group （選填）訂閱者的group標識

• Index （選填）

1. 點(diǎn)“Next”
   通過(guò)上述步驟，Splunk就和kafka集成好了，通過(guò)producer往kafka發(fā)一些數據，然后在Splunk里搜索：

   1	sourcetype=kafka:topicEvent

1511517123301392.png

官方參考：Splunk Add-on for Kafka