0x00最初にspunkを知っている
1。会社:
American Splunk Companyは2004年に設立され、2012年にNasdaqにリストされました。これは最初のビッグデータリスト会社であり、多数の賞と栄誉を獲得しています。米国サンフランシスコに本社を置くロンドンは国際本部で、香港にはアジア太平洋サポートセンターがあり、上海には最初の海外R&Dセンターがあります。現在、中国で最大の顧客ライセンスは800GB/日です。製品:Splunk Enterprise [Enterpriseバージョン]、Splunk Free [Free Version]、Splunk Cloud、Splunk Hunk [ビッグデータ分析プラットフォーム]、Splunk Apps [Enterpriseバージョンベースのプラグイン]など。
2。製品:
Splunk Enterprise、Enterpriseバージョン、B/Sアーキテクチャ、ライセンス、つまり、毎日インデックスされているデータの量。
(20GBライセンスを購入すると、デフォルトでは毎日20gのデータをインデックスできます。永久に1回購入できます。トライアルバージョンを使用すると、試用期間が終了したら無料版に切り替えます)
Splunk Free、無料版、最大データインデックスは1日あたり500MBで、ほとんどのエンタープライズバージョン関数を使用できます。
(無料版には、認証、分散検索、クラスタリングなどなどの関数がありません。)
ユニバーサルフォワーダーであるSplunk Universal Forwarderは、Splunkが提供するデータ収集コンポーネントです。無料で、データソース側に展開され、UIインターフェイスがなく、非常に軽量で、リソースがほとんどありません。
(フォワーダーはライセンスなしで無料です。エンタープライズバージョンに専念しています。たとえば、データソースに展開されます。たとえば、Webサーバーに展開し、Webログを監視し、生成時に1つのログを転送し、転送を転送し、通常、CLIコマンドを変更または使用するように構成ファイルを構成します。
iii。 Splunkとは?
マシンデータのフルテキスト検索エンジン。
(検索エンジンを使用してデータを処理します。大規模なデータ処理をサポートします)
準リアルタイムログ処理プラットフォーム。
時系列ベースのインデクサー。
ビッグデータ分析プラットフォーム。
統合されたプラットフォーム:データ収集と保存- 分析- 視覚化。
ユニバーサル検索エンジン、データソースまたはデータ形式はありません。
特許取得済みの検索言語SPL(検索処理言語)を提供します。これは、SQL言語と構文的に似ています
Splunkアプリはより多くの機能を提供します
(オペレーティングシステムとCiscoネットワークデバイスの場合、Spunkは専用のアプリを提供し、データソースにアクセスすると直感的なダッシュボードを見ることができます。)
iv。マシンデータとは?
マシンデータとは、デバイスとソフトウェアによって生成されたログデータ、パフォーマンスデータ、およびネットワークデータパケットを指します。これらのデータはすべて非構造化データです。これらのデータをSpunkに収集できます。 Splunkは、インデックス、調査、監視、視覚化などを行うことができます。
v。 Splunkコンポーネント
インデクサー:インデクサーは、データのインデックスを作成するために使用されるSplunk Enterpriseインスタンスです。インデクサーは、生データをイベントに変換し、イベントをインデックス(インデックス)に保存します。インデクサーは、検索要求に応じてインデックスデータを検索します。
検索ヘッダー:分散検索環境では、検索ヘッダーは検索管理機能を処理し、検索リクエストを検索ノードのグループにガイドし、結果をユーザーにマージするSplunk Enterpriseインスタンスです。インスタンスが検索のみでインデックスが表示されない場合、通常は専用の検索ヘッダーと呼ばれます。
検索ノード:分散検索環境では、検索ノードはインデックスを作成し、検索ヘッダーから検索要求を完了するスプランクです
エンタープライズインスタンス。
フォワーダー:フォワーダーは、データを別のSplunk Enterpriseインスタンス(インデクサーまたは別の転送者)またはサードパーティシステムに転送するSplunk Enterpriseインスタンスです。
受信機:レシーバーは、フォワーダーからデータを受信するように構成されたSplunk Enterpriseインスタンスです。レシーバーはインデクサーまたは別のリピーターです。
アプリケーション:アプリケーションは、Splunkを拡張する構成、知識オブジェクト、顧客設計ビューとダッシュボードのコレクションです
UNIXやWindowsシステム管理者、ネットワークセキュリティの専門家、ウェブサイトマネージャー、ビジネスアナリストなど、組織チームの特定のニーズに合わせてエンタープライズ環境。単一のSplunk Enterpriseのインストールは、複数のアプリケーションを同時に実行できます。
vi。 Splunk分散アーキテクチャ
上の写真に示すように:
1. 3つのレイヤーに分けることができます。最初のレイヤーはデータソースです。アプリケーションサーバー、サービスバス、ネットワーク機器、ファイアウォールなど。
2。このデータを収集する場合、たとえば、アプリケーションサーバーはSpunk Forwerderをインストールでき、ファイアウォールのデータはTCP \ Updポートを介してSplunkの中間層に送信できます。 Splunkの中間層は、Spunkのインデクサー(受信機)と呼ばれ、データはこの層に保存されます。
3。ユーザーは検索を使用します
ヘッド検索インスタンス、検索ヘッドは各インデクサーに検索要求を送信します。次に、結果を検索ヘッドに収集し、最終的に表示するためにユーザーに提示します。
4.データソースのフォワーダーは、データを複数の勇気インスタンスに転送し、フォワーダーは自動ロードバランシングを実行します。
7。汎用トランスポンダー
リピーターは、重い、軽く、普遍的な3つのタイプに分かれています。
最も一般的に使用されるものは、他の2つのカテゴリではほとんど使用されないユニバーサルフォワーダーです。
完全なSplunk Enterpriseインスタンスと比較して、汎用転送の唯一の目的はデータを転送することです。完全なSplunk Enterpriseインスタンスとは異なり、ユニバーサルフォワーダーを使用してデータをインデックスまたは検索することはできません。
より高いパフォーマンスとメモリのフットプリントを低くするには、いくつかの制限があります。
ユニバーサルフォワーダーには、検索、インデックス、またはアラーム機能がありません。
汎用のフォワーダーはデータを解析しません。
汎用転送者は、Syslogを介してデータを出力しません。
フルスプランクエンタープライズとは異なり、ユニバーサルフォワーダーにはバンドルされたPythonバージョンは含まれていません。
8。さまざまなアプリケーションシナリオ
0x01 LinuxにSplunkをインストールします
1。構成時間:
設定可能な時間
エンタープライズ内でNTPサーバーを構築し、すべての関連デバイスをサーバーに向けることをお勧めします。
(各マシンの時間が一貫性がない場合、問題が発生します。したがって、すべてのデバイスの時間がNTPサーバーに向けられ、すべてのデバイスを時間内に統合できるように、NTPサーバーを構築することをお勧めします)
2。設置準備
このインストールは、Centos 6.7、64ビットに基づいています
64ビット環境に展開することをお勧めします
Splunk Enterprise:
Spunk-6.4.2-00F5BB3FA822-LINUX-X86_64.TGZ
Splunk Universal Repeater :
SplunkForwarder-6.4.2-00F5BB3FA822-LINUX-X86_64.TGZ
今回は、ルートユーザーとしてインストールされます(非ルートを使用できます)
三つ、
インストールステップ1)、TGZの圧縮パッケージをダウンロードします。
wget -chttps://download.splunk.com/products/splunk/releases/6.5.1/linux/splunk-6.5.1-f74036626f0c-linux-x86_64.tgz;
2)減圧:#tar
-ZXVF SPUNK-6.5.1-F74036626F0C-LINUX-X86_64.TGZ -C /OPT(デフォルトでは /OPTディレクトリに減圧されます)
3)スパンクの実行可能なプログラムは、/opt/splunk/bin/の下に配置されます。プログラムを開始するときは、Spunkを実行する必要があります。 Spunkコマンドのパラメーターは次のとおりです。
#note:次のように、次のコマンドCLIコマンドを呼び出します。一般的なフォワーダーとスパンクコマンドの両方を次のように実行できます
./splunk
//Spankを開始します
-accept-license //自動的にライセンスを受け取ります
再起動//スパンクを再起動します
ステータス//スパンクステータスを確認します
バージョン//スパンクバージョンを表示します
開始するときは、–Accept-licenseを追加することを忘れないでください。そうすれば、インストールが簡単になります。
4)Spunkがインストールされた後、Splunk Webポート8000を開いてください。SplunkDポート8089は管理ポートです。インストール後、ブラウザのSplunk Port 8000のWebインターフェイスにアクセスできます。
注:外部コンピューターがアクセスできない場合。 iptablesサービスを閉じるか、ポリシーにポートを追加する必要があります
#Services IPTABLESTOP [他のUNIXシステムはファイアウォールをシャットダウンします]
Systemctl stop firewalld.service [centos 7の下でファイアウォールを停止]
Splunkアドレスは、http://192.168.199.205:8000です。 Spunkを入力するデフォルトの管理者は次のとおりです。管理者とパスワードはchangemeです。パスワードは初めてログインすることで変更されます
Spunk Boot ./splunkを構成します
Boot-startを有効にする//このようにして、Splunkサービスが開始されるたびに、
#上記のコマンドを介して勇気のステータスとバージョン情報を確認してください。/splunkステータス
#viewプロセス関連情報:ps -f | Grep Spluk
iv。 Splunkのアンインストール
./splunk stop //sprunkを停止します
./rm – rf/opt/splunk
//Splunkインストールディレクトリを削除します
アンインストールするときは注意して、データのバックアップに注意を払ってください
5。SplunkUniversal Forwerder
をインストールします1)、汎用転送業者をOPTディレクトリに減圧します。 Splunk Forwarderのインストール方法は、Spunkのメソッドと同じですが、UIインターフェイスはありません。
Tar ZXVF
splumkforwarder-6.4.2-00F5BB3FA822-LINUX-X86_64.TGZ -C /OPT
2)SplunkForwarderのビンディレクトリに切り替えて、一般的な転送者を起動します
cd/opt/splunkforwarder/bin///一般的な転送者の実行可能ファイルプログラムディレクトリに切り替えます
./splunk start –accept-license //一般的な転送者を起動します
注:Splumk Webと一般的な転送者が同じサーバーにインストールされ、一般的な転送者の管理ポートも8090である場合、Splumkが占有するように求められます。次のように、フォワーダー管理ポートを変更するには、「はい」を選択します。
CLIコマンドを介してSplunkdのポートを表示できます。
。
3)一般的なフォワーダーのパスワードを変更します
デフォルトのパスワード:admin/changeme
パスワードを次のように変更します:役割は役割であり、認証は検証の元のパスワードです。
0x02 WindowsにSplunkをインストールします
1。インストール準備:
#build an nptサーバー
同じ時間の構成
エンタープライズ内でNTPサーバーを構築し、すべての関連デバイスをサーバーに向けることをお勧めします。
#ユーザーの選択を選択します
ローカルシステムユーザー、この方法は今回採用されています
ドメインユーザー、より複雑な、ドキュメントを参照してください
#installation環境
このインストールは、Windows 7、64ビットに基づいています
64ビット環境に展開することをお勧めします
Splunk Enterprise:
Splunk-6.4.2-00F5BB3FA822-X64-RELEASE.msi
Splunk Universal Repeater :
SpunkForWarder-6.4.2-00F5BB3FA822-X64-RELEASE.MSI
二、
インストール手順:GUIのインストールは比較的簡単で、ここでは実証されません。
Splunkは、デフォルトで「C: \プログラムにインストールされています
ファイル\ splunk "
インストール後、2つのサービスが登録され、ディスプレイ名は次のとおりです。SPLUNKDサービス、SPPLUNKWEB(レガシー目的のみ)
開始:Splunk Start
クローズ:スプラン停止
再起動:Splunk Restart
ステータスの表示:Splunkステータス
バージョンを表示:Splunkバージョン
Windows DOSコマンドを介して:
ネットスタートSplunkd
ネットストップSplunkd
サービスパネルを通して(services.msc)
#splunk Webのポートコマンドを確認してください。
Splunk Show Webポート
iii。スパンクのアンインストール
上記の説明に従って、spunkdを停止します。
Windowsコントロールパネルのアンインストーラーを介してアンインストールします。
4、
Splunk Universal Forwarder GUIのインストールは比較的簡単です。選択:オプションをカスタマイズします。次のようにSSL証明書を選択できます。
#セカンドインストーラーは次のとおりです。
ローカルシステム:ローカルシステムユーザー
ドメインアカウント:ドメインアカウント
#ログオプションを収集するかどうかを選択します(Windows
イベントログ)。など:アプリケーションログ、セキュリティログ、システムログ、転送イベントログ、およびインストールログ。
#Windowsを収集するかどうかを選択します
パフォーマンスモニター。など:CPU、メモリ、ディスク、ネットワークステータスなど。
#note:これらのログの収集は、Microsoft WindowsプラグインのSplunkアドオンであり、次のステップにインストールできます。
収集されたログはSplunk EnterpriseバージョンのWineVentlogのインデックスに転送されるため、Splunk Enterpriseバージョンはインデックスを作成しないため、作成する必要がある場合は、手動で作成するか、Splunkアプリをインストールします。でインデックスを作成します:
Splunk Web→設定→インデックス→新しいインデックスを入力する
次のステップ(インデクサーの受信)は、レシーバーをセットアップすることです。つまり、上記のシステムログが転送されるIPおよびポートが転送されます。 Spluk Enterpriseバージョンはローカルであるため、ここにLocalHostを書き、10001ポートがこれらのログをSplunkエンティティに転送できるようにします。
#next in Splunk
エンタープライズで受信を構成します。
Splunk Web→[設定]→[転送]→[受信]→[受信]→[追加]→このポートを聞く:10001(受信ポートが設定されている)
#スプランクCLIコマンドを使用してリスニングポートを表示します
Splunkディスプレイリッスン
もちろん、Splunk CLIコマンドを使用してリスニングポートを増やすこともできます。
Splunk Enableリッスン10002
この時点で、WineVentlogインデックスで受信したデータを表示できます
この時点で、システム独自のアプリ(検索レポート)は、SPL言語を使用してインデックスイベントを検索できます。
#note:Splunk EnterpriseとGeneral Forwarderの管理ポート8090との間のポート競合は、Windowsの下で自動的に解決されます。
0x03 sprunk sprunk intestrationの後の構成
1。 Splunk
のサーバー名を構成しますSETTINGS-SERVER SETTINGS-GENERAL SETTINGS
デフォルトはサーバーホスト名です
コマンドラインを介して変更することもできます
./splunk Set Servername Server