Sie sind hier:

Indexing & IT-Search – von 5 Megabyte ... 5 Terabyte / Tag

Mit Splunk analysieren Sie Milliarden von Events in Sekundenschnelle auf einem ganz normalen Standardserver. Wenn die täglichen Logvolumina und die Anzahl der Datenquellen wachsen, können Sie die Indizierungsleistung steigern, indem Sie einfach weitere Indexer auf Standard-Hardware hinzufügen. Die Lastverteilung übernimmt das Splunk-interne Loadbalancing. 

Indizierungsleistung steigern mit weiteren Indexern. Die Lastverteilung übernimmt das Splunk-interne Loadbalancing.

Vielleicht noch wichtiger, weil sichtbar, ist die Suchleistung. Wer will schon minutenlang auf das Ergebnis einer Suche warten? Splunks Search-Performance wächst linear mit der Anzahl der integrierten Indexer. Automatisches Load Balancing optimiert die Auslastung und Reaktionszeiten. Splunk verfügt über eine integrierte Redundanz/Failover-Unterstützung. 

Bei Ihnen ist ein SAN als Logdatenspeicher gesetzt? No worries! Splunk kann auch so konfiguriert werden, dass die Daten in ein SAN für die langfristige Archivierung ausgelagert werden können.

Und Standard-Hardware soll genügen?

Index Volume und Search Load sind die bestimmenden Faktoren des Hardware-Sizings. Ebenso ist die Geschwindigkeit der Harddisk I/O-Zyklen maßgeblich. Die gute Nachricht: Aktuelle Standard-Server-Hardware ist völlig ausreichend.
Ein Beispiel: Bis 100 GB / Tag im Mittel (und das ist schon viel Holz) kommen Sie sehr gut mit nur einer Multifunktions-Maschine bei max. 4 Benutzern (Searchers) aus.  

Bei signifikanter Überschreitung eines Logvolumens von 100 GB/Tag wird eine Aufteilung auf mehrere Systeme mit unterschiedlichen Funktionen (Forwarders, Indexing Machines, Distributed Search Machines) erforderlich.

Eine absolut exakte HW-Dimensionierung macht wenig Sinn, da der Performancebedarf unterschiedlicher Suchen sehr stark variieren kann. Und: Sobald die Vorteile von Splunk von IT-Administratoren diskutiert werden, steigt ganz plötzlich die Nutzergemeinde und etliche neue Ideen und Einsatzfelder entstehen – also einfach mal anfangen.

Splunk in verteilten Architekturen? Yes, we can!

Splunk in verteilten Architekturen

Splunk Forwarders sind „lightweight“ Splunk-Server mit deaktivierter Indizierung. Sie können in Architekturen eingesetzt werden, wo die Log-Daten, z.B. nicht einfach über das Netzwerk transportiert werden können.

Splunk Forwarders können lokale Anwendungs-Logs überwachen, die Ausgabe von Status-Befehlen nach Zeitplan überwachen, Performance-Metriken von virtuellen oder nicht-virtuellen Quellen abgreifen oder Filesysteme auf Änderungen von Konfigurationen, Berechtigungen und Attributen überwachen.

Forwarders übertragen die Daten sicher zum zentralen Splunk Server in Echtzeit. Sie sind leichtgewichtig in puncto Rechen- und Speicherkapazität, schnell einsetzbar und können ohne zusätzliche Kosten implementiert werden.

Nagios & Splunk – das Dreamteam im Troubleshooting

Rechenzentren wirklich effektiv zu managen ist eine echte Herausforderung. Sie nutzen NAGIOS. Es überwacht die Verfügbarkeit Ihrer IT-Landschaft und informiert Sie über Zustandsabweichungen und Ausfälle. Genau dann geht’s per SSH-Shell auf die Maschine und per  tail –f ins Logfile. Root-Cause-Analyse könnte für Sie aber viel einfacher sein. Splunk it! Splunk arbeitet perfekt mit NAGIOS zusammen:

  • Splunk indexiert Nagios-Events und Alerts in Echtzeit
  • Splunk-Searches können in Nagios-Alerts und Notifications eingebettet werden
  • Splunk-Notifications können in Nagios-Events und ins Monitoring integriert werden
  • Es gibt Nagios-Plugin(s) zur Überwachung der Splunk-Server
  • Weitergabe von Nagios Event Descriptors / Tags in die Splunk Knowledge Base

Additional Information

Splunk-Präsentation
Detect & Defend 2011

Splunk can be enhanced to support threat logs generated by Palo Alto Networks firewall (pdf) >>