Dieser Beitrag diskutiert das quelloffene Log-Tool Graylog. Dabei geht es weniger um einen technischen Vergleich mit anderen Lösungen, sondern lediglich die Diskussion darum, warum ich diese mittlerweile ELK vorziehe. Wir betrachten hierbei die frei verfügbare Version.

Seit vielen Jahren bin ich ein grosser Fan von ELK. Hauptsächlich wegen Logstash und Kibana. Seitdem ich meine eigene Log Parsing und Presentation Engine geschrieben habe, mag ich Logstash, vor allem aufgrund von Performance, Modularität und Flexibilität. Ebenso mag ich die Möglichkeiten der Visualisierung, wie sie durch Kibana bereitgestellt werden.

Meine Zuneigung zu ELK wird jedoch getrübt, wenn es um Authentisierung/Autorisierung sowie das Fehlen eines zentralisierten Management-Interfaces für sämtliche Komponenten geht.

Komfort von Graylog

Graylog geht da andere Wege. Das WebUI deckt viele Funktionalitäten ab – Vom Status der ES Indexes über Parsing und Filter bis hin zur Darstellung. Selbstverständlich ist auch hier die eine oder andere Optimierung auf der Konsole erforderlich. Doch für den täglichen Gebrauch im Umgang mit den Daten reicht es allemal.

Die Vorteile von Graylog

Graylog vermag in verschiedenen Bereichen zu überzeugen:

• Parsen von Nachrichten ist sehr einfach: K-V Logs können mit einigen wenigen Klicks aus normalisierten Zeichenketten generiert werden. Komplexe Logs, reguläre Ausdrücke sowie grok stehen bereit, ohne das WebUI verlassen zu müssen.
• Manipulation von Nachrichten ebenso einfach: Der Prozess beginnt mit dem Bearbeiten von Nachrichten anhand von Voraussetzungen, um entsprechende Streams erstellen zu können. Streams werden in Echtzeit abgearbeitet und stellen die Grundlage für die ganze Nachrichtenverarbeitung dar.
• Pipelines: Das Zusammenführen der Nachrichtenverarbeitung erhöht die Flexibilität.
• Alerts: Dank der Echtzeit-Streams können Inhalte analysiert, gezählt und Trigger ausgelöst werden. Zum Beispiel zwecks Alarmierung, sobald ein unerwarteter Zustand eintritt oder bestimmte Inhalte beobachtet werden.
• Plugins: Zusätzliche Funktionalität kann zum Core hinzugefügt werden.
• Authentisierung/Autorisierung: Das Einschränken der Zugriffe auf bestimmte durch einzelne Benutzer ist möglich.

Möglichkeiten zur Verbesserung

Das Dashboard, selbst wenn es gut integriert und nützlich ist, weist nicht so viele Funktionalitäten wie Kibana auf (z.B. Aggregierung).

Zudem müssen Sicherheitseinstellungen separat vorgenommen werden, weshalb man um den Zugriff über Terminal nicht herum kommt.

Fazit

Graylog, selbst wenn es zur Zeit noch nicht perfekt ist, ist das beste open-source Tool, mit dem man sich an Log Management herantrauen kann. Es liegt vielen grossen Linux-Distributionen bei, kommt alternativ als VM daher und ist also Docker-Image verfügbar.

Es setzt natürlich dennoch einige Zeit voraus, um die Architektur verstehen zu können. Für das Lösen einzelner Probleme kann es schon mal erforderlich sein, mehrere Tage investieren zu müssen, falls man noch nie mit anderen Tools wie Elasticsearch gearbeitet hat. Doch wenn Sie die entsprechende Erfahrung mitbringen, dann ist das Aufsetzen einer komplexen Umgebung zur Bewältigung von Logs durchaus in wenigen Stunden möglich.

Über den Autor

Rocco Gagliardi ist seit den 1980er Jahren im Bereich der Informationstechnologie tätig. In den 1990er Jahren hat er sich ganz der Informationssicherheit verschrieben. Die Schwerpunkte seiner Arbeit liegen im Bereich Security Frameworks, Routing, Firewalling und Log Management.

Links

• https://marketplace.graylog.org
• https://www.elastic.co
• https://www.elastic.co/products/kibana
• https://www.elastic.co/products/logstash
• https://www.graylog.org