Wir begannen, das Protokoll der Raptor Firewall auf Solaris mit grep und regex zu analysieren. Als die Datenmengen mit den sich entwickelnden Systemen wuchsen, gingen wir von der Entwicklung kundenspezifischer Lösungen zur Anpassung von Open-Source-Systemen über. Wir haben einige Jahre den ELK Stack verwendet und sind dann auf Graylog umgestiegen, weil es trotz weniger fortgeschrittener Visualisierungsmöglichkeiten kostenlose Authentifizierungs-/Autorisierungsfunktionen bietet. Seit zwei Jahren, dank der Elastic vs AWS license story, die sich auch auf Graylog auswirkte, haben wir begonnen, uns mit OpenSearch zu beschäftigen. Dieser Artikel erklärt, warum wir intern zu OpenSearch gewechselt haben.

Die Stacks

Wie erwähnt, wir haben mit ELK begonnen. Der ELK Stack, bestehend aus Elasticsearch, Logstash und Kibana, ist eine vielseitige Open-Source-Suite, die für die Datenanalyse entwickelt wurde, mit einem besonderen Fokus auf umfassendes Log-Management und Analyse. ELK erleichtert sowohl lokale als auch grosse Cloud-Provider-Implementierungen und bietet eine vollständige End-to-End-Lösung, die von der Datenaufnahme bis zur Visualisierung reicht.

Graylog konzentrierte sich in erster Linie auf das Log-Management in Echtzeit, hat sich aus einer Phase unklarer Zielsetzungen entwickelt und bietet nun spezialisierte, lizenzierte Funktionen für gezielte Problemlösungen bei der Log-Verarbeitung und -Analyse, siehe Illuminate, Graylog Security, Graylog Operation und Graylog API Security. Die Eingabekomponenten, die wir anfangs verwendet haben, waren rsyslog, nach ein paar Jahren haben wir die Leistung mit der einfachen Konfiguration und der grossen Anzahl von Plugins von Logstash getauscht.

OpenSearch bietet umfangreiche Such- und Analysemöglichkeiten für verschiedene Datentypen. Es zeichnet sich durch seine hohe Skalierbarkeit und fortschrittliche Datenvisualisierung durch OpenSearch Dashboards aus und unterstützt Multi-Tenancy, ist aber derzeit auf AWS für seine Cloud-basierte Version beschränkt. Als Ingestion verwenden wir nach wie vor Logstash, aber wir evaluieren auch Vector.

Unterschiede zwischen ELK, Graylog und OpenSearch

Die Tabelle soll die wichtigsten Unterschiede zwischen den verschiedenen Protokollverwaltungsprodukten kurz und bündig aufzeigen. Laut Herstellerangaben kann jedes Produkt eine Reihe von Bereichen der Protokollverwaltung abdecken. Unsere Tabelle hebt jedoch besonders hervor, was unserer Meinung nach der Schwerpunkt jedes Produkts ist. So umfasst Graylog zwar auch Aspekte der Visualisierung, dies ist jedoch nicht seine stärkste Funktion, so dass wir die Hauptfunktion auf Protokollverwaltung und Analyse beschränken.

Man könnte sich fragen, wie sich die Produkte in den Bereichen Datenverarbeitung und Skalierbarkeit unterscheiden, wenn man bedenkt, dass sie alle grundsätzlich Elasticsearch verwenden. Die Realität ist jedoch etwas differenzierter. Die Leistungsunterschiede ergeben sich aus der einzigartigen internen Datenorganisation, die jedem Produkt eigen ist. Wir erwarten, dass sich diese Unterschiede mit der Zeit vergrössern werden. Das liegt daran, dass OpenSearch und Elasticsearch sich ständig weiterentwickeln und neue Funktionen und Merkmale hinzufügen, was zu einer zunehmenden Divergenz in ihren Fähigkeiten und ihrer Leistung führt.

OpenSearch-Funktionen

Warum zu OpenSearch wechseln? Erstens bietet OpenSearch eine überragende Skalierbarkeit, die für die Bewältigung des wachsenden Datenvolumens in komplexen IT-Umgebungen entscheidend ist. Zweitens bietet OpenSearch erweiterte Datenanalysefunktionen, die eine effektivere Identifizierung und Eindämmung von Sicherheitsbedrohungen ermöglichen. Und schliesslich übernimmt OpenSearch als Abspaltung von Elasticsearch robuste und flexible Authentifizierungs- und Autorisierungsfunktionen. Es unterstützt eine breitere Palette von Authentifizierungsmechanismen, darunter LDAP/Active Directory, SAML, Kerberos und OpenID Connect, sowie RBAC für eine fein abgestufte Zugriffskontrolle auf Dashboards und Indizes. Während also alle Plattformen Authentifizierungs- und Autorisierungsfunktionen bieten, stellt OpenSearch eine umfassendere und flexiblere Lösung dar.

Hier einige der technischen Vorteile:

Vorteile von OpenSearch gegenüber ELK und Graylog

In der folgenden Tabelle versuchen wir, die Vorteile der Verwendung von OpenSearch gegenüber ELK oder Graylog zusammenzufassen.

Risiken der Verwendung von OpenSearch

OpenSearch kann auch einige Risiken bergen.

Komplexe Konfiguration und Verwaltung

Die fortschrittlichen Funktionen und Möglichkeiten von OpenSearch erfordern eine sorgfältige Konfiguration und laufende Verwaltung. Fehlkonfigurationen können zu Sicherheitslücken führen, wie z. B. unbefugtem Zugriff oder Datenlecks. Regelmässige Audits und Überprüfungen der Konfigurationseinstellungen, die sich an Best-Practice-Sicherheitsstandards orientieren, sind unerlässlich, um diesem Risiko zu begegnen.

Abhängigkeit und Vendor Lock-in

Da OpenSearch eng in AWS integriert ist, besteht das potenzielle Risiko einer Anbieterbindung, insbesondere bei den cloudbasierten Diensten. Dies kann die Flexibilität bei der Migration auf andere Plattformen einschränken und Herausforderungen bei der Anpassung an unterschiedliche Sicherheitsanforderungen oder Standards ausserhalb des AWS-Ökosystems mit sich bringen.

Die Verarbeitungskomponenten

Noch ein paar Worte zu den Ingestion-Komponenten. ELK und OpenSearch verwenden in erster Linie Logstash, während Graylog seine eigenen Mechanismen mit verschiedenen Listenern und Pipelines hat. Es gibt jedoch eine Vielzahl von “Log Shippern”, die zum Generieren, Aggregieren und sicheren Senden von Nachrichten an einen Server verwendet werden können: Zum Beispiel Logstash, Filebeat, Fluentd, Fluent Bit, Vector, Rsyslog, syslog-ng, usw. Die Wahl eines “Log-Shippers” hängt von mehreren Faktoren ab, wie z. B. dem Installationsort, der Plattform, an die die Protokolle gesendet werden sollen, der Einfachheit der Änderung von Nachrichten usw. In unseren Anwendungsfällen verwenden wir Logstash, aber wir evaluieren derzeit Vector.

Zusammenfassung

Seit Jahren setzen wir Lösungen für die Protokollverwaltung ein. Nachdem wir eigene Lösungen entwickelt hatten, haben wir zunächst ELK und dann Graylog angepasst. Jedes dieser Produkte hat seinen Anwendungsfall und seine Einschränkungen für unsere Zwecke. Kürzlich sind wir auf OpenSearch umgestiegen, das, obwohl es das Risiko einer Herstellerbindung birgt, derzeit die beste Leistung in Bezug auf Datenmanagement, Visualisierung und Sicherheit bietet.

Über den Autor

Rocco Gagliardi ist seit den 1980er Jahren im Bereich der Informationstechnologie tätig. In den 1990er Jahren hat er sich ganz der Informationssicherheit verschrieben. Die Schwerpunkte seiner Arbeit liegen im Bereich Security Frameworks, Routing, Firewalling und Log Management.

Links

• https://elasticsearch.com
• https://fluentbit.io
• https://graylog.org/post/announcing-graylog-illuminate-v3-1/
• https://graylog.org/products/api-security/
• https://graylog.org/products/operations/
• https://graylog.org/products/security/#
• https://medium.com/@TechTim42/elastic-search-and-open-search-a-brief-history-of-the-license-war-8f474743e2ff
• https://opensearch.org
• https://vector.dev
• https://www.elastic.co/beats/filebeat
• https://www.elastic.co/logstash
• https://www.fluentd.org
• https://www.graylog.com
• https://www.rsyslog.com
• https://www.syslog-ng.com