Markt + Trends | IT-Sicherheit | iX

Der Nutzen großer Sprachmodelle für die IT-Sicherheit

Sicherheitsforscher von Sophos haben mehrere LLMs in drei Szenarien hinsichtlich ihres Sicherheitsnutzens verglichen.

Damit man den Nutzen der einzelnen Large Language Models (LLM) für Cybersicherheit bemessen kann, haben Forscher des Sicherheitsunternehmens Sophos Kriterien für die Vergleichbarkeit solcher Modelle entwickelt. Dazu haben sie Benchmark-Aufgaben erstellt, also typische Probleme, mit denen sich die Fähigkeiten eines Modells einfach und schnell beurteilen lassen. Die Auswahl der Modelle erfolgte nach Kriterien wie Modellgröße, Beliebtheit, Kontextgröße und Aktualität. Getestet wurden unterschiedlich große Versionen der Modelle Llama2 und Code Llama von Meta, Claude, Amazon Titan Large und GPT-4.

Die Aufgaben bestanden aus drei Szenarien. Im ersten sollte das LLM als Assistent bei der Untersuchung von Sicherheitsvorfällen fungieren. Dazu sollte es relevante Telemetrieinformationen in natürlicher Sprache abrufen. Bewertet wurde die Fähigkeit, diese Abfragen in SQL-Anweisungen umzuwandeln.