Die Herausforderungen der Überprüfung der AI-Sicherheit

Die möglichen Stolpersteine von AI-Sicherheitstests

Angesichts des Fortschritts der AI-Technologie sind Bedenken hinsichtlich ihrer Sicherheit und Zuverlässigkeit verstärkt in den Vordergrund getreten. Trotz laufender Bemühungen zur Entwicklung und Umsetzung umfassender Sicherheitstests wachsen die Bedenken, dass unsere aktuellen Testmethoden möglicherweise nicht ausreichen, um die sichere Bereitstellung von AI-Systemen zu gewährleisten.

Die weite Verbreitung der AI-Technologie in verschiedenen Aspekten unseres Lebens hat Diskussionen über die Fähigkeiten und Grenzen von AI-Sicherheitstests angestoßen. Während ein gemeinsamer Wunsch nach sicherem und verlässlichem AI besteht, bestehen nach wie vor Herausforderungen bei der genauen Beurteilung seiner Sicherheit und Zuverlässigkeit.

AI-Modelle verfügen über ein breites Spektrum an Funktionalitäten, von der Erstellung von Text und Bildern bis hin zur Komposition von Musik. Diese Modelle sind jedoch nicht fehlerfrei, und ihr Verhalten kann unberechenbar sein. Angesichts dieses Hintergrunds haben sich Unternehmen wie Scale AI und das U.K. AI Safety Institute daran gemacht, Werkzeuge zur Bewertung der mit AI-Modellen verbundenen Risiken zu entwickeln.

Eine von der Ada Lovelace Institute durchgeführte Studie ergab jedoch, dass bestehende Tests möglicherweise nicht ausreichend robust sind. Experten haben die Manipulationsanfälligkeit bestehender Tests und ihre Unfähigkeit, das tatsächliche Verhalten von AI im realen Leben genau wiederzugeben, hervorgehoben.

Ein Hauptproblem besteht darin, dass mehrere Tests hauptsächlich die Leistung von AI in kontrollierten Umgebungen bewerten und ihr Verhalten in realen Weltsszenarien außer Acht lassen. Darüber hinaus wirkt sich das Problem der "Datenverunreinigung" erheblich aus, bei dem die Leistung von AI in Tests durch sein Training mit demselben Datensatz wie die Testdaten aufgebläht werden kann.

Eine andere Methode, bekannt als "Red Teaming", bei der Einzelpersonen Schwachstellen in AI-Modellen aufdecken, hat mit der Abwesenheit standardisierter Verfahren zu kämpfen, was den Prozess teuer und unzureichend reguliert macht.

Auf diese Herausforderungen reagierend hat die Ada Lovelace Institute eine größere Beteiligung von Regierungen und Entscheidungsträgern vorgeschlagen. Sie empfehlen eine erhöhte öffentliche Beteiligung an der Testentwicklung und erweiterte Unterstützung für Drittanbieter-Bewertungen.

Darüber hinaus besteht ein dringender Bedarf an "kontextspezifischen" Bewertungen, die die potenziellen Auswirkungen von AI-Modellen auf verschiedene Nutzergruppen prüfen und potenzielle Umgehungen von Sicherheitsmaßnahmen identifizieren. Es ist jedoch wichtig anzuerkennen, dass trotz großer Anstrengungen eine vollständige Gewissheit hinsichtlich der AI-Sicherheit aufgrund ihrer Anwendung und des Endnutzers möglicherweise unerreichbar bleibt.

Letztendlich präsentiert die Suche nach Gewährleistung der AI-Sicherheit eine formidable Herausforderung. Verbesserte Testmethoden und eine weite Beteiligung sind unerlässlich bei dem Bemühen, die Sicherheit von AI so weit wie möglich zu maximieren.

Schlüsselerkenntnisse

• AI-Sicherheitsmarkierungen können unzureichend sein: Die aktuellen Markierungen können möglicherweise nicht alle realen AI-Verhaltensweisen umfassend erfassen, was ihre Zuverlässigkeit beeinträchtigen könnte.
• Datenverunreinigung: Die Verwendung desselben Datensatzes für das Training und die Bewertung kann zu einer Leistungssteigerung in AI-Benchmarks führen, wodurch die tatsächliche Anwendbarkeit verschleiert wird.
• Red-Teaming fehlen standardisierte Methoden: Die Abwesenheit einheitlicher Verfahren im Red-Teaming wirkt sich auf die Bestimmung seiner Wirksamkeit in der Identifizierung von AI-Schwachstellen aus und hinterlässt möglicherweise Sicherheitslücken unbehandelt.
• Öffentlich-sektorielle Beteiligung ist unerlässlich: Regierungen müssen eine aktivere Rolle bei der Verbesserung der Bewertung der AI-Sicherheit übernehmen, die eine weite öffentliche Beteiligung erfordert.
• Kontextspezifische Bewertungen sind unerlässlich: Die Identifizierung potenzieller Auswirkungen auf verschiedene Nutzergruppen und Umgehungen von Sicherheitsmaßnahmen ist entscheidend für eine umfassende AI-Sicherheitsbewertung.

Analyse

Die Unzulänglichkeiten in den aktuellen AI-Sicherheitsmarkierungen, verstärkt durch Datenverunreinigung und die Abwesenheit standardisierter Red-Teaming-Verfahren, unterstreichen die Dringlichkeit einer größeren öffentlich-sektoralen Beteiligung und die Notwendigkeit kontextspezifischer Bewertungen. Unternehmen und Regierungsbehörden stehen bei der Gewährleistung der Zuverlässigkeit von AI-Systemen vor kritischen Herausforderungen, die sofortige Auswirkungen in Form von Fehlapplikationen und öffentlichem Misstrauen sowie langfristige Folgen für die AI-Integration und -Innovation haben könnten. Die Stärkung der öffentlichen Teilnahme und Drittanbieterbewertungen ist für die Verbesserung sowohl der Sicherheit als auch der Vertrauenswürdigkeit von AI von entscheidender Bedeutung.

Haben Sie gewusst?

• AI-Sicherheitsmarkierungen können unzureichend sein: Die derzeit verwendeten Markierungen für die Bewertung der AI-Sicherheit fallen oft kurz, um reale Verhaltensweisen vorherzusagen, da sie auf kontrollierten Umgebungen basieren, was zu Leistungs-/Verhaltensdiskrepanzen führen kann.
• Datenverunreinigung: Wenn ein AI-Modell mit demselben Datensatz für Schulung und Bewertung trainiert wird, kann seine Leistung in Benchmarks seine Fähigkeit, sich an neues, ungetestetes Daten anzupassen, nicht genau widerspiegeln, was seine tatsächliche Anwendbarkeit und Sicherheit beeinträchtigt.
• Red-Teaming fehlen standardisierte Methoden: Die Abwesenheit standardisierter Verfahren im Red-Teaming trägt zu Unstimmigkeiten bei der Identifizierung und Behebung von AI-Schwachstellen bei und hinterlässt möglicherweise Sicherheitslücken unbehandelt.