Patronus AI hebt 17 Millionen US-Dollar für die KI-Modellabtestung in New York City auf
Am 5. Juni werden sich die Führungskräfte in New York City versammeln, um die KI-Modellabtestung auf Voreingenommenheit, Leistung und ethische Konformität zu vertiefen. Patronus AI, ein Startup, das von ehemaligen Meta-ML-Experten gegründet wurde, hat eine beträchtliche Finanzierung in Höhe von 17 Millionen US-Dollar erhalten. Die Mittel werden verwendet, um die Erkennung von Fehlern in großen Sprachmodellen (Large Language Models, LLMs) zu automatisieren, die entscheidend sind, um Halluzinationen, Urheberrechtsverletzungen und Sicherheitsrisiken zu identifizieren, die sich als schädlich erweisen könnten, wenn sie nicht angegangen werden. Die von Anand Kannappan und Rebecca Qian geleitete Plattform nutzt proprietäre KI, um die Modellleistung zu bewerten, Modelle zu stresstest-en und eine genaue Benchmarking zu ermöglichen. Bemerkenswert ist, dass die Forschung von Patronus AI Mängel in der Fähigkeit führender Modelle aufgezeigt hat, auf der Grundlage von Fakten genaue Antworten zu geben, was ihren eindeutigen Ansatz in den Vordergrund treibt.
Wichtigste Erkenntnisse
- Patronus AI, ein Startup, das von ehemaligen Meta-ML-Experten gegründet wurde, hebt 17 Millionen US-Dollar auf, um Fehler in großen Sprachmodellen (LLMs) automatisch zu erkennen.
- Das Unternehmen verwendet proprietäre KI, um die Modellleistung zu bewerten, Modelle zu stresstest-en und ein präzises Benchmarking zu ermöglichen.
- Die Plattform von Patronus AI identifiziert verschiedene Arten von Fehlern, einschließlich Halluzinationen, Urheberrechtsverletzungen, Sicherheitsrisiken und spezielle Unternehmensfähigkeiten.
- Öffentliche Modellausfälle wie die Veröffentlichung von fehlerbehafteten, von KI generierten Artikeln durch CNET und der Widerruf von LLM-halluzinierter Forschung durch Startups für Arzneimittelentwicklung verdeutlichen die Notwendigkeit einer solchen Lösung.
- Die Forschung von Patronus AI, wie die "CopyrightCatcher"-API und der "FinanceBench"-Benchmark, offenbaren Mängel in der Fähigkeit führender Modelle, Fragen auf der Grundlage von Fakten genau zu beantworten.
Analyse
Die Finanzierung von 17 Millionen US-Dollar für Patronus AI unterstreicht die zunehmende Besorgnis über Fehler in LLMs wie Halluzinationen und Sicherheitsrisiken. Da ihr System, das von Fortune-500-Unternehmen genutzt wird, immer wichtiger wird, adressiert es eine kritische Dringlichkeit angesichts der zunehmenden Verwendung von LLMs. Diese Entwicklung wird voraussichtlich zu höheren Investitionen in KI-Modellabtesting-Startups führen und Technologiegiganten wie Meta unter Druck setzen, ihre LLM-Bewertungs- und Compliance-Maßnahmen zu verbessern.
In naher Zukunft ist ein Anstieg der Annahme der Dienstleistungen von Patronus AI durch Organisationen zu erwarten, was die Leistung von LLMs verbessern und öffentliche Pannen verhindern soll. Mit der Zeit könnte der wachsende KI-Modellabtestsektor die Einführung strenger Vorschriften und branchenweiter Referenzwerte vorantreiben, um einen ethischen KI-Einsatz sicherzustellen und potenzielle LLM-bezogene Gefahren zu mindern. Länder mit robusten KI-Sektoren wie die USA und China werden wahrscheinlich diese transformativen Veränderungen vorantreiben, die Tech-Unternehmen, Forscher und Investoren weltweit beeinflussen.
Wussten Sie schon?
- Große Sprachmodelle (LLMs) und ihre Fehler: LLMs sind KI-Modelle, die in der Lage sind, menschenähnlichen Text zu verstehen und zu generieren. Sie sind jedoch anfällig für Fehler wie Halluzinationen, Urheberrechtsverletzungen und Sicherheitsrisiken. Lässt man diese Fehler unbeachtet, können daraus Desinformation, rechtliche Verwicklungen und Schäden für Einzelpersonen oder Organisationen resultieren.
- Die proprietäre KI von Patronus AI für die Modellbewertung: Die Plattform von Patronus AI nutzt proprietäre KI, um die LLM-Leistung zu bewerten, einschließlich Scoring, Stresstest-ing und präziser Benchmarking. Diese Befähigung unterstützt Organisationen dabei, Fehler in ihren LLMs zu erkennen und zu beheben, wodurch deren Genauigkeit, Zuverlässigkeit und Sicherheit gestärkt werden.
- Die Forschung von Patronus AI zu Modellmängeln: Durch Initiativen wie die "CopyrightCatcher"-API und den "FinanceBench"-Benchmark hat die Forschung von Patronus AI gravierende Mängel in der Fähigkeit wichtiger Modelle aufgezeigt, genaue Informationen bereitzustellen. Ihre Erkenntnisse verdeutlichen die dringende Notwendigkeit von Lösungen wie der Plattform von Patronus AI, um die Qualität und Richtigkeit von LLMs zu verbessern.