Nvidia-Partner starten Wettbewerb zur Weiterentwicklung der LLM-Hardwareentwicklung

Nvidia kooperiert mit Technologie-Branche, um Hardware-Entwurf mit KI zu revolutionieren

Nvidia hat sich mit Branchenpartnern zusammengetan, um einen Wettbewerb zu starten, der darauf abzielt, die Hardware-Entwicklung mithilfe großer Sprachmodelle (LLMs) voranzutreiben. Das aktuelle Problem mit LLMs wie GPT-4 ist ihre Unfähigkeit, praktische Hardware-Entwürfe ohne menschliche Hilfe zu produzieren, hauptsächlich aufgrund des Mangels an hardware-spezifischem Code in ihrer Schulung. Ziel des Wettbewerbs ist es, ein robusteres, open-source-Dataset von Verilog-Code zu erstellen, das trainierte LLMs inspiriert von der Revolution von ImageNet in der Bilderkennung. Nvidia-Forscher Jim Fan ist zuversichtlich, GPU-Design zu automatisieren und sich eine Zukunft vorzustellen, in der Nvidia seine Chips ohne direkte menschliche Eingabe kontinuierlich verbessern kann. Der Wettbewerb ist in zwei Phasen unterteilt: Die erste Phase konzentriert sich auf die Erweiterung des bestehenden Verilog-Datasets, und die zweite Phase konzentriert sich auf die Verbesserung der Datensatzqualität durch automatisierte Methoden. Die Teilnehmer werden danach beurteilt, wie ihre Beiträge die Leistung eines fein abgestimmten CodeLlama 7B-Instruct-Modells verbessern. Die Anmeldung für den Wettbewerb endet im Juli, die Ergebnisse werden im Oktober auf der Internationalen Konferenz für Computer-Aided Design bekannt gegeben.

Schlüsselerkenntnisse

• Nvidia kooperiert mit Branchenpartnern, um einen Wettbewerb zur Weiterentwicklung der Hardwareentwicklung mithilfe großer Sprachmodelle (LLMs) zu starten.
• Der Wettbewerb zielt darauf ab, ein open-source-Verilog-Code-Dataset für das Training von LLMs zu erstellen, das von der Wirkung von ImageNet in der Bilderkennung inspiriert ist.
• Nvidia strebt an, GPU-Design zu automatisieren, was sowohl Hardware als auch die Fähigkeiten von AI-Modellen verbessert.
• Der Wettbewerb besteht aus zwei Phasen: die Erweiterung des Verilog-Datasets und die Verbesserung seiner Qualität durch Datenreinigung.
• Die Anmeldung für den Wettbewerb endet Ende Juli, und die Ergebnisse werden auf einer Konferenz im späten Oktober bekannt gegeben.

Analyse

Der Wettbewerb von Nvidia könnte die Automatisierung der Hardwareentwurfsrevolutionieren, wodurch Tech-Riesen und Start-ups, die sich auf fortschrittliche Chiptechnologie verlassen, beeinflusst werden. Die Initiative, von ImageNet inspiriert, zielt darauf ab, die Lücke zwischen AI-Fähigkeiten und praktischer Hardware-Produktion zu schließen. Erfolg hätte Auswirkungen auf den Produktionszyklus von Nvidia, was die Kosten senken und die Innovation beschleunigen würde. Kurzfristig fördert der Wettbewerb die Zusammenarbeit und schnelle Entwicklung, langfristig könnte er die Branchenstandards neu definieren und die Hardwareentwurfs effizienter gestalten.

Wussten Sie?

• Verilog-Code:
  • Verilog ist eine Hardwarebeschreibungssprache (HDL), die zum Modellieren elektronischer Systeme verwendet wird. Es wird am häufigsten in der Konzeption und Verifizierung digitaler Schaltkreise auf Abstraktionsebene verwendet.
  • Die Erstellung eines robusten open-source-Datasets von Verilog-Code zielt darauf ab, LLMs dabei zu helfen, Hardware-Entwürfe zu verstehen und zu generieren, was derzeit aufgrund des Mangels an hardware-spezifischem Schulungsdaten eine Herausforderung darstellt.
• CodeLlama 7B-Instruct-Modell:
  • CodeLlama 7B-Instruct ist eine bestimmte Vari

 

 

  Variant des CodeLlama-Modells, das ein großes Sprachmodell für Codegenerierung und -verständnis ist. Die "7B" deutet darauf hin, dass es etwa 7 Milliarden Parameter hat.
  In diesem Wettbewerbszusammenhang werden die Teilnehmer dieses Modell mithilfe des erweiterten und verbesserten Verilog-Datasets Feinabstimmungen vornehmen, um seine Fähigkeit zu verbessern, praktische Hardware-Entwürfe zu generieren.
* **ImageNet-Revolution**:
  * ImageNet ist eine große visuelle Datenbank, entwickelt für die Verwendung in der Forschung zur visuellen Objekterkennungssoftware. Es ist zu einem Standardmaßstab für Bilderkennungsaufgaben in der maschinellen Lernung geworden.
  * Die "ImageNet-Revolution" bezieht sich auf die bedeutenden Fortschritte in der Bilderkennung nach der Einführung von ImageNet, insbesondere auf die Durchbrüche, die von tiefen Lernmodellen erreicht wurden, die auf seinem Datensatz trainiert wurden.
  * Der Wettbewerb von Nvidia ist von dieser Revolution inspiriert, mit dem Ziel, ähnliche Durchbrüche in der Hardwareentwurfsachieven, indem ein umfassendes Dataset für das Training von LLMs auf hardware-spezifische Aufgaben erstellt wird.