Connect with us

Deutsch

Intel bringt den neuromorphen Loihi-Chip der zweiten Generation mit großen Ergebnissen bei Optimierungsproblemen auf den Markt

Published

on

Loihi 2, ausgesprochen “Low-EE-he”, halbiert die Größe des Chips und verachtfacht die Anzahl der künstlichen Spiking-Neuronen. Hier ist das Äußere des Chips mit seinen Kontakten zur Verbindung mit der Leiterplatte zu sehen.

Walden Kirsch/Intel

Intel hat am Donnerstag die zweite Version seines neuromorphen Loihi-Chips “Loihi 2” vorgestellt, einem Prozessor für künstliche Intelligenz, der die Prozesse, die im menschlichen Gehirn ablaufen, im Vergleich zu anderen KI-Technologien besser widerspiegelt.

Der neue Chip wird in einem fortschrittlicheren Prozessknoten auf die Hälfte geschrumpft, ist jetzt 31 Quadratmillimeter groß, enthält aber eine Million künstliche Spiking-Neuronen, achtmal so viele wie sein Vorgänger.

Und der Chip gewinnt neue Flexibilität durch einen umfangreicheren Mikrocode, der dem Betrieb der Spiking-Neuronen zugrunde liegt.

Loihi, ausgesprochen “low-EE-he”, ist nach einem hawaiianischen Meeresberg benannt, einem jungen Vulkan, “der jederzeit aus dem Meer auftaucht”, wie Mike Davies, Intels Direktor für Neuromorphic Computing, es ausdrückt.

Der neue Chip bekommt auch ein neues Entwicklungsframework namens Lava, das in Java geschrieben und als Open Source veröffentlicht wird. Entwickler können an Programmen für Loihi arbeiten, ohne Zugriff auf die Hardware zu haben. Die Software ist auf Github verfügbar.

Intel stellte die erste Version von Loihi bereits 2017 vor und beschrieb sie damals als einen Chip, der „inspiration von der Art und Weise, wie Neuronen kommunizieren und lernen, mithilfe von Spikes und Kunststoffsynapsen, die basierend auf dem Timing moduliert werden können“, beschrieb.

Der Chip ist als “Mesh” von Rechenkernen gestaltet

loihi-explainer.jpg

Der erste Loihi wurde mit der 14-Nanometer-Prozesstechnologie von Intel hergestellt. Die neue Version verwendet Intels Intel 4-Technologie, da das Unternehmen seine Fertigungsgenerationen umbenannt hat. Es wird angenommen, dass es sich im Grunde genommen um einen 7-Nanometer-Chip handelt, obwohl Intel keine vollständigen Details der Prozesstechnologie bekannt gegeben hat.

Der Chip erhält einen flexibleren Mikrocode, der es Programmierern ermöglicht, “Variablen zuzuweisen und eine Vielzahl von Anweisungen auszuführen, die als kurze Programme in einer Assemblersprache organisiert sind”, sagt Intel.

Diese Programme haben Zugriff auf den neuronalen Zustandsspeicher, die akkumulierte synaptische Eingabe ai für den aktuellen Zeitschritt, Zufallsbits für stochastische Modelle und einen Zeitschrittzähler für zeitgesteuerte Berechnungen. Der Befehlssatz unterstützt bedingte Verzweigung, bitweise Logik und Festkomma-Arithmetik, unterstützt durch Hardware-Multiplikatoren.

“Es fügt viel Allgemeingültigkeit und Programmierbarkeit hinzu, während wir zuvor durch die festen Funktionssätze in Loihi 1 eingeschränkt waren”, sagte Davies von Intel in einem Interview mit ZDNet via Telefon.

Intel habe mit dem Chip die Leistung auf vielen Ebenen verbessert, sagte er.

“Wir haben Workloads, die über zehnmal schneller laufen, und auf Schaltungsebene liegen wir je nach Parameter zwischen zwei bis sieben Mal.” Intel hat auch die “Chip-to-Chip-Skalierbarkeit” erhöht, indem die Bandbreite auf jeder Verbindung zwischen den Kernen mit vier multipliziert wurde.

Der Chip ist in der Lage, in drei Dimensionen zu skalieren, sagte Davies, indem er Inter-Chip-Links verwendet.

Der Chip hat jetzt fast 150 Forschungsgruppen auf der ganzen Welt, die Loihi verwenden, sagte Davies.

Die Befürworter des neuromorphen Computings argumentieren, dass der Ansatz die tatsächlichen Merkmale der Gehirnfunktion besser nachbildet, wie beispielsweise die große Wirtschaftlichkeit, mit der das Gehirn Signale überträgt.

Der Bereich Deep Learning, der einen anderen Ansatz zur KI verfolgt, hat neuromorphe Ansätze dafür kritisiert, dass sie keine praktischen Ergebnisse erzielt haben, im Gegensatz zu Deep-Learning-Systemen wie ResNet, die Bilder in Bildern herauslesen können. Der Leiter der KI von Facebook, Yann LeCun, wies 2019 den neuromorphen Ansatz auf einer Konferenz zurück, auf der er und Davies sprachen.

loihi-2-close-up-of-cells.jpg

Ein Foto des Netzes der Rechenkerne in Loihi 2.

Intel

In einem Papier, das Anfang dieses Jahres in IEEE-Spektrum, brachten Davies und Kollegen Beweise für die ihrer Meinung nach nachweisbaren Vorteile neuromorpher Chips bei einer Vielzahl von Problemen. Wie sie es in der Arbeit formulieren, haben neuromorphe Chips Vorteile, wenn es Elemente in einem Problem wie Rekursion gibt, die sie mit der Art und Weise, wie das Gehirn verarbeitet, in Verbindung bringen:

Während konventionelle tiefe neuronale Feedforward-Netzwerke bei Loihi nur bescheidene Vorteile zeigen, führen mehr gehirninspirierte Netzwerke, die Rezidive, präzise Spike-Timing-Beziehungen, synaptische Plastizität, Stochastik und Sparsity verwenden, bestimmte Berechnungen mit einer um Größenordnungen geringeren Latenz und Energie im Vergleich zu konventionelle Ansätze auf dem neuesten Stand der Technik. Diese überzeugenden neuromorphen Netzwerke lösen eine Vielzahl von Problemen, die für gehirnähnliche Berechnungen repräsentativ sind, wie z

„Wir haben ein Portfolio von Ergebnissen, die zum ersten Mal wirklich quantitativ das Versprechen neuromorpher Hardware bestätigen, signifikante Gewinne bei der Energieeffizienz, der Latenz der Verarbeitung und der Dateneffizienz bestimmter Lernalgorithmen zu erzielen“, sagte Davies ZDNet.

“Es war eine der wirklich angenehmen Überraschungen, dass neuromorphe Chips bei der Lösung von Optimierungsproblemen fantastisch sind”, sagte Davies. “Es ist nicht so überraschend, weil Gehirne ständig optimieren”, sagte er.

Bei den Deep-Learning-Formen des maschinellen Lernens ist der Prozess der Vorhersage, der Inferenz, ein strikter “Feed-Forward-Prozess”, sagte Davies. Im Gegensatz dazu, sagte Davies, “ist das Gehirn ein viel komplexerer Prozess, es berücksichtigt immer Feedback, sein Verständnis von Kontext und Erwartungen, in seine Schlussfolgerungen.”

loihi-benchmark-results.jpg

Das Loihi-Team von Intel beschreibt Benchmark-Ergebnisse im Vergleich zu herkömmlichen Deep-Learning-Ansätzen. Die Loihi-Einträge sind die drei Netzwerke, die als “SLAYER” aufgeführt sind, was für “Spike Layer Error Reassignment” steht, ein Werkzeug, das 2018 von Wissenschaftlern der National University of Singapore entwickelt wurde, um das Training neuromorpher Spikes mit Backpropagation zu ermöglichen.

Intel

Als Ergebnis “führt das Gehirn tatsächlich Optimierungen durch”, sagte er. “Da wir einige dieser Fähigkeiten in einem mathematischen Standardrahmen abstrahiert haben, haben wir festgestellt, dass wir Probleme wie QUBO, quadratische unbeschränkte Primäroptimierung, lösen können”, eine Klasse von Problemen, die in Quantencomputern durchgeführt wurden.

„Wir haben festgestellt, dass wir QUBO-Probleme tatsächlich fantastisch gut lösen können“, sagte er.

Ein früher Benutzer von Loihi 2, das Los Alamos National Laboratory des US-Energieministeriums, berichtet, dass er mit dem Chip Verbindungen über mehrere Domänen hinweg herstellen konnte. Loihi zum Beispiel, wie er Querströme beim maschinellen Lernen und beim Quantencomputing aufdeckt, so Dr. Gerd J. Kunde, Mitarbeiter von Los Alamos:

Forscher des Los Alamos National Laboratory haben die neuromorphe Loihi-Plattform verwendet, um die Kompromisse zwischen Quanten- und neuromorphem Computing zu untersuchen und Lernprozesse auf dem Chip zu implementieren. Diese Forschung hat einige aufregende Äquivalenzen zwischen neuronalen Netzen mit Spiking und Quanten-Annealing-Ansätzen zur Lösung harter Optimierungsprobleme gezeigt. Wir haben auch gezeigt, dass der Backpropagation-Algorithmus, ein grundlegender Baustein für das Training neuronaler Netze, von dem bisher angenommen wurde, dass er auf neuromorphen Architekturen nicht implementiert werden kann, auf Loihi effizient realisiert werden kann. Unser Team freut sich, diese Forschung mit dem Loihi 2-Chip der zweiten Generation fortzusetzen.

In einem demnächst eingereichten Papier an IEEE-Spektrum, Davies und das Team beschreiben Experimente mit Loihi 2, in denen sie den Chip mit Standardaufgaben des maschinellen Lernens, wie dem Datensatz von Google Speech Commands, durch Training eines mehrschichtigen Perzeptronmodells verglichen und es mit dem Best-in-Class-Tief verglichen haben network, ein von Google-Forschern erstelltes Modell, über das letztes Jahr berichtet wurde.

Die Loihi-Einträge verwendeten ein Tool namens “SLAYER”, das für “Spike Layer Error Reassignment” steht, ein Programm, das 2018 von Sumit Bam Shrestha und Garrick Orchardat von der National University of Singapore eingeführt wurde, um das Training neuromorpher Spikes mit Backpropagation zu ermöglichen.

Ein Modell, das in Windungen backt, erreichte bei diesem Test eine Genauigkeit von 91,74 %, was besser ist als das Standard-Deep-Network, aber mit weit weniger Parametern.

Continue Reading

Copyright © 2021 Meta Mag Inc.