Hailo-8R Mini PCIe module (13 TOPS)

Hailo-8R ist ein moderner KI-Beschleunigerchip für Deep Neural Networks. Hailo-8R ist insbesondere für Vision-Anwendungen geeignet. Zum Betrieb wird eine Host-CPU benötigt. 

Technische Daten

HAILO-8R AI Accelerator

• bis zu 13 TOPS INT8 performance (trillion operations per second = 13 Billionen Rechenoperationen pro Sekunde / 1,3 * 10^13 Rechenoperationen)
• Formfaktor: mPCIe Full-Mini (mini PCI Express) 
• Abmessungen: 30×50.95 mm
• Interface: PCIe Gen-3.0, 1 Lane (bis zu 8 Gbs)
• TDP: 2.3 W
  

2.3W sind gemäß der PCI Express Mini Card Electromechanical Specification Revision 2.1. HAILO empfiehlt bei berechnungsintensiven AI Beschleunigungsanwendungen eine höhere TDP von 3.6 W zu nutzen.

Softwareunterstützung (Inferencing)

• führt Deep Learning Neural Networks mit hoher Leistungseffizienz aus
• besonders gut für CNNs geeignet (Computer Vision Anwendungen)
• ermöglicht parallel mehrere Modelle & Streams zu prozessieren
• Linux, Windows
• Unterstützt TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
• Kompatibel mit ARM und x86 Systemen. 

Hinweise

• CE & FCC Class A zertifiziert
• Betriebstemperatur: -40°C - +85°C (Umgebungstemperatur) für die HMP1RB1C2GAE Variante (industrieller Temperaturbereich)
• Unterstützer Luftfeuchtigkeitsbereich für den Betrieb: 5 % - 90 % RH (nicht kondensierend) 
• Das ist die HAILO-8R Variante mit 13 TOPS. Wir führen auch die HAILO-8 Varianten mit 26 TOPS in unserem Shop. 

Für den Betrieb muss sichergestellt werden, dass die Hitze die das Hailo-8R Modul erzeugt abgeführt wird. Das Modul wurde so designed dass die meiste Hitze zur metallischen Abdeckung des Chips (Top Surface of the Package) hin abgeleitet wird. Wir empfehlen die Application Note "Hailo-8R AI Acceleration Module Thermal Design Considerations" zu lesen. 

Dokumentation & Downloads

• HAILO-8R M.2 AI Acceleration Modules Product brief (PDF)
• Hailo Developer Zone
• Hailo Software Downloads - alles was benötigt wird um Hailo AI Prozessoren zu installieren und zu betreiben
• Hailo Dokumentation und Datenblätter
• Hailo Model Explorer - ermöglicht das passendste AI Modell als Basis für Ihre Anwendung zu wählen
• Hailo Community
• Hailo auf GitHub

Beratung durch buyzero

Wir beraten Sie ob Ihr Modell auf dem HAILO-8R lauffähig ist, und ob Sie Ihr Projekt mit Hilfe von HAILO-8R umsetzen können. Kontaktieren Sie uns dazu bitte.

FAQ

Was sind Beispielanwendungen für dieses Modul?

Man kann mit diesem Modul sogenannte Deep Learning Algorithmen, insbesondere CNNs (convolutional neural networks), beschleunigen. 

Dazu gehören:

• Pose Estimation - Schätzung der Pose eines Menschen
• Objekterkennung mit Bounding Boxes (bspw. wo ist ein Fahrrad im Bild, und was ist es)
• Segmentierung - markiere die Bereiche eines Bildes die eine Banane einnimmt
• Nummernschilderkennung
• Gesichtserkennung
• u.v.m.

Kann ich Modelle für den HAILO-8R auch auf einem HAILO-8 laufen lassen?

Ja, das ist möglich! Modelle die für den HAILO-8R kompiliert worden sind laufen auch auf einem HAILO-8. Sie sind allerdings nicht auf einem HAILO-8L lauffähig (der ebenfalls 13 TOPS bietet).

Ich brauche eine höhere Durchsatzrate / Framerate

HAILO-8L in den A+E und B+M Key Varianten bietet ebenso 13 TOPS, allerdings eine höhere PCI Express Bandbreite (jeweils 2 Lanes), falls der Host das auch unterstützt. Dadurch werden manche Modelle unter Umständen mit mehr Leistung ausgeführt, schneller geladen, etc. 

Eine einfache Migration ist auch auf die HAILO-8 M.2 Modulvarianten möglich, insofern Ihr System die zusätzlich erzeugte Abwärme abführen kann, und die M.2 Schnittstelle unterstützt. Mit den HAILO-8 M.2 Modulen verdoppelt sich die theoretische Compute-Leistung für Deep Learning Netzwerke auf 26 TOPS von 13 TOPS für HAILO-8R: 

• HAILO-8 M.2 A+E Key
• HAILO-8 M.2 B+M Key
• HAILO-8 M.2 M Key (für besonders hohen Datendurchsatz am besten dank 4 PCIe Lanes)

Falls die Framerate immer noch unbefriedigend ist, lesen Sie bitte die nächste Frage (Ich benötige mehr TOPS). 

Ich benötige mehr TOPS, da ich eine komplexe Anwendung habe, was kann ich tun?

Dieses HAILO-8R Modul, hat 13 TOPS. Bitte beachten Sie die vorige Frage zu der einfachen Möglichkeit auf HAILO-8 Module mit 26 TOPS zu wechseln.

Für noch mehr Leistung:

Wir bieten in unserem Shop auch eine Lösung mit 52 TOPS - das Biscotti Modul an. Es nutzt dazu zwei HAILO-8 Module, und hat einen EDSFF E1.S Anschluss - der in Storage Servern zum Einsatz kommt. 

Dadurch kann das Biscotti Dual HAILO Modul auch in Clustern verbaut werden, und in einem 19'' Server bspw. auf 1600 TOPS skaliert werden. Wir stehen gerne bei Fragen zur Verfügung!

Ist der HAILO-8R eine gute Alternative zum Google Coral? 

Ja, der HAILO-8R ist für Anwender mit höheren Leistungsansprüchen eine gute Alternative zur Google Coral Serie. 

Google Coral kann hingegen gut in Anwendungen zum Einsatz kommen wo 4 TOPS Rechenleistung ausreichen, da sie günstiger sind. 

Kann ich LLMs auf dem HAILO-8R ausführen, bpsw. LLAMA?

LLMs = Large Language Modelle (so etwas wie ChatGPT / GPT4-o, bzw. LLAMA, Falcon, usw.)

Nein, dafür ist der HAILO-8R nicht ausgelegt. Grafikkarten auf denen diese LLMs typischerweise laufen haben schnellen direkt angebundenen Speicher. Der HAILO-8R hat unter anderem nicht genügend Speicher, um diese Modelle laden zu können. 

HAILO hat ein zukünftiges Produkt, den HAILO-10 angekündigt. Dieser wird eine Speicherschnittstelle haben, und auch GenAI Anwendungen wie LLMs besser unterstützen.

Kann ich damit Modelle trainieren?

Nein, der HAILO-8R ist ausschließlich für die Inferenz (int8) gedacht. Zum Training von Modellen wird typischerweise eine klassische GPU eingesetzt.

HAILO bietet hier Unterstützung mit einer Reihe von vorgebauten Docker-Containern, mit denen Modelle trainiert und auch angepasst werden können.

Das Model Build Environment wird wie im Diagramm gezeigt auf einem eigenen dafür vorgesehenen Computer betrieben, der über die notwendigen technischen Parameter verfügt. HAILO-8R selbst ist für Edge-Anwendungen gedacht, für die Inferenz, zusammen mit der HailoRT Runtime.

Wir unterstützen gerne bei technischen Fragen zu Modellen.

Physikalische Abmessungen

Alle Abmessungen in mm. Nur als Referenz, nicht für 3D-Modellierung geeignet.

Misc

• Hailo SKUs / alternative Bezeichnungen: 
  • HMP1RB1C2GAE = Hailo-8R, mPCIe module - industrial
    Temp. -40 to +85°C
  • HMP1RB1C2GA = Hailo-8R, mPCIe module - commercial
    Temp. 0 to +70°C
  • HMP1RB1C2GAE/HAI
  • HMP1RB1C2GA 
• HS Code: 85176200
• Country of origin: Taiwan
• Packungsmenge einer Großverpackung: 20 (auf dieser Seite bestellen Sie ein Stück, wenden Sie sich bei Großbedarf gerne an uns)
• Lead Time (Nachlieferzeit): aktuell 12 Wochen
• RoHS (10) compliant