Hailo-8L ist ein moderner KI-Beschleunigerchip für Deep Neural Networks. Hailo-8L ist insbesondere für Vision-Anwendungen geeignet. Das ist die M.2 B+M-key 2280 Variante des Hailo-8L AI Processors. Zum Betrieb wird eine Host-CPU benötigt.

Technische Daten

HAILO-8L AI Accelerator

bis zu 13 TOPS INT8 performance (trillion operations per second = 13 Billionen Rechenoperationen pro Sekunde / 1,3 * 10^13 Rechenoperationen)
Formfaktor: M.2 2280 B+M-Key
Abmessungen: 22×80 mm
kann durch abbrechen auf 22 x 42 mm oder 22 x 60 mm angepasst werden
Interface: PCIe Gen-3.0, 2 Lanes (bis zu 16 Gbs)
TDP: 6.6 W

Softwareunterstützung (Inferencing)

führt Deep Learning Neural Networks mit hoher Leistungseffizienz aus
besonders gut für CNNs geeignet (Computer Vision Anwendungen)
ermöglicht parallel mehrere Modelle & Streams zu prozessieren
Linux, Windows
Unterstützt TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
Kompatibel mit ARM und x86 Systemen.

Hinweise

CE & FCC Class A zertifiziert
Betriebstemperatur: -40°C - +85°C (Umgebungstemperatur) für die HM21LB1C2LAE Variante (industrieller Temperaturbereich)
Unterstützer Luftfeuchtigkeitsbereich für den Betrieb: 5 % - 90 % RH (nicht kondensierend)
Das ist die HAILO-8L Variante mit 13 TOPS. Wir führen auch die HAILO-8 Varianten mit 26 TOPS in unserem Shop.

Für den Betrieb muss sichergestellt werden, dass die Hitze die das Hailo-8L Modul erzeugt abgeführt wird. Das Modul wurde so designed dass die meiste Hitze zur metallischen Abdeckung des Chips (Top Surface of the Package) hin abgeleitet wird. Wir empfehlen die Application Note "Hailo-8L AI Acceleration Module Thermal Design Considerations" zu lesen.

Dokumentation & Downloads

HAILO-8L M.2 AI Acceleration Modules Product brief (PDF)
Hailo Developer Zone
Hailo Software Downloads - alles was benötigt wird um Hailo AI Prozessoren zu installieren und zu betreiben
Hailo Dokumentation und Datenblätter
Hailo Model Explorer - ermöglicht das passendste AI Modell als Basis für Ihre Anwendung zu wählen
Hailo Community
Hailo auf GitHub

Beratung durch buyzero

Wir beraten Sie ob Ihr Modell auf dem HAILO-8L lauffähig ist, und ob Sie Ihr Projekt mit Hilfe von HAILO-8L umsetzen können. Kontaktieren Sie uns dazu bitte.

FAQ

Was sind Beispielanwendungen für dieses Modul?

Man kann mit diesem Modul sogenannte Deep Learning Algorithmen, insbesondere CNNs (convolutional neural networks), beschleunigen.

Dazu gehören:

Pose Estimation - Schätzung der Pose eines Menschen
Objekterkennung mit Bounding Boxes (bspw. wo ist ein Fahrrad im Bild, und was ist es)
Segmentierung - markiere die Bereiche eines Bildes die eine Banane einnimmt
Nummernschilderkennung
Gesichtserkennung
u.v.m.

Kann ich Modelle für den HAILO-8L auch auf einem HAILO-8 laufen lassen?

Ja, das ist möglich! Modelle die für den HAILO-8L kompiliert worden sind laufen auch auf einem HAILO-8. Umgekehrt funktioniert das nicht - Modelle die für den HAILO-8 kompiliert wurden können auf dem HAILO-8L nicht ausgeführt werden, da hier weniger Ressourcen zur Verfügung stehen.

Ich brauche eine höhere Durchsatzrate / Framerate

Eine einfache Migration ist auf die HAILO-8 M.2 Modulvarianten möglich, insofern Ihr System die zusätzlich erzeugte Abwärme abführen kann. Mit den HAILO-8 M.2 Modulen verdoppelt sich die theoretische Compute-Leistung für Deep Learning Netzwerke auf 26 TOPS von 13 TOPS für HAILO-8L:

HAILO-8 M.2 A+E Key
HAILO-8 M.2 B+M Key
HAILO-8 M.2 M Key (für besonders hohen Datendurchsatz am besten dank 4 PCIe Lanes)

Falls die Framerate immer noch unbefriedigend ist, lesen Sie bitte die nächste Frage (Ich benötige mehr TOPS).

Ich benötige mehr TOPS, da ich eine komplexe Anwendung habe, was kann ich tun?

Dieses HAILO-8L Modul, hat 13 TOPS. Bitte beachten Sie die vorige Frage zu der einfachen Möglichkeit auf HAILO-8 Module mit 26 TOPS zu wechseln.

Für noch mehr Leistung:

Wir bieten in unserem Shop auch eine Lösung mit 52 TOPS - das Biscotti Modul an. Es nutzt dazu zwei HAILO-8 Module, und hat einen EDSFF E1.S Anschluss - der in Storage Servern zum Einsatz kommt.

Dadurch kann das Biscotti Dual HAILO Modul auch in Clustern verbaut werden, und in einem 19'' Server bspw. auf 1600 TOPS skaliert werden. Wir stehen gerne bei Fragen zur Verfügung!

Ist der HAILO-8L eine gute Alternative zum Google Coral?

Ja, der HAILO-8L ist für Anwender mit höheren Leistungsansprüchen eine gute Alternative zur Google Coral Serie.

Google Coral kann hingegen gut in Anwendungen zum Einsatz kommen wo 4 TOPS Rechenleistung ausreichen, da sie günstiger sind.

Wozu sind die abbrechbaren Platinenteile gedacht?

In manchen Systemen können nur größere Module, bspw. M.2 2280 (80 mm) befestigt werden. Für andere Systeme wird diese zusätzliche Befestigungsmöglichkeit nicht benötigt.

Kann ich LLMs auf dem HAILO-8L ausführen, bpsw. LLAMA?

LLMs = Large Language Modelle (so etwas wie ChatGPT / GPT4-o, bzw. LLAMA, Falcon, usw.)

Nein, dafür ist der HAILO-8L nicht ausgelegt. Grafikkarten auf denen diese LLMs typischerweise laufen haben schnellen direkt angebundenen Speicher. Der HAILO-8L hat unter anderem nicht genügend Speicher, um diese Modelle laden zu können.

HAILO hat ein zukünftiges Produkt, den HAILO-10 angekündigt. Dieser wird eine Speicherschnittstelle haben, und auch GenAI Anwendungen wie LLMs besser unterstützen.

Kann ich damit Modelle trainieren?

Nein, der HAILO-8L ist ausschließlich für die Inferenz (int8) gedacht. Zum Training von Modellen wird typischerweise eine klassische GPU eingesetzt.

HAILO bietet hier Unterstützung mit einer Reihe von vorgebauten Docker-Containern, mit denen Modelle trainiert und auch angepasst werden können.

Das Model Build Environment wird wie im Diagramm gezeigt auf einem eigenen dafür vorgesehenen Computer betrieben, der über die notwendigen technischen Parameter verfügt. HAILO-8L selbst ist für Edge-Anwendungen gedacht, für die Inferenz, zusammen mit der HailoRT Runtime.

Wir unterstützen gerne bei technischen Fragen zu Modellen.

Physikalische Abmessungen

Alle Abmessungen in mm. Nur als Referenz, nicht für 3D-Modellierung geeignet.

Misc

Hailo SKUs / alternative Bezeichnungen:
- HM21LB1C2LAE = Hailo-8, M.2 module A+E key 2230 - industrial
  Temp. -40 to +85°C
- HM21LB1C2LAE/HAI
HS Code: 85176200
Country of origin: Taiwan
Packungsmenge einer Großverpackung: 20 (auf dieser Seite bestellen Sie ein Stück, wenden Sie sich bei Großbedarf gerne an uns)
Lead Time (Nachlieferzeit): aktuell 12 Wochen

English Description

Hailo-8L is a modern AI accelerator chip for Deep Neural Networks. Hailo-8L is particularly suitable for vision applications. This is the M.2 B+M-key 2280 variant of the Hailo-8L AI Processor. A host CPU is required for operation.

Technical Specifications

HAILO-8L AI Accelerator
Up to 13 TOPS INT8 performance (trillion operations per second = 13 trillion operations per second / 1.3 * 10^13 operations)
Form factor: M.2 2280 B+M-Key
Dimensions: 22×80 mm
Can be adjusted to 22 x 42 mm or 22 x 60 mm by breaking off parts
Interface: PCIe Gen-3.0, 2 Lanes (up to 16 Gbps)
TDP: 6.6 W

Software Support (Inferencing)

Executes deep learning neural networks with high efficiency
Especially suitable for CNNs (computer vision applications)
Allows parallel processing of multiple models & streams
Linux, Windows
Supports TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
Compatible with ARM and x86 systems.

Notes

CE & FCC Class A certified
Operating temperature: -40°C - +85°C (ambient temperature) for the HM21LB1C2LAE variant (industrial temperature range)
Supported operating humidity range: 5% - 90% RH (non-condensing)
This is the HAILO-8L variant with 13 TOPS. We also offer the HAILO-8 variants with 26 TOPS in our store.

Ensure that the heat generated by the Hailo-8L module is dissipated.

The module is designed so that most of the heat is directed towards the metallic cover of the chip (top surface of the package). We recommend reading the Application Note "Hailo-8L AI Acceleration Module Thermal Design Considerations."

FAQ
What are example applications for this module?

This module can accelerate deep learning algorithms, particularly CNNs (convolutional neural networks).

These include:

Pose estimation (estimating the pose of a person)
Object detection with bounding boxes (e.g., where is a bicycle in the image, and what is it)
Segmentation (mark the areas of an image occupied by a banana)
License plate recognition
Facial recognition
And much more.

Can I run models for the HAILO-8L on a HAILO-8?

Yes, it’s possible! Models compiled for the HAILO-8L can also run on a HAILO-8. The reverse is not true—models compiled for the HAILO-8 cannot be executed on the HAILO-8L due to fewer available resources.

I need higher throughput/framerate.

A simple migration to HAILO-8 M.2 module variants is possible, as long as your system can dissipate the additional heat. The theoretical compute performance for deep learning networks doubles to 26 TOPS from 13 TOPS for the HAILO-8L with the HAILO-8 M.2 modules:

HAILO-8 M.2 A+E Key
HAILO-8 M.2 B+M Key
HAILO-8 M.2 M Key (best for high data throughput due to 4 PCIe lanes)

If the framerate is still unsatisfactory, please read the next question (I need more TOPS).

I need more TOPS for a complex application, what can I do?

This HAILO-8L module has 13 TOPS. Please refer to the previous question about the simple option to switch to HAILO-8 modules with 26 TOPS.

For even more performance:
We also offer a solution with 52 TOPS in our shop—the Biscotti module. It uses two HAILO-8 modules and has an EDSFF E1.S connector, commonly used in storage servers.

This allows the Biscotti Dual HAILO module to be installed in clusters and scaled up to 1600 TOPS in a 19" server. We are happy to assist with any questions.

Is the HAILO-8L a good alternative to Google Coral?

Yes, the HAILO-8L is a good alternative for users with higher performance demands compared to the Google Coral series.

Google Coral is more suitable for applications where 4 TOPS of processing power are sufficient, as it is more affordable.

What is the purpose of the breakable board sections?

In some systems, only larger modules, such as the M.2 2280 (80 mm), can be mounted. For other systems, this extra mounting option is not needed.

Can I run LLMs (like LLAMA) on the HAILO-8L?

LLMs = Large Language Models (like ChatGPT/GPT4-o, LLAMA, Falcon, etc.)
No, the HAILO-8L is not designed for this. GPUs that typically run these LLMs have fast, directly attached memory. The HAILO-8L lacks the necessary memory to load these models.

HAILO has announced a future product, the HAILO-10, which will have a memory interface and better support for GenAI applications like LLMs.

Can I train models on it?

No, the HAILO-8L is intended solely for inference (INT8). Model training typically requires a classic GPU.

HAILO supports this with a range of pre-built Docker containers, enabling model training and customization.
The model build environment, as shown in the diagram, is operated on a separate dedicated computer with the necessary technical parameters. The HAILO-8L itself is designed for edge applications, for inference, together with the HailoRT runtime.

We are happy to assist with technical questions regarding models.

Misc
Hailo SKUs/Alternative Designations:

HM21LB1C2LAE = Hailo-8, M.2 module A+E key 2230 - industrial
Temp. -40 to +85°C
HM21LB1C2LAE/HAI
HS Code: 85176200
Country of origin: Taiwan
Packaging quantity of a large package: 20 (you are ordering a single piece here; please contact us for bulk orders)
Lead time: currently 12 weeks