Hailo-8 ist ein moderner KI-Beschleunigerchip für Deep Neural Networks. Hailo-8 ist insbesondere für Vision-Anwendungen geeignet. Das ist die M.2 B+M-key 2280 Variante des Hailo-8 AI Processors. Zum Betrieb wird eine Host-CPU benötigt.
Technische Daten
HAILO-8 AI Accelerator
- bis zu 26 TOPS INT8 performance (trillion operations per second = 26 Billionen Rechenoperationen pro Sekunde / 2,6 * 10^13 Rechenoperationen)
- Formfaktor: M.2 2280 B+M-Key
- Abmessungen: 22×80 mm
- kann durch abbrechen auf 22 x 42 mm oder 22 x 60 mm angepasst werden
- Interface: PCIe Gen-3.0, 2 Lanes (bis zu 16 Gbs)
-
TDP: 8.65 W (2.5 A @ 3.3V)
Softwareunterstützung (Inferencing)
- führt Deep Learning Neural Networks mit hoher Leistungseffizienz aus
- besonders gut für CNNs geeignet (Computer Vision Anwendungen)
- ermöglicht parallel mehrere Modelle & Streams zu prozessieren
- Linux, Windows
- Unterstützt TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
- Kompatibel mit ARM und x86 Systemen.
Hinweise
- CE & FCC Class A zertifiziert
- Betriebstemperatur: -40 bis 85°C (Umgebungstemperatur) für die HM218B1C2LAE Variante
- In der Abbildung sind die zwei Tabs (Erweiterung auf M.2 2280) bereits abgebrochen
- Optional auch als Hailo-8 starter Kit B+M Key erhältlich
(siehe HAILO Website als Grafikquelle mit Erklärung der Testparameter)
Für den Betrieb muss sichergestellt werden, dass die Hitze die das Hailo-8 Modul erzeugt abgeführt wird. Das Modul wurde so designed dass die meiste Hitze zur metallischen Abdeckung des Chips (Top Surface of the Package) hin abgeleitet wird. Wir empfehlen die Application Note "Hailo-8 AI Acceleration Module Thermal Design Considerations" zu lesen.
Dokumentation & Downloads
- HAILO-8 M.2 AI Acceleration Modules Product brief (PDF)
- Hailo Developer Zone
- Hailo Software Downloads - alles was benötigt wird um Hailo AI Prozessoren zu installieren und zu betreiben
- Hailo Dokumentation und Datenblätter
- Hailo Model Explorer - ermöglicht das passendste AI Modell als Basis für Ihre Anwendung zu wählen
- Hailo Community
- Hailo auf GitHub
Beratung durch buyzero
Wir beraten Sie ob Ihr Modell auf dem HAILO-8 lauffähig ist, und ob Sie Ihr Projekt mit Hilfe von HAILO-8 umsetzen können. Kontaktieren Sie uns dazu bitte.
FAQ
Was sind Beispielanwendungen für dieses Modul?
Man kann mit diesem Modul sogenannte Deep Learning Algorithmen, insbesondere CNNs (convolutional neural networks), beschleunigen.
Dazu gehören:
- Pose Estimation - Schätzung der Pose eines Menschen
- Objekterkennung mit Bounding Boxes (bspw. wo ist ein Fahrrad im Bild, und was ist es)
- Segmentierung - markiere die Bereiche eines Bildes die eine Banane einnimmt
- Nummernschilderkennung
- Gesichtserkennung
- u.v.m.
Kann ich Modelle für den HAILO-8L auch auf einem HAILO-8 laufen lassen?
Ja, das ist möglich! Modelle die für den HAILO-8L kompiliert worden sind laufen auch auf einem HAILO-8.
Ich brauche eine höhere Durchsatzrate / Framerate
Das HAILO-8 M.2 M-key Modul hat eine Anbindung mit 4 PCIe Gen-3.0 Lanes, während das B+M Modul und das A+E Modul nur 2 Lanes nutzen können. Eine höhere Framerate könnte bspw. auch durch die Limitation durch die PCI Express Bandbreite beeinflusst sein - wir empfehlen daher als erstes die M-Key Variante auszuprobieren. Dabei sollte natürlich sichergestellt werden, dass der Host-Computer die vier PCIe Lanes bereitstellen kann. Falls die Framerate immer noch unbefriedigend ist, lesen Sie bitte die nächste Frage (Ich benötige mehr TOPS).
Ich benötige mehr TOPS, da ich eine komplexe Anwendung habe, was kann ich tun?
Dieses HAILO-8 Modul, hat 26 TOPS.
Wir bieten in unserem Shop auch eine Lösung mit 52 TOPS - das Biscotti Modul an. Es nutzt dazu zwei HAILO-8 Module, und hat einen EDSFF E1.S Anschluss - der in Storage Servern zum Einsatz kommt.
Dadurch kann das Biscotti Dual HAILO Modul auch in Clustern verbaut werden, und in einem 19'' Server bspw. auf 1600 TOPS skaliert werden. Wir stehen gerne bei Fragen zur Verfügung!
Ist der HAILO-8 eine gute Alternative zum Google Coral?
Ja, der HAILO-8 ist für Anwender mit höheren Leistungsansprüchen eine gute Alternative zur Google Coral Serie.
Google Coral kann hingegen gut in Anwendungen zum Einsatz kommen wo 4 TOPS Rechenleistung ausreichen, da sie günstiger sind.
Wozu sind die abbrechbaren Platinenteile gedacht?
In manchen Systemen können nur größere Module, bspw. M.2 2280 (80 mm) befestigt werden. Für andere Systeme wird diese zusätzliche Befestigungsmöglichkeit nicht benötigt.
Kann ich LLMs auf dem HAILO-8 ausführen, bpsw. LLAMA?
LLMs = Large Language Modelle (so etwas wie ChatGPT / GPT4-o, bzw. LLAMA, Falcon, usw.)
Nein, dafür ist der HAILO-8 nicht ausgelegt. Grafikkarten auf denen diese LLMs typischerweise laufen haben schnellen direkt angebundenen Speicher. Der HAILO-8 hat unter anderem nicht genügend Speicher, um diese Modelle laden zu können.
HAILO hat ein zukünftiges Produkt, den HAILO-10 angekündigt. Dieser wird eine Speicherschnittstelle haben, und auch GenAI Anwendungen wie LLMs besser unterstützen.
Kann ich damit Modelle trainieren?
Nein, der HAILO-8 ist ausschließlich für die Inferenz (int8) gedacht. Zum Training von Modellen wird typischerweise eine klassische GPU eingesetzt.
HAILO bietet hier Unterstützung mit einer Reihe von vorgebauten Docker-Containern, mit denen Modelle trainiert und auch angepasst werden können.
Das Model Build Environment wird wie im Diagramm gezeigt auf einem eigenen dafür vorgesehenen Computer betrieben, der über die notwendigen technischen Parameter verfügt. HAILO-8 selbst ist für Edge-Anwendungen gedacht, für die Inferenz, zusammen mit der HailoRT Runtime.
Wir unterstützen gerne bei technischen Fragen zu Modellen.
Physikalische Abmessungen
Alle Abmessungen in mm. Nur als Referenz, nicht für 3D-Modellierung geeignet.
Misc
- Hailo SKUs / alternative Bezeichnungen:
- HM218B1C2LAE = Hailo-8, M.2 module B+M key 2280 - ext. Temp. -40 to 85°C
- HM218B1C2LAE/HAI
- HM218B1C2LA = Hailo-8, M.2 module B+M key 2280 - commercial
Temp. 0 to 70 - HM218B1C2LA/HAI
- HS Code: 85176200
- Country of origin: Taiwan
- Packungsmenge einer Großverpackung: 20 (auf dieser Seite bestellen Sie ein Stück, wenden Sie sich bei Großbedarf gerne an uns)
- Lead Time (Nachlieferzeit): aktuell 12 Wochen
English Description
Hailo-8 is a modern AI accelerator chip designed for deep neural networks, particularly suited for vision applications. This is the M.2 B+M-key 2280 version of the Hailo-8 AI Processor. A host CPU is required for operation.
Technical Specifications
-
HAILO-8 AI Accelerator
- Up to 26 TOPS INT8 performance (trillion operations per second = 26 trillion operations per second / 2.6 * 10^13 operations)
- Form Factor: M.2 2280 B+M-Key
-
Dimensions: 22×80 mm
- Can be adjusted by breaking down to 22 x 42 mm or 22 x 60 mm
- Interface: PCIe Gen-3.0, 2 Lanes (up to 16 Gbps)
- TDP: 8.65 W (2.5 A @ 3.3V)
Software Support (Inferencing)
- Executes deep learning neural networks with high performance efficiency
- Especially well-suited for CNNs (Computer Vision applications)
- Allows multiple models & streams to be processed in parallel
- Supported OS: Linux, Windows
- Supports: TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
- Compatible with ARM and x86 systems
Notes
- CE & FCC Class A certified
- Operating Temperature: -40 to 85°C (ambient) for the HM218B1C2LAE variant
- The image shows two tabs (extension to M.2 2280) already broken off.
- Optional Hailo-8 Starter Kit B+M Key available
Ensure that the heat generated by the Hailo-8 module is dissipated. The module is designed to transfer most of the heat to the metal cover of the chip (Top Surface of the Package). We recommend reading the Hailo-8 AI Acceleration Module Thermal Design Considerations application note.
Consultation by buyzero
We offer advice on whether your model can run on HAILO-8 and help you implement your project with HAILO-8. Please contact us for further details.
FAQ
What are example applications for this module?
You can accelerate deep learning algorithms, especially CNNs, with this module. Example use cases include:
- Pose Estimation – estimating human posture
- Object Detection with bounding boxes (e.g., detecting where a bicycle is in the image and identifying it)
- Segmentation – marking areas in an image, such as where a banana is located
- License Plate Recognition
- Facial Recognition, and many more.
Can I run models compiled for HAILO-8L on a HAILO-8?
Yes, models compiled for HAILO-8L can also run on HAILO-8.
I need higher throughput/frame rate.
The HAILO-8 M.2 M-key module has a connection with 4 PCIe Gen-3.0 lanes, whereas the B+M and A+E modules only use 2 lanes. The frame rate may be limited by PCI Express bandwidth. We recommend trying the M-key variant first, ensuring that your host computer supports the four PCIe lanes. If the frame rate remains unsatisfactory, refer to the next question on increasing TOPS.
I need more TOPS for a complex application, what can I do?
This HAILO-8 module has 26 TOPS.
We also offer a 52 TOPS solution with the Biscotti Module in our shop. It uses two HAILO-8 modules and has an EDSFF E1.S connection, typically used in storage servers. The Biscotti Dual HAILO module can also be scaled up to 1600 TOPS in a 19'' server cluster. We’re happy to assist with any questions!
Is the HAILO-8 a good alternative to Google Coral?
Yes, HAILO-8 is a good alternative for users with higher performance demands.
Google Coral, however, is more suitable for applications where 4 TOPS is sufficient, as it is more cost-effective.
What are the breakable PCB sections for?
In some systems, only larger modules, such as M.2 2280 (80 mm), can be mounted. For other systems, this additional mounting option is unnecessary.
Can I run LLMs like LLAMA on HAILO-8?
LLMs = Large Language Models (such as ChatGPT/GPT-4, LLAMA, Falcon, etc.)
No, HAILO-8 is not designed for this. GPUs typically used for these models have fast, directly connected memory, which HAILO-8 lacks.
Hailo has announced a future product, HAILO-10, which will have a memory interface and will better support GenAI applications such as LLMs.
Can I train models on HAILO-8?
No, HAILO-8 is only for inference (int8). For model training, a traditional GPU is typically used.
HAILO provides support with several pre-built Docker containers for training and adapting models.
The Model Build Environment is run on a separate computer with the required technical specs. HAILO-8 is intended for edge applications, primarily for inference, and is used with the HailoRT Runtime.
Feel free to reach out with technical questions about models.
Physical Dimensions
All dimensions are in mm. For reference only, not suitable for 3D modeling.
Miscellaneous
- Hailo SKUs / alternative designations:
- HM218B1C2LAE = Hailo-8, M.2 module B+M key 2280 - extended temp. range -40 to 85°C
- HM218B1C2LA = Hailo-8, M.2 module B+M key 2280 - commercial temp. range 0 to 70°C
- HS Code: 85176200
- Country of origin: Taiwan
- Pack size: 20 pieces (you are ordering 1 unit here, contact us for bulk orders)
- Lead time: currently 12 weeks