Hailo-8 Century-0804 PCIe Starter Kit (104 TOPS)

Hailo-8 ist ein moderner KI-Beschleunigerchip für Deep Neural Networks. Hailo-8 ist insbesondere für Vision-Anwendungen geeignet. Das ist die Century 0804 PCI-Express Variante des Hailo-8 AI Processors (mehrere HAILO-8). Zum Betrieb wird eine Host-CPU benötigt. 

Technische Daten

HAILO-8 Century PCIe Card 0804

• Modellnummer: 0804
• Performance: bis zu 104 TOPS
• Formfaktor: PCIe CEM single slot low profile
• Interface: PCIe Gen 3, 16-lanes
• Abmessungen: 68.89 mm (2.712”) x 167.64 mm (6.6”)
• TDP: 45W
• mit Kühlkörper
• benötigt 12 V Versorgung vom PCIe Steckplatz

Hinweis: enthält zusätzlich einen ATX Stromversorgungsanschluss der benutzt werden muss wenn die erforderliche Leistung nicht über den PCIe Slot bereitgestellt werden kann.

Softwareunterstützung (Inferencing)

• führt Deep Learning Neural Networks mit hoher Leistungseffizienz aus
• besonders gut für CNNs geeignet (Computer Vision Anwendungen)
• ermöglicht parallel mehrere Modelle & Streams zu prozessieren
• Linux, Windows
• Unterstützt TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
• Kompatibel mit ARM und x86 Systemen. 

Hinweise

• CE & FCC Class A zertifiziert
• Betriebstemperatur: -40°C - +85°C (Umgebungstemperatur) für die HFR18B4I1XA Variante
  

Dokumentation & Downloads

• HAILO-8 Century PCIe Cards Product brief (PDF)
• Hailo Developer Zone
• Hailo Software Downloads - alles was benötigt wird um Hailo AI Prozessoren zu installieren und zu betreiben
• Hailo Dokumentation und Datenblätter
• Hailo Model Explorer - ermöglicht das passendste AI Modell als Basis für Ihre Anwendung zu wählen
• Hailo Community
• Hailo auf GitHub

Beratung durch buyzero

Wir beraten Sie ob Ihr Modell auf dem HAILO-8 lauffähig ist, und ob Sie Ihr Projekt mit Hilfe von HAILO-8 umsetzen können. Kontaktieren Sie uns dazu bitte.

FAQ

Was sind Beispielanwendungen für dieses Modul?

Man kann mit diesem Modul sogenannte Deep Learning Algorithmen, insbesondere CNNs (convolutional neural networks), beschleunigen. 

Dazu gehören:

• Pose Estimation - Schätzung der Pose eines Menschen
• Objekterkennung mit Bounding Boxes (bspw. wo ist ein Fahrrad im Bild, und was ist es)
• Segmentierung - markiere die Bereiche eines Bildes die eine Banane einnimmt
• Nummernschilderkennung
• Gesichtserkennung
• u.v.m.

Kann ich Modelle für den HAILO-8L auch auf einem HAILO-8 laufen lassen?

Ja, das ist möglich! Modelle die für den HAILO-8L kompiliert worden sind laufen auch auf einem HAILO-8.

Ich benötige mehr TOPS, da ich eine komplexe Anwendung habe, was kann ich tun?

Diese HAILO-8 Century-0804 PCIe Karte, hat 104 TOPS. 

Wir bieten in unserem Shop auch eine Lösung mit 52 TOPS - das Biscotti Modul an. Es nutzt dazu zwei HAILO-8 Module, und hat einen EDSFF E1.S Anschluss - der in Storage Servern zum Einsatz kommt. 

Dadurch kann das Biscotti Dual HAILO Modul auch in Clustern verbaut werden, und in einem 19'' Server bspw. auf 1600 TOPS skaliert werden. Wir stehen gerne bei Fragen zur Verfügung!

Ist der HAILO-8 eine gute Alternative zum Google Coral? 

Ja, der HAILO-8 ist für Anwender mit höheren Leistungsansprüchen eine gute Alternative zur Google Coral Serie. 

Google Coral kann hingegen gut in Anwendungen zum Einsatz kommen wo 4 TOPS Rechenleistung ausreichen, da sie günstiger sind. 

Kann ich LLMs auf dem HAILO-8 ausführen, bpsw. LLAMA?

LLMs = Large Language Modelle (so etwas wie ChatGPT / GPT4-o, bzw. LLAMA, Falcon, usw.)

Nein, dafür ist der HAILO-8 nicht ausgelegt. Grafikkarten auf denen diese LLMs typischerweise laufen haben schnellen direkt angebundenen Speicher. Der HAILO-8 hat unter anderem nicht genügend Speicher, um diese Modelle laden zu können. 

HAILO hat ein zukünftiges Produkt, den HAILO-10 angekündigt. Dieser wird eine Speicherschnittstelle haben, und auch GenAI Anwendungen wie LLMs besser unterstützen.

Kann ich damit Modelle trainieren?

Nein, der HAILO-8 ist ausschließlich für die Inferenz (int8) gedacht. Zum Training von Modellen wird typischerweise eine klassische GPU eingesetzt.

HAILO bietet hier Unterstützung mit einer Reihe von vorgebauten Docker-Containern, mit denen Modelle trainiert und auch angepasst werden können.

Das Model Build Environment wird wie im Diagramm gezeigt auf einem eigenen dafür vorgesehenen Computer betrieben, der über die notwendigen technischen Parameter verfügt. HAILO-8 selbst ist für Edge-Anwendungen gedacht, für die Inferenz, zusammen mit der HailoRT Runtime.

Wir unterstützen gerne bei technischen Fragen zu Modellen.

Physikalische Abmessungen

Alle Abmessungen in mm. Nur als Referenz, nicht für 3D-Modellierung geeignet.

Misc

• Hailo SKUs / alternative Bezeichnungen: 
  • HFR18B4I1XA = Hailo-8, Century-0804 PCIe Starter Kit- industrial 
    Temp. -40 to +80°C
  • HFR18B4I1XA/HAI
• HS Code: 85176200
• Country of origin: Taiwan
• auf dieser Seite bestellen Sie ein Stück, wenden Sie sich bei Großbedarf gerne an uns
• Lead Time (Nachlieferzeit): aktuell 12 Wochen

English Description

Hailo-8 is a modern AI accelerator chip designed for deep neural networks, particularly suited for vision applications. This is the Century 0804 PCI-Express variant of the Hailo-8 AI Processor (multiple HAILO-8). A host CPU is required for operation.

Technical Specifications

• Model Number: 0804
• Performance: Up to 104 TOPS
• Form Factor: PCIe CEM single slot low profile
• Interface: PCIe Gen 3, 16-lanes
• Dimensions: 68.89 mm (2.712”) x 167.64 mm (6.6”)
• TDP: 45W (includes heatsink)
• Power Supply: Requires 12V from PCIe slot

Note: Includes an additional ATX power supply connector that must be used if the required power is not provided through the PCIe slot.

Software Support (Inferencing)

• Executes deep learning neural networks with high performance efficiency
• Particularly suited for CNNs (Computer Vision applications)
• Allows processing of multiple models & streams in parallel
• Supports Linux and Windows
• Compatible with TensorFlow, TensorFlow Lite, Keras, PyTorch, ONNX
• Compatible with ARM and x86 systems

Additional Information

• CE & FCC Class A certified
• Operating Temperature: -40°C to +85°C (ambient temperature) for the HFR18B4I1XA variant

Consulting through buyzero

We will assess whether your model can run on the HAILO-8 and if you can implement your project with the help of HAILO-8. Please contact us for assistance.

FAQ

What are example applications for this module? This module can accelerate deep learning algorithms, particularly CNNs (convolutional neural networks). Examples include:

• Pose estimation
• Object detection with bounding boxes (e.g., identifying bicycles in images)
• Segmentation (marking areas of an image occupied by a banana)
• License plate recognition
• Face recognition
• And more.

Can I run models compiled for HAILO-8L on a HAILO-8?

Yes, models compiled for the HAILO-8L will run on a HAILO-8.

I need more TOPS for a complex application; what can I do?

This HAILO-8 Century-0804 PCIe card offers 104 TOPS. We also provide a solution with 52 TOPS, the Biscotti module, which utilizes two HAILO-8 modules and features an EDSFF E1.S connector for use in storage servers. This allows the Biscotti dual HAILO module to be used in clusters, scaling up to 1600 TOPS in a 19” server.

Is the HAILO-8 a good alternative to Google Coral?

Yes, the HAILO-8 is a good alternative for users with higher performance requirements compared to the Google Coral series. Google Coral is better suited for applications where 4 TOPS of computing power are sufficient due to its lower cost.

Can I run LLMs on the HAILO-8, e.g., LLAMA?

No, the HAILO-8 is not designed for that. GPUs typically used for LLMs have fast, directly attached memory. The HAILO-8 does not have sufficient memory to load these models. HAILO has announced a future product, the HAILO-10, which will feature a memory interface and better support for GenAI applications like LLMs.

Can I train models with it?

No, the HAILO-8 is exclusively for inference (int8). For training models, traditional GPUs are typically used. HAILO offers support with a range of pre-built Docker containers for model training and adaptation.

Miscellaneous Hailo SKUs / alternative designations:

• HFR18B4I1XA = Hailo-8, Century-0804 PCIe Starter Kit - industrial
• Temperature Range: -40 to +80°C
• HS Code: 85176200
• Country of Origin: Taiwan
• To order a single piece, please contact us for bulk requests.
• Lead Time: currently 12 weeks.