Biscotti E1.S AI-Modul

(english description below)

Mit dem Biscotti E1.S AI-Modul, das 2 Hailo-8 Edge AI-Prozessoren nutzt, erreichen Sie eine beispiellose Leistung von bis zu 52 Tera-Operationen pro Sekunde (TOPS). Diese herausragende Leistung wird mit einem minimalen Energieverbrauch von nur 10 Watt erzielt. Dank einer Architektur, die die Kernprinzipien neuronaler Netzwerke optimal nutzt, ermöglichen die Hailo-8-Chips auf E1.S edge devices, Deep-Learning-Anwendungen effizienter, effektiver und nachhaltiger als andere AI-Chips und Lösungen auszuführen.

Leistung im Vergleich zum Energieverbrauch

Das Biscotti E1.S AI-Modul bietet 52 TOPS bei nur 10 Watt. Es nutzt 2 Hailo-8 Edge AI-Prozessoren, die jeweils bis zu 26 TOPS bieten, und übertrifft damit deutlich alle anderen Edge-Prozessormodule. Mit dem E1.S können beide AI-Prozessoren so betrieben werden, dass sie eine Leistung und Energieeffizienz liefern, die anderen führenden Lösungen weit überlegen ist.

Plug-and-Play für Server und Edge Devices

Das besondere an dieser Lösung: Das Biscotti E1.S Dual AI Prozessor Modul kann direkt in E1.S-Slots, die normalerweise für SSDs verwendet werden, eingeführt werden, um sofort künstliche Intelligenz in einer größeren Serverkonfiguration bereitzustellen.

Ob zur Unterstützung mehrerer paralleler neuronaler Netzwerke von einer großen Anzahl von Kameraeingängen oder integriert als ein einziges großes Sprachmodell zur Lösung der größten KI-Fälle – bei deutlich geringerem Energieverbrauch als GPU-Module oder Add-In-Karten kann eine Lösung mit Biscotti den Stromverbrauch eines Rechenzentrums massiv verändern.

Unterstützung für neuronale Netzwerke und Anwendungen

Die auf dem Biscotti E1.S integrierten HAILO-8 AI-Prozessoren verfügen über eine robuste Software-Suite, die moderne Deep-Learning-Modelle und Anwendungen sofort unterstützt. Mit einem umfassenden Datenfluss-Compiler können Nutzer ihre neuronalen Netzwerkmodelle einfach und schnell portieren. Mit Unterstützung für AI-Frameworks wie TensorFlow, TensorFlow Lite, Keras, PyTorch und ONNX unterstützt Biscotti heute Edge Neural Nets und in Zukunft generative KI.

Produktspezifikationen

AI-Prozessor: Dual Hailo-8 (auf Anfrage ebenso als Einzelausführung verfügbar)
Formfaktor: E1.S (EDSFF)
Maximale Leistung: 10 Watt
Leistung: 52 TOPS (auf Anfrage als 26 TOPS Einzelausführung verfügbar)
Schnittstelle: EDSFF (PCIe Gen 3)
Unterstützte Frameworks: TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Unterstützte Betriebssysteme: Linux, Windows
Zertifizierungen: CE, FCC, VCCi, KCC, WEEE
Abmessungen: 33.75mm x 118.75mm x 9.5mm (5.9mm ohne Kühlkörpergehäuse)
Kühlkörper / Gehäuse: ja, auf Anfrage ohne verfügbar
Betriebstemperatur: 0°C ~ 70°C

Biscotti-Performance (mit Atom X6414RE):

Resnet_V1_50-Imagenet: 2692.61 fps
Yolov3_Gluon: 50 fps
Yolov3: 50.4 fps
Yolov4-leaky: 56.59 fps
Centerpose_regentx_1.6gf: 4633.13 fps

Performance von 8 Biscotti-Modulen (mit AMD Genoa System):

Resnet_V1_50-Imagenet: 21.5K fps
Yolov3_Gluon: 400 fps
Yolov3: 403.2 fps
Yolov4-leaky: 452.72 fps
Centerpose_regentx_1.6gf: 37.1K fps

Downloads

Biscotti E1.S HAILO-8 module Product brief v1.1 (PDF)

English Description

Biscotti E1.S AI Module

With the Biscotti E1.S AI Module, which uses up to 2 Hailo-8 Edge AI processors, you achieve an unparalleled performance of up to 52 tera-operations per second (TOPS). This exceptional performance is achieved with a minimal power consumption of only 10 watts. With an architecture that optimally leverages the core principles of neural networks, the Hailo-8 chips on the E1.S enable edge devices to run deep learning applications more efficiently, effectively, and sustainably than other AI chips and solutions.

Performance vs Power

The Biscotti E1.S AI Module provides 52 TOPS from as little as 10 watts. Utilizing 2 Hailo-8 Edge AI processors, each featuring up to 26 TOPS, it significantly outperforms all other edge processor modules. With the E1.S, both AI processors can be powered to deliver performance and power efficiency superior to other leading solutions by a considerable order of magnitude.

Plug-and-Play for Servers and Edge Devices

The Biscotti E1.S can be inserted directly into E1.S slots, normally used for SSDs, to instantly provide artificial intelligence in a larger server configuration. Whether to support multiple parallel neural networks from a large array of camera inputs or integrated together as a single large language model array to solve the largest AI cases – at much lower power than GPU modules or add-in cards, a solution using Biscotti can change the game for a data center's power envelope.

Neural Network Models & Application Support

The AI processors integrated onto the Biscotti E1.S have a robust software suite that supports state-of-the-art deep learning models and applications out-of-the-box. With a comprehensive dataflow compiler, customers can easily and quickly port their neural network models. With support for AI frameworks such as TensorFlow, TensorFlow Lite, Keras, PyTorch, and ONNX, Biscotti supports edge neural nets today and generative AI in the future.

Product Specifications

AI Processor: Dual Hailo-8 (Single available on request)
Form Factor: E1.S (EDSFF)
Max Power: 10 Watts
Performance: 52 TOPS (Single 26 TOPS available on request)
Interface: EDSFF (PCIe Gen 3)
Supported Frameworks: TensorFlow, TensorFlow Lite, ONNX, Keras, PyTorch
Supported OS: Linux, Windows
Certification: CE, FCC, VCCi, KCC, WEEE
Dimensions: 33.75mm x 118.75mm x 9.5mm (5.9mm without heat sink enclosure)
Operating Temperature: 0°C ~ 70°C

Biscotti Performance (with Atom X6414RE):

Resnet_V1_50-Imagenet: 2692.61 fps
Yolov3_Gluon: 50 fps
Yolov3: 50.4 fps
Yolov4-leaky: 56.59 fps
Centerpose_regentx_1.6gf: 4633.13 fps

8 x Biscotti Modules Performance (with AMD Genoa System):

Resnet_V1_50-Imagenet: 21.5K fps
Yolov3_Gluon: 400 fps
Yolov3: 403.2 fps
Yolov4-leaky: 452.72 fps
Centerpose_regentx_1.6gf: 37.1K fps

Downloads

Biscotti E1.S HAILO-8 module Product brief v1.1 (PDF)

Unigen order codes:

UCT101-010-NC - Single AI TPU (available on request)
UCT201-021-NC - Dual AI TPU w/12 lane Switch (available on request)
UCT201‐021‐HS - Dual AI TPU (9.5mm Heatsink) w/12 lane Switch (this product)