Ускоритель LinQ HPQ

Ускоритель LinQ HPQ

LinQ HPQ предназначен для инфраструктуры ЦОД и запуска ИИ-приложений с инференсом нейросетей в реальном времени, сверхнизкой задержкой (до 1,5 мс для ResNet-50) и скоростью передачи до 8 Гбайт/с. Ускоритель на четырех процессорах LinQ H с 64 ГБ DDR4 ECC, собственным стеком, поддержкой TF2 и PyTorch (ONNX) идеален для интеллектуальной видеоаналитики, биометрии, MLaaS и распределенных вычислений.

Цена: по запросу
Описание

LinQ HPQ – универсальный ускоритель для центров обработки данных

Модуль LinQ HPQ предназначен для запуска ИИ-приложений и применения в стандартной инфраструктуре центров обработки данных.

LinQ HPQ входит в линейку модулей ускорения LinQ стандарта PCI Express (PCIe). Скорость передачи данных до 8 Гбайт/с (8 линий) позволяет использовать модули LinQ HPQ для выполнения инференса нейронных сетей в реальном времени с низкой задержкой, обеспечивая потоковую передачу входных данных и результатов инференса.

Ускоритель построен на базе четырех тензорных процессоров LinQ H, что позволяет добиться максимальной производительности устройства при решении целевых задач.

Ключевые характеристики


  • Сверхнизкая задержка при малом батче (текущий: 2,3ms, возможность оптимизации до 1,5 ms для ResNet-50)
  • Высокая эффективность на малом батче на CNN /Transformer моделях
  • Нет сторонних IP в вычислителях (ARM, etc.)
  • Оптимизаторы компилятора с элементами ИИ
  • Программный стек собственной разработки
  • Прямая интеграция с TF2
  • Интеграция PyTorch через ONNX
  • Пиковая производительность: 96 TOPS (int8)
  • Поддержка инференса нескольких моделей
  • Форм-фактор: PCIe Full Length
  • PCIe интерфейс: x16 PCIe Gen3
  • Тактовая частота: 500-812 МГц (ПО управляема)
  • Память: 64 ГБ DDR4 ECC
  • Потребление: 120/140 Вт (типовое/пиковое)
  • Watchdog Timer, Power Monitor, мониторинг температуры

Области применения


  • Интеллектуальная видеоаналитика
  • Оптимизация энергопотребления
  • Исследование и разработка лекарств
  • Персонализация контента
  • Распределенные вычисления
  • Машинное обучение как услуга (MLaaS)
  • Городская безопасность
  • Биометрия

Обратиться в компанию