Facebook сообщила в блоге об открытии кода библиотеки FBGEMM. Она оптимизирована для выполнения вычислений в моделях глубокого обучения при помощи производительности процессора.
Особенности FBGEMM
Система осуществляет функциональное и производительное автоматические конфигурирования аппаратных средств, создавая фрагменты кода индивидуально для архитектуры ядра во время выполнения программы. Ключевыми особенностями разработчики называют следующие:
- оптимизацию для низкоточных данных вместо стандартных библиотек линейной алгебры, которые используют для вычислений (они работают с числами, имеющими одинарную или двойную точность и содержащими плавающую запятую);проведение низкоточного умножения матриц для пакетов малых размеров и поддержку техник минимизации потери точности (например построчной дискретизации);применение объединённых возможностей для преодоления особых проблем матричного умножения, связанных с пропускной способностью до и после операций GEMM.
Повышение производительности
FBGEMM успешно использовали для инструментов на основе ИИ в соцсети Facebook. Согласно данным от разработчиков, перевод с английского языка на испанский ускорили в 1,3 раза, снизили загрузку канала частот динамической памяти с произвольным доступом (DRAM) на 40 %, а также в 2,4 раза ускорили определение личности с помощью инструмента Rosetta.
В начале ноября 2018 года компания также рассказала о платформе Horizon на базе фреймворков PyTorch 1.0, Caffe2 и Spark. По словам создателей, она получает статус open source и открывает возможность применения машинного обучения с подкреплением для оптимизации процессов перехода от исследований к разработке масштабных проектов и сервисов.
Источник: