Intel Xeon, Core™ Ultra и AI PC ускоряют рабочие нагрузки GenAI

В рамках своей миссии по внедрению ИИ повсеместно Intel инвестирует в программное обеспечение и экосистему ИИ, чтобы гарантировать, что ее продукция готова к последним инновациям в динамичном пространстве ИИ. В центрах обработки данных процессоры Intel Gaudi и Intel Xeon с ускорением Intel® Advanced Matrix Extension (Intel® AMX) предоставляют заказчикам возможности для удовлетворения динамичных и разнообразных требований.

Процессоры Intel Core Ultra и графические продукты Intel Arc обеспечивают как локальную разработку, так и развертывание на миллионах устройств с поддержкой комплексных программных фреймворков и инструментов, включая PyTorch и Intel® Extension for PyTorch®, используемые для локальных исследований и разработок, и инструментарий OpenVINO™ для разработки моделей и выводов.В первоначальных результатах тестирования и производительности моделей Llama 3 8B и 70B Intel использует открытое программное обеспечение, включая PyTorch, DeepSpeed, библиотеку Intel Optimum Habana и Intel Extension for PyTorch для обеспечения новейших программных оптимизаций.

Процессоры Intel Xeon предназначены для решения сложных сквозных рабочих нагрузок ИИ, и Intel вкладывает средства в оптимизацию результатов LLM для снижения задержек. Процессоры Intel® Xeon® 6 с ядрами Performance-cores (кодовое название Granite Rapids) демонстрируют двукратное улучшение задержки вывода Llama 3 8B по сравнению с процессорами Intel® Xeon® 4-го поколения и возможность запускать более крупные языковые модели, такие как Llama 3 70B, менее чем за 100 мс на генерируемый токен.

Intel Core Ultra и Intel Arc Graphics обеспечивают впечатляющую производительность для Llama 3. В ходе первого раунда тестирования процессоры Intel Core Ultra уже генерируют текст быстрее, чем обычная скорость чтения человеком. Кроме того, графический процессор Intel® Arc™ A770 имеет ускорение ИИ Xe Matrix eXtensions (XMX) и 16 ГБ выделенной памяти, что обеспечивает исключительную производительность для рабочих нагрузок LLM.