Apple объединяется с NVIDIA для ускорения языковых моделей искусственного интеллекта

Как технический энтузиаст с более чем двадцатилетним опытом работы за плечами, я должен сказать, что это сотрудничество между Apple и NVIDIA — не что иное, как новаторство! Будучи непосредственным свидетелем эволюции приложений искусственного интеллекта, я могу подтвердить значимость таких улучшений в производительности.

Apple обнародовала планы партнерства с NVIDIA, направленные на значительное повышение скорости и эффективности больших языковых моделей (LLM). Это достигается за счет применения нового метода генерации текста, который обеспечивает значительное повышение скорости проектов на основе искусственного интеллекта.

Ранее в этом году Apple выпустила и сделала общедоступной Recurrent Drafter (ReDrafter) — метод, который объединяет стратегии поиска по лучам и стратегии динамического дерева для ускорения процессов генерации текста. Лучевой поиск позволяет одновременно исследовать множество возможных вариантов текста для улучшения результатов, а внимание к дереву упорядочивает и устраняет ненужные повторения среди этих вариантов для повышения эффективности.

Как технический энтузиаст, я в восторге от последней разработки: Apple органично интегрировала платформу NVIDIA TensorRT-LLM в свою систему. Эта интеграция оптимизирует модели больших языков (LLM) для работы на графических процессорах NVIDIA (GPU). По словам Apple, эта интеграция привела к «самой современной производительности». Во время тестирования производственной модели с десятками миллиардов параметров этой технологии удалось увеличить скорость генерации токенов в секунду в впечатляющие 2,7 раза!

По заявлению Apple, эти улучшения приводят к менее заметному времени задержки для пользователей, а также к снижению использования графического процессора и энергопотребления. (Из блога Apple по исследованиям машинного обучения)

В последнее время модели больших языков (LLM) широко используются для создания продуктивных приложений. Повышение эффективности вывода не только снижает вычислительные затраты, но и уменьшает задержку пользователя. Интегрировав инновационный метод спекулятивного декодирования ReDrafter в среду NVIDIA TensorRT-LLM, разработчики теперь могут наслаждаться более быстрым производством токенов на графических процессорах NVIDIA для своих производственных проектов LLM.

Заинтересованные разработчики могут изучить подробную информацию о реализации ReDrafter на официальном сайте Apple, а также в блоге разработчиков NVIDIA для получения пошагового руководства.

Смотрите также

• Обзор Motorola Moto G75: много функций, но есть недостатки

• Месяц, 150 фотографий – мой вердикт камерам OnePlus 13

• Руководство EA Sports FC 25 — Как действительно быстро повысить уровень и получить опыт

• Объяснение полностью фронтальной обнаженной сцены «Дом дракона» Юэна Митчелла

• Почему Люк Кляйнтанк покинул ФБР: International

• Звезда «Чикаго Файр» Имонн Уокер уйдет из регулярного сериала после 12 сезона

• Руководство по легендарным комплектам снаряжения в Assassin’s Creed Shadows — 6 лучших комплектов и где их найти

• Что случилось с Джимом Стритом Алекса Рассела в сериале S.W.A.T. Седьмой сезон?

• Авторы книги «Пространство» возвращаются с «Милосердием богов» — прочтите первую главу прямо сейчас.

• В финале 12-го сезона «Пожарных Чикаго» есть секретная бомба Сильви Бретт, которую вы, возможно, пропустили

2024-12-20 14:30