Как технический энтузиаст с более чем двадцатилетним опытом работы за плечами, я должен сказать, что это сотрудничество между Apple и NVIDIA — не что иное, как новаторство! Будучи непосредственным свидетелем эволюции приложений искусственного интеллекта, я могу подтвердить значимость таких улучшений в производительности.
🚀 Хочешь улететь на Луну вместе с нами? Подписывайся на CryptoMoon! 💸 Новости крипты, аналитика и прогнозы, которые дадут твоему кошельку ракетный ускоритель! 📈 Нажмите здесь: 👇
CryptoMoon Telegram
Apple обнародовала планы партнерства с NVIDIA, направленные на значительное повышение скорости и эффективности больших языковых моделей (LLM). Это достигается за счет применения нового метода генерации текста, который обеспечивает значительное повышение скорости проектов на основе искусственного интеллекта.
Ранее в этом году Apple выпустила и сделала общедоступной Recurrent Drafter (ReDrafter) — метод, который объединяет стратегии поиска по лучам и стратегии динамического дерева для ускорения процессов генерации текста. Лучевой поиск позволяет одновременно исследовать множество возможных вариантов текста для улучшения результатов, а внимание к дереву упорядочивает и устраняет ненужные повторения среди этих вариантов для повышения эффективности.
Как технический энтузиаст, я в восторге от последней разработки: Apple органично интегрировала платформу NVIDIA TensorRT-LLM в свою систему. Эта интеграция оптимизирует модели больших языков (LLM) для работы на графических процессорах NVIDIA (GPU). По словам Apple, эта интеграция привела к «самой современной производительности». Во время тестирования производственной модели с десятками миллиардов параметров этой технологии удалось увеличить скорость генерации токенов в секунду в впечатляющие 2,7 раза!
По заявлению Apple, эти улучшения приводят к менее заметному времени задержки для пользователей, а также к снижению использования графического процессора и энергопотребления. (Из блога Apple по исследованиям машинного обучения)
В последнее время модели больших языков (LLM) широко используются для создания продуктивных приложений. Повышение эффективности вывода не только снижает вычислительные затраты, но и уменьшает задержку пользователя. Интегрировав инновационный метод спекулятивного декодирования ReDrafter в среду NVIDIA TensorRT-LLM, разработчики теперь могут наслаждаться более быстрым производством токенов на графических процессорах NVIDIA для своих производственных проектов LLM.
Заинтересованные разработчики могут изучить подробную информацию о реализации ReDrafter на официальном сайте Apple, а также в блоге разработчиков NVIDIA для получения пошагового руководства.
Смотрите также
- Первый трейлер «Мира Юрского периода: Возрождение» открывает новую эру экшена с динозаврами
- Настоящая причина, по которой Ильза Фауст в исполнении Ребекки Фергюсон покинула сериал «Миссия невыполнима»
- Бобби умрет в 9-1-1? Объяснение дикой концовки 7 сезона
- Обзор Motorola Moto G75: много функций, но есть недостатки
- Правда о Мии из «Ужасающего 3» ошеломит вас
- Настоящая причина, по которой доктор Итан Чой из Брайана Ти покинул Chicago Med
- В финале 12-го сезона «Пожарных Чикаго» есть секретная бомба Сильви Бретт, которую вы, возможно, пропустили
- Обнаженные сцены Антихриста Уиллема Дефо потребовали дублера, чтобы решить большую проблему
- ГРОМАКИ NVIDIA GEFORCE RTX 50-й серии не поддерживают 32-битный Physx в старых играх
- Что случилось с Джимом Стритом Алекса Рассела в сериале S.W.A.T. Седьмой сезон?
2024-12-20 14:30