Как технический энтузиаст с более чем двадцатилетним опытом работы за плечами, я должен сказать, что это сотрудничество между Apple и NVIDIA — не что иное, как новаторство! Будучи непосредственным свидетелем эволюции приложений искусственного интеллекта, я могу подтвердить значимость таких улучшений в производительности.
🚀 Хочешь улететь на Луну вместе с нами? Подписывайся на CryptoMoon! 💸 Новости крипты, аналитика и прогнозы, которые дадут твоему кошельку ракетный ускоритель! 📈 Нажмите здесь: 👇
CryptoMoon Telegram
Apple обнародовала планы партнерства с NVIDIA, направленные на значительное повышение скорости и эффективности больших языковых моделей (LLM). Это достигается за счет применения нового метода генерации текста, который обеспечивает значительное повышение скорости проектов на основе искусственного интеллекта.
Ранее в этом году Apple выпустила и сделала общедоступной Recurrent Drafter (ReDrafter) — метод, который объединяет стратегии поиска по лучам и стратегии динамического дерева для ускорения процессов генерации текста. Лучевой поиск позволяет одновременно исследовать множество возможных вариантов текста для улучшения результатов, а внимание к дереву упорядочивает и устраняет ненужные повторения среди этих вариантов для повышения эффективности.
Как технический энтузиаст, я в восторге от последней разработки: Apple органично интегрировала платформу NVIDIA TensorRT-LLM в свою систему. Эта интеграция оптимизирует модели больших языков (LLM) для работы на графических процессорах NVIDIA (GPU). По словам Apple, эта интеграция привела к «самой современной производительности». Во время тестирования производственной модели с десятками миллиардов параметров этой технологии удалось увеличить скорость генерации токенов в секунду в впечатляющие 2,7 раза!
По заявлению Apple, эти улучшения приводят к менее заметному времени задержки для пользователей, а также к снижению использования графического процессора и энергопотребления. (Из блога Apple по исследованиям машинного обучения)
В последнее время модели больших языков (LLM) широко используются для создания продуктивных приложений. Повышение эффективности вывода не только снижает вычислительные затраты, но и уменьшает задержку пользователя. Интегрировав инновационный метод спекулятивного декодирования ReDrafter в среду NVIDIA TensorRT-LLM, разработчики теперь могут наслаждаться более быстрым производством токенов на графических процессорах NVIDIA для своих производственных проектов LLM.
Заинтересованные разработчики могут изучить подробную информацию о реализации ReDrafter на официальном сайте Apple, а также в блоге разработчиков NVIDIA для получения пошагового руководства.
Смотрите также
- Обзор Motorola Moto G75: много функций, но есть недостатки
- Как смотреть фильмы «Загадки Ханны Свенсен» по порядку
- Настоящая причина, по которой Ильза Фауст в исполнении Ребекки Фергюсон покинула сериал «Миссия невыполнима»
- Сцены секса в «Дюне» Дени Вильнева не включили в список из-за рейтинга PG-13.
- 7 сериалов, похожих на «Лето, когда я стала красивой»
- Последняя битва Человека-паука: объяснение темной смерти Питера Паркера
- Destiny 2 предлагает бесплатный доступ ко всем дополнениям и эпизодам с 8 по 22 июля.
- 5 лучших сезонов «Острова любви» в Великобритании (рейтинг)
- Обзор Motorola Moto G35 5G: резче, но медленнее
- Обзор Undead Inc. – Это редко «кончается»
2024-12-20 14:30