«Яндекс» открывает библиотеку YaFSDP для обучения больших языковых моделей - «Новости» » Интернет технологии
sitename
AMD раскрыла потенциал Radeon RX 9070 XT новыми драйверами — GeForce RTX 5070 Ti теперь медленнее - «Новости сети»
AMD раскрыла потенциал Radeon RX 9070 XT новыми драйверами — GeForce RTX 5070 Ti теперь медленнее - «Новости сети»
Honor представила флагманский планшет MagicPad 3 с большим 13,3-дюймовым экраном и ценой от $420 - «Новости сети»
Honor представила флагманский планшет MagicPad 3 с большим 13,3-дюймовым экраном и ценой от $420 - «Новости сети»
Миллионы долларов на ветер — DARPA отменило проект космического рейдера на тепловом ядерном двигателе - «Новости сети»
Миллионы долларов на ветер — DARPA отменило проект космического рейдера на тепловом ядерном двигателе - «Новости сети»
«Кто-то проник в наш дом и что-то украл» — Сэм Альтман назвал отвратительным то, как Meta✴ переманивает специалистов ИИ - «Новости сети»
«Кто-то проник в наш дом и что-то украл» — Сэм Альтман назвал отвратительным то, как Meta✴ переманивает специалистов ИИ - «Новости сети»
Нил Дракманн бросил сериал The Last of Us, чтобы «целиком сосредоточиться» на Intergalactic: The Heretic Prophet - «Новости сети»
Нил Дракманн бросил сериал The Last of Us, чтобы «целиком сосредоточиться» на Intergalactic: The Heretic Prophet - «Новости сети»
Япония запретила продажу смартфонов Google Pixel 7 — Pixel 8 и Pixel 9 тоже под угрозой - «Новости сети»
Япония запретила продажу смартфонов Google Pixel 7 — Pixel 8 и Pixel 9 тоже под угрозой - «Новости сети»
В Пекине прошёл первый в мире футбольный турнир между гуманоидными роботами - «Новости сети»
В Пекине прошёл первый в мире футбольный турнир между гуманоидными роботами - «Новости сети»
Toyota RAV4 по итогам прошлого года обогнала Tesla Model Y в статусе самого популярного в мире автомобиля - «Новости сети»
Toyota RAV4 по итогам прошлого года обогнала Tesla Model Y в статусе самого популярного в мире автомобиля - «Новости сети»
Злоумышленники могут обойти аутентификацию почти 700 моделей принтеров Brother - «Новости»
Злоумышленники могут обойти аутентификацию почти 700 моделей принтеров Brother - «Новости»
Специалисты Cloudflare объяснили, что происходит с российским трафиком - «Новости»
Специалисты Cloudflare объяснили, что происходит с российским трафиком - «Новости»
Как заработать денег, не выходя из дома, мы вам поможем с этим разобраться » Новости » «Яндекс» открывает библиотеку YaFSDP для обучения больших языковых моделей - «Новости»

Компания «Яндекс» выложила в опенсорс библиотеку YaFSDP, которая ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом. Библиотека дает ускорение до 25% (результат зависит от архитектуры и параметров нейросети). С помощью YaFSDP можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения.


В первую очередь библиотека рассчитана на большие языковые модели, хотя подходит и для других нейросетей — например, таких, которые генерируют изображения. Разработчики пишут, что YaFSDP позволяет сократить расходы на оборудование для обучения моделей, что особенно важно для стартапов и, к примеру, научных проектов.


Одна из сложностей в обучении больших языковых моделей — это недостаточная загрузка каналов коммуникации между графическими процессорами. YaFSDP призвана решить эту проблему. Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет.


Специалисты «Яндекса» разработали YaFSDP в процессе обучения своей генеративной модели YandexGPT 3. Компания сообщает, что уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней.



«Яндекс» открывает библиотеку YaFSDP для обучения больших языковых моделей - «Новости»

Исходный код YaFSDP уже доступен на GitHub. Посмотреть подробности замеров можно в репозитории GitHub, а почитать про разработку библиотеки — в статье на «Хабре».

Цитирование статьи, картинки - фото скриншот - Rambler News Service.
Иллюстрация к статье - Яндекс. Картинки.
Есть вопросы. Напишите нам.
Общие правила  поведения на сайте.

Компания «Яндекс» выложила в опенсорс библиотеку YaFSDP, которая ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым исходным кодом. Библиотека дает ускорение до 25% (результат зависит от архитектуры и параметров нейросети). С помощью YaFSDP можно расходовать до 20% меньше ресурсов графических процессоров (GPU), которые требуются для обучения. В первую очередь библиотека рассчитана на большие языковые модели, хотя подходит и для других нейросетей — например, таких, которые генерируют изображения. Разработчики пишут, что YaFSDP позволяет сократить расходы на оборудование для обучения моделей, что особенно важно для стартапов и, к примеру, научных проектов. Одна из сложностей в обучении больших языковых моделей — это недостаточная загрузка каналов коммуникации между графическими процессорами. YaFSDP призвана решить эту проблему. Библиотека оптимизирует использование ресурсов GPU на всех этапах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (выравнивание модели). Благодаря этому YaFSDP задействует ровно столько графической памяти, сколько нужно для обучения, при этом коммуникацию между GPU ничто не замедляет. Специалисты «Яндекса» разработали YaFSDP в процессе обучения своей генеративной модели YandexGPT 3. Компания сообщает, что уже протестировала библиотеку на сторонних нейросетях с открытым исходным кодом. Например, если бы YaFSDP использовалась применительно к модели LLaMA 2, этап предварительного обучения на 1024 графических процессорах сократился бы с 66 до 53 дней. Исходный код YaFSDP уже доступен на GitHub. Посмотреть подробности замеров можно в репозитории GitHub, а почитать про разработку библиотеки — в статье на «Хабре».
CSS

Смотрите также


А что там на главной? )))



Комментарии )))



Войти через: