Сбер открыл доступ к нейросетевой модели генерации текста для русского языка ruGPT-3.5 13B, сообщает пресс-служба банка.
Её дообученная версия лежит в основе сервиса GigaChat. Также банк выложил новую версию модели mGPT 13B – самую большую из семейства многоязычных моделей Сбера, способную генерировать тексты на 61 языке. Обе модели доступны на HuggingFace, и их могут использовать все разработчики (модели опубликованы под открытой лицензией MIT от английского MIT License – лицензия открытого и свободного программного обеспечения, разработанная Массачусетским технологическим институтом).
ruGPT-3.5
Внутри GigaChat находится целый ансамбль моделей – NeONKA (NEural Omnimodal Network with Knowledge-Awareness). Для его создания нужно было выбрать базовую языковую модель, которую потом можно было обучать на инструктивных данных. Russian Generative Pretrained Transformer версии 3.5 с 13 миллиардов параметров (ruGPT-3.5 13B) – новая версия нейросети ruGPT-3 13B.
Это современная модель генерации текста для русского языка на основе доработанной исследователями Сбера архитектуры GPT-3 от OpenAI. Модель ruGPT-3.5 13B содержит 13 миллиардов параметров и умеет продолжать тексты на русском и английском языках, а также на языках программирования. Длина контекста модели составляет 2048 токенов. Она обучена на текстовом корпусе размером около 1 Тб, в который, помимо уже использованной для обучения ruGPT-3 большой коллекции текстовых данных из открытых источников, вошли, например, часть открытого сета с кодом The Stack от коллаборации исследователей BigCode и корпусы новостных текстов. Финальный чекпоинт модели – это базовый претрейн для дальнейших экспериментов.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub. В обучении модели участвовали команды SberDevices и Sber AI при поддержке Института искусственного интеллекта AIRI.
mGPT
Также в открытом доступе опубликована многоязычная модель mGPT 13B под открытой лицензией MIT. Версия mGPT 13B содержит 13 миллиардов параметров и способна продолжать тексты на 61 языке, включая языки стран СНГ и малых народов России. Длина контекста модели составляет 512 токенов. Она была обучена на 600 Гб текстов на разных языках, собранных из очищенных и подготовленных датасетов multilingual C4 и других открытых источников.
Модель может использоваться для генерации текста, решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путём дообучения или в составе ансамблей моделей.
Модель также доступна на российской платформе ML Space в хабе предобученных моделей и датасетов DataHub.
– Сбер как ведущая технологическая компания выступает за открытость технологий и обмен опытом с профессиональным сообществом, ведь любые разработки и исследования имеют ограниченный потенциал в замкнутой среде. Поэтому, мы уверены, что публикация обученных моделей подстегнёт работу российских исследователей и разработчиков, нуждающихся в сверхмощных языковых моделях, создавать на их базе собственные технологические продукты и решения. Пробуйте, экспериментируйте и обязательно делитесь полученными результатами, – говорит старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка Андрей Белевцев.
В парке «Ривьера» в Сочи всегда есть чем заняться. Можно просто прогуляться по этому прекрасному зеленому месту и полюбоваться красивыми ухоженными растениями, сходить в дельфинарий или океанариум, покататься на каруселях (кто с ребятишками) или заглянуть в музеи. А еще здесь можно посмотреть интереснейшее «Шоу крокодилов», что и сделала как-то раз блогер с YouTube Надежда и показала это своей аудитории.
Самолет – транспорт удобный и комфортный, но все же очень опасный. И происшествие с ним связанное может произойти не только в воздухе, но и на земле. Так, например, случилось в Екатеринбурге, в аэропорту Кольцово. Там самолет переехал человека.
Два спецборта МЧС вылетели на поиски обломков вертолета, на борту которого находился 63-летний президент Ирана Эбрахим Раиси. Крушение вертолета произошло 19 мая на территории Азербайджана.
Перед некоторыми женщинами сильный пол может испытывать страх. Такую эмоцию у мужчин могут вызывать сильные представительницы прекрасной половины человечества. Сильная энергетика женщин сеет в мужчинах тревогу.
Народный праздник Купальница отмечается 20 мая. Само название этого дня говорит само за себя – сегодня нужно купаться. Например, пойти для принятия водных процедур на речку или на озеро. Для этого дня есть определенные традиции и запреты. Какие они?
Вдова Валентина Юдашкина рассказала, что уже в июне на могиле модельера появится памятник из бронзы и гранита. Торжественное открытие должно состояться примерно 15 числа, точная дата еще не определена.
В студии программы «Малахов» звезда телесериала «Склифосовский» Ирина Основина рассказала, как из-за общения с неприятной незнакомкой оказалась на костылях.
В настоящее время певец Николай Носков проходит лечение в больнице. На фоне пневмонии у него развилась тромбоэмболия, спровоцировав дыхательную недостаточность.
Часть украинских поклонников ушли с концерта певца Андрея Данилко, выступающего под псевдонимом Верка Сердючка. Об этом сообщает местное издание ТСН.ua.
Журналистка и телеведущая Ксения Собчак рассказала о проблемах, с которыми она сталкивается из-за своей фамилии. Подробностями она поделилась в своем Telegram-канале.
По делу об убийстве мужа фотомодель Лилию Судакову суд в Санкт-Петербурге приговорил к четырем годам лишения свободы условно. Действия женщины были переквалифицированы по ст. о причинении тяжкого вреда здоровью.