Прогресс

HPC Park – доступный сервис для AI. Где живет и чему учится Искусственный Интеллект?

Искусственный интеллект (ИИ) – сегодняшний фронтир технологий. Рассказываем о сервисе HPC Park – платформе для обучения и тренировки ИИ под различные задачи

Тренировка искусственного интеллекта в наше время перестала\u000Aбыть прерогативой одних только мегакорпораций уровня Google или Microsoft.\u000AТехнологии и API моделей стали доступны даже для небольших компаний и\u000Aстартапов.

При помощи больших моделей обсчитывают такие практические задачи,\u000Aкак создание дизайнерских проектов, программа тренировок молодых спортсменов,\u000Aобработка результатов медицинской рентгеноскопии и так далее. Каждая такая система\u000Aдолжна быть обучена или дообучена на практическом материале: например,\u000Aмедицинские нейросети на рентгеновских снимках, а метеопрогнозные – на данных\u000Aнаблюдения за погодой. В этих условиях обучение больших моделей (ML/DL)\u000Aстановится разновидностью сервиса. Одной из компаний, предоставляющих этот\u000Aсервис в России, стала HPC Park.

HPC\u000APark Cloud Service – это облачная платформа с GPU для машинного обучения и запуска моделей\u000Aнейросетей. Она предоставляет гибкую адаптируемую инфраструктуру для\u000Aискусственного интеллекта. Компания является сервис-провайдером\u000Aвысокопроизводительных вычислений на GPU и в июле этого года отметит свой\u000Aпятилетний юбилей; вошла в рейтинг TOP-50 суперкомпьютеров СНГ.

Комментарий эксперта
Дудкин Максим Олегович, основатель компании АО «Эйч-Пи-Си Парк»: "Обучение нейросетей – глобальный тренд, имеющий огромные перспективы. Большой и быстрорастущий рынок. Продукты на базе искусственного интеллекта наконец-то стали достаточно массовыми, вышли из эксклюзива больших корпораций.

Они настолько интегрировались в повседневную жизнь, что их просто перестали замечать. Такие системы, как генеративный искусственный интеллект, встраиваются буквально везде, в том числе и в нашей стране. Например, чат-бот, который используется в банке для общения с клиентами. Там и генеративный искусственный интеллект, который позволяет генерировать корректный ответ, и система семантического анализа текста, чтобы понимать, что за запросы делает клиент. При этом наш рынок имеет сейчас устойчивый вектор на импортозамещение, создание и обучение собственных, адаптированных и локализованных решений, что повышает спрос на инфраструктуру для ML/DL, которую как раз и предоставляет наша компания."

Клиенты HPC Park Cloud Service – это компании, предприятия и технологические стартапы, работающие с искусственным интеллектом (AI / Machine\u000ALearning /Deep Learning / Inference), аналитикой и обработкой данных (Data\u000AScience), вычислениями, связанными с обработкой фото и видео, компьютерным зрением,\u000Aмашинным переводом и синтезом, предиктивной аналитикой и контролем, научными вычислениями.\u000AСпециализированный сервис аренды вычислительных мощностей HPC Park бесшовно встраивается в производственный\u000Aпроцесс клиентов, позволяя с минимумом усилий развивать их ИИ-проекты.

Инфраструктура HPC Park представляет собой адаптированные\u000Aпод GPU-вычисления контейнеры с преднастроенным набором библиотек и фреймворков\u000A(TensorFlow, PyTorch, CUDA).\u000AПри этом контейнеры пользователей изолированы друг от друга, доступ к ним\u000Aразграничен, информация всегда в безопасности.\u000AСистема, построенная на промышленном вычислительном оборудовании с надежным\u000Aрезервированием питания, гарантирует полное сохранение состояния контейнера и\u000Aотказоустойчивое хранение данных.

Клиент может в любой момент масштабировать необходимые ему ресурсы\u000Aкак вверх, так и вниз, а также комбинировать их с дополнительными сервисами,\u000Aнапример, виртуальными машинами и хранением на S3. Это одинаково удобно делается\u000Aкак через веб-интерфейс платформы, так и с программной автоматизацией через\u000AAPI.

Преимущества этого предложения – не игровые, а серверные видеокарты\u000A(Doсker-контейнеры с GPU-ускорителями Nvidia Tesla A100), простота работы, а\u000Aтакже удобный биллинг – поминутная или помесячная тарификация услуг аренды\u000Aконтейнеров.

Контейнерная платформа позволяет использовать технологию\u000ANvidia MIG (дробление целой GPU на части). Каждый клиент получает ровно столько\u000Aвычислительных мощностей, сколько ему нужно, не переплачивая за излишки. Если\u000Aполная мощность карты для задачи избыточна, можно использовать часть ее\u000Aпроизводительности.

Комментарий эксперта
Дудкин Максим Олегович, основатель компании АО «Эйч-Пи-Си Парк»: "Большие корпорации могут себе позволить строить собственные системы для ML/DL, для них это обычные капитальные вложения; кроме того, они часто имеют жесткие требования хранения всех данных внутри собственного контура. Однако множество разработчиков предпочитают аренду мощностей. Их проект может быть краткосрочным, так что собственное оборудование не окупится; он может быть разовым, экспериментальным и так далее. Помимо чисто экономических показателей, общей стоимости владения, в наших реалиях приходится учитывать фактор риска – в условиях геополитических трудностей, а также общемирового дефицита чипов, оборудование может быть не поставлено, или сорваны сроки, не выполнены гарантийные обязательства, не будет работать техподдержка. В случае аренды все риски ложатся на нас, задача клиента будет решена в любом случае."

Для чего арендуют облачные вычислительные мощности на основе\u000AGPU у HPC Park?\u000AОдин из примеров – обучение ИИ-систем оценки сельскохозяйственных культур.\u000AЗадача включает в себя осмотр поля с помощью дрона по заданному алгоритму, распознавание\u000Aсорняков, подсчет густоты роста культур и построение на основе этих данных\u000Aпрогнозов урожайности, оценки рисков и подбора агрохимии. Можно также привести\u000Aпример обучения ИИ для лучевой диагностики. Эта задача включает в себя\u000Aвизуальную разметку исследования, выделение ИИ контуров зон для дальнейшей\u000Aработы на фронтальном изображении рентгена, определение типа патологии и\u000Aсоздание отчета, где в текстовой форме указываются обнаруженные в данном\u000Aисследовании патологии и их вероятности.

Одним из клиентов HPC Park является компания ironov.ai от студии Лебедева, которая использует\u000Aсобственную нейросеть для генерации уникальных логотипов и айдентики.

Комментарий эксперта
Гасанов Марат Шамильевич, ML-разработчик компании ironov.ai: "Наш опыт работы с HPC Park, предоставляющей вычислительные мощности для нашей нейросети Ironov, был исключительно положительным. Все процессы функционируют стабильно и без сбоев, задачи выполняются эффективно. Среди них, например, тестирование новых моделей для генерации текста и изображений. Мощности HPC Park позволяют запускать и развертывать современные SOTA модели в таких направлениях, как аудио, изображение и текст. Сотрудничество позволило нам значительно увеличить производительность наших проектов. Мы довольны качеством услуг и надежностью предоставляемых ресурсов."

HPC Park позиционирует\u000Aсебя в первую очередь как производственная площадка. Именно поэтому компания уделяет очень\u000Aмного внимания и времени качеству услуг, которые предоставляет. Промышленный\u000Aуровень ускорителей, промышленный уровень дата-центра, отказоустойчивость,\u000Aдоступность, безопасность. При этом простой и удобный интерфейс управления\u000Aинфраструктурой, позволяющей заказчику практически сразу после регистрации на\u000Aплатформе начать обсчитывать свои модели. Представители компании вместе с клиентами\u000Aпроходят путь от регистрации до запуска, тренировки или инференса модели и убеждаются\u000Aс ними в том, что инфраструктура максимально адаптирована для их задачи с\u000Aучетом требуемого срока на ее выполнение. Поэтому не было случая, чтобы\u000Aзаказчик не решил свою задачу, более того, не решил ее вовремя.

Помимо этого, компания может работать в кооперации с\u000Aпартнерским сервис-провайдером, который предоставляет классический IaaS, тогда клиент из\u000Aодного окна получает как IaaS, виртуальные машины, дешевое сетевое хранение, бэкапы, так и специализированную инфраструктуру: сервисы для AI.

В HPC Park ставят цель создать платформу, которая позволит\u000Aразработчикам искусственного интеллекта не думать о вопросах управления\u000Aинфраструктурой и сфокусироваться только на своей задаче. Клиенту не придется разбираться\u000Aв бесконечном количестве тумблеров, переключателей, или нанимать отдельного\u000Aинженера только для управления инфраструктурой. Каждый начинает с бесплатного\u000Aтестирования и дружелюбной и неформальной технической поддержки, которая\u000Aпозволяет буквально за руку довести его до результата.

Сейчас готовится к запуску обновленная версия платформы HPC Park Cloud Service, где будет доступно\u000Aбольшее количество вариаций разбиения ускорителей. Если раньше сервис умел\u000Aдробить ускоритель только на семь частей, то вскоре будет способен предоставлять\u000Aполовину ускорителя, две седьмых и другие варианты. Новые типы vGPU имеют в\u000Aсвоем распоряжении большее количество оперативной памяти и вычислительных ядер\u000Aв рамках одного устройства, в случае с 2/7 vGPU это 20 GB оперативной памяти, а\u000Aв 3/7 уже 40 GB, что позволяет гибче потреблять и утилизировать ресурсы GPU, а\u000Aтакже вместить большее количество моделей машинного обучения.

В новой версии будет дополнительное расширение функционала,\u000Aделающее работу заказчиков еще более продуктивной. Это позволит клиентам HPC Park выйти\u000Aна рынок со своим продуктом с меньшими затратами и раньше своих конкурентов.

Сайт HPC Park