что такое дата клауд
Data Cloud (единая ИТ-платформа Почты России)
2020: 3 млрд рублей инвестиций в развитие Data Cloud
12 октября 2020 года «Почта России» объявила об инвестировании 3 млрд рублей в развитие единой информационно-аналитической платформы Data Cloud, собирающей и интегрирующей абсолютно все данные, с которыми сталкивается почтовый оператор. Указанные средства планируется потратить в течение нескольких лет на повышение качества данных, их накопление и обработку.
12 октября 2020 года «Почта России» подключила к Data Cloud логистического партнёра AliExpress Cainiao Network, в результате чего компании начали напрямую обмениваться данными.
Интеграция помогла снизить долю недоставленных товаров с 10% до 3-5%, а срок доставки в крупнейшие города снизился почти в полтора раза, рассказали в «Почте России». Как указано в пресс-релизе, Cainiao доставляет более 90% всех заказов AliExpress в мире — это около 2 млн заказов в день, 25% из которых приходится на российский рынок.
За счет анализа данных «Почта России» стала видеть логистическую проблему не только тогда, когда об этом сообщает пользователь, но и в проактивном режиме. Так называемые витрины данных позволяют размечать и выделять товары AliExpress и контролировать качество доставки.
Cainiao Network планирует инвестировать в развитие ИТ-платформ и локализацию бизнеса в РФ более 1 млрд рублей в 2020 году. [1]
История одного облака: Huawei + 3data = Cloud
Три года назад мы приняли новую стратегию, согласно которой ведущее место в планах развития компании отводится облачным технологиям. В 2018 году Huawei совместно с компанией 3data запустила облачные сервисы в России. Наша страна стала первой за пределами Китая, где было развернуто облако под собственным брендом.
Дата-центр 3data HP-26 — одно из мест, где живет облако Huawei
Российское облако — далеко не единственное, построенное Huawei с использованием собственного аппаратного и программного обеспечения. В Китае Huawei развивает три очень крупных облачных решения: собственное публичное облако Huawei, публичное облако одного из крупнейших операторов связи China Mobile и облако для государственных структур. Кроме того, в Китае мы предлагаем клиентам набор услуг, сравнимый с услугами большой западной тройки — Amazon, Microsoft и Google. Многие из этих сервисов уже работают в Германии, Франции, Испании и ещё в ряде стран, но под брендами локальных партнёров.
Российский рынок для Huawei всегда был особенным, с него началась наша история успеха за пределами Китая. Неудивительно, что первое зарубежное облако под собственной маркой запущено именно здесь. Его следует рассматривать как часть стратегии по развитию облачных технологических решений, которые интегрированы во многие продукты компании: для телекома, корпоративного сегмента и даже для конечных пользователей.
Как стартовали
Когда встал вопрос о рассмотрении возможностей запуска публичного облака в России, то первое, что мы сделали, — провели глубокий и всесторонний анализ российского рынка облачных услуг в 2016-2017 гг. Результаты анализа дали нам уверенность в том, что рынок очень живой и динамичный, но вместе с тем он далёк от насыщения. Возникло и много практических вопросов, в частности, юридического и коммерческого характера: какие лицензии нужны для оказания подобных услуг, как оптимальнее всего их получить, как оформлять отношения с заказчиками и т.п.
В итоге облачные сервисы были развёрнуты на партнерской площадке: компания 3data предоставила нам собственный центр обработки данных с инженерной инфраструктурой и каналами связи, по своим характеристикам соответствующий Tier 3. Само облако полностью построено на продуктах Huawei: все аппаратные и программные компоненты облака, то есть серверы, системы хранения данных, коммуникационное оборудование, а также программное обеспечение — всё собственного производства.
Оборудование размещено в Москве, а услуги оказываются под маркой Huawei 3data Cloud: партнер обеспечивает первую линию поддержки облака и, частично, вторую. 3data также является фронтлайнером для клиентов, которые подписывают договор именно с 3data. Количество их собственных центров обработки данных приближается к двум десяткам, компании вполне по силам такие масштабные проекты.
Программное обеспечение нашего облака построено на базе решения Huawei FusionCloud, в свою очередь, базирующего OpenStack. Используется виртуализация KVM. Уместно отметить, что Huawei является одним из восьми платиновых спонсоров проекта OpenStack.
Мы используем гипервизор Huawei FusionSphere, основанный на KVM. Очень важно отметить, что Huawei стала одной из первых компаний, получивших сертификат ФСТЭК на свой гипервизор.
Что запустили в первую очередь
Российский рынок облачных услуг отличается от китайского или европейского. Он гораздо меньше по объёму, а российский бизнес пока еще принимает облачные технологии не так хорошо по сравнению с западным. Также наши исследования, сделанные в 2017 году, показали, что продвинутые облачные услуги класса PaaS востребованы не очень сильно, хотя и наблюдалась тенденция к росту. Есть и положительные (для провайдера) отличия: рынку ещё далеко до насыщения, и конкуренция в России меньше. Самым сложным делом стал выбор продуктов для первой фазы развертывания. Был проведен серьёзный анализ рынка с привлечением сторонних подрядчиков, и для начального этапа в России были выбраны только услуги IaaS:
Первая зона доступности (availability zone) официально начала работать в марте 2018 года.
Также наше облако предлагает бесплатно услугу мониторинга облачной инфраструктуры (Cloud Eye Service), услугу журналирования событий, связанных с изменением инфраструктуры (Cloud Trace Service) и услугу рассылки уведомлений (Simple Message Notification), которые значительно улучшают безопасность и возможности администрирования облачной инфраструктуры.
Довольно быстро у нас появились клиенты с запросами на виртуализацию GPU. Специально для них эту услугу оперативно мигрировали из китайского облака. В конце 2018 года для этих клиентов приехали серверы с GPU Nvidia Tesla V100. Во втором квартале 2019 мы планируем еще больше расширить кластер серверов с GPU.
Отлично зарекомендовала себя услуга Direct Connect — соединение тёмной оптикой физического дата-центра клиента с его виртуальным ЦОДом в облаке Huawei. Клиент в этом случае получает маршрутизацию на уровне IP с высокой степенью безопасности между своими физическими и облачными сетями.
В октябре 2018 были запущены в тестовом режиме первые услуги класса PaaS:
Небольшие клиенты обычно удовлетворяются базовыми услугами класса IaaS, а средним и крупным компаниям требуется более широкий спектр услуг, включающий PaaS: управление контейнерами, построение хранилищ данных, брокеры сообщений.
Потребности наших клиентов в реальности оказались такими, что в третьем квартале 2018 г. мы исчерпали возможности используемого на тот момент центра обработки данных и начали искать возможности для дальшейшего расширения.
Дорожная карта
Российское облако Huawei предлагает клиентам более двух с половиной десятков услуг, а в конце первого квартала 2019 года их количество увеличится до более, чем 50. Мы планируем порядка 30 новых услуг, включающих следующие:
На базе облачных продуктов клиентам будут предлагаться комплексные решения «под ключ»: сейчас готовится к запуску решение по резервному копированию в облако на базе Commvault RBaaS, а также решение по автоматизированной миграции в облако Huawei из других сред на базе Hystax Acura.
Развивая проект, в 2019 г. мы уделяем особое внимание партнёрским каналам. С одной стороны, мы планируем расширить сеть продаж и портфолио совместных интеграционных услуг. Во-вторых, одна из наших целей – запустить такую экосистему, чтобы российские технологические компании могли создавать собственные решения на базе облачных продуктов Huawei и предлагать их своим клиентам. Третье направление для сотрудничества — сервисные партнёры, которые помогут нам оказывать клиентам какие-то специализированные услуги, например, по запуску и поддержке СУБД Oracle в нашем облаке.
Искусственный интеллект
Как мы уже говорили, российский проект следует рассматривать как часть общего контекста. Стратегия Huawei предполагает развитие глобальной облачной платформы, и в дальнейшем в список сервисов добавятся услуги на базе технологий машинного обучения и искусственного интеллекта. В Китае значительное их количество доступно заказчикам уже сейчас, а именно:
Точные сроки появления поддерживающих на аппаратном уровне решение задач ИИ серверов в России пока неизвестны, но ориентировочно это произойдёт во второй половине 2019 г. Ожидается, что серверы с чипами Ascend 910 займут важное место среди аппаратных компонент нашего облака, и на них будут опираться соответствующие сервисы облачных вычислений.
Конкуренты
Глобально Huawei Cloud конкурирует с Amazon Web Services, Google Cloud Platform, Microsoft Azure и Alibaba Cloud, и мы ставим перед собой цель войти в пятерку самых крупных облачных провайдеров в мире. Мы уважаем наших конкурентов, но мы абсолютно уверены, что эта задача нам по силам. На сегодняшний день западная тройка предлагает более широкий спектр услуг, чем Huawei в России, однако у нашего российского облака есть мощный донор. Сервисы Huawei в Китае работают уже много лет, предлагая пользователям более сотни разнообразных услуг и несколько сотен построенных на них партнёрских решений. Это представляет особую ценность, ибо нам не приходится создавать новые продукты с нуля, процесс их миграции из родительского облака идёт постоянно. К тому же у Amazon, Google и Microsoft нет российских дата-центров, что создаёт сложности занимающимся обработкой персональных данных заказчикам и существенно ограничивает возможности партнёрства.
Oracle Data Cloud
Содержание
Для создания платформы корпорация Oracle объединила BlueKai Audience Data Marketplace с другими сервисами данных.
Oracle Data Cloud является облачным DaaS-решением (Data-as-a-Service – «данные как сервис»), предоставляющим доступ к потребительским данным по покупкам на общую сумму более чем 3 триллиона долларов, поддерживающим 2 млрд. профилей потребителей по все миру и насчитывающим более 1500 информационных партнеров. Oracle Data Cloud интегрирует эти данные более чем с 200 ведущими медиа-компаниями, включая биржи услуг по размещению контента (publisher exchanges); рекламные сети (ad networks); онлайновые аукционы для рекламодателей (Demand Side Platform, DSP); платформы по управлению данными (Data Managment Platform, DMP); и «агентские» сервисы для покупки цифровой рекламы (Agency Trading Desk).
Oracle обеспечила доступ к Data Cloud B2B Audience Solution
5 сентября 2016 года корпорация Oracle объявила о начале работы электронной площадки для аудиторных закупок в B2B-сегменте, как части Oracle Data Cloud.
Чтобы помочь B2B-маркетологам в улучшении таргетирования на всей маркетинговой воронке, Oracle Data Cloud B2B Audience Solution предоставляет доступ к более 400 млн бизнес-профилям в тысячах аудиторных сегментов, предлагая масштабируемое, настраиваемое решение. Инструментарий для маркетологов предоставляет мощные средства ABM-маркетинга с использованием данных об американских компаниях, количеством более миллиона, с контактной информацией.
Запуском сервиса Oracle решила содействовать специфическим потребностям B2B-маркетинга:
Решение Oracle Data Cloud B2B Audience Solution помогает маркетологам согласовать расходы на цифровую трансформацию и цели маркетинга и продаж, обеспечивая генерацию значимых и перспективных лидов от целевых клиентов. Эта возможность сочетать гранулярные B2B-аудитории с фильтрами по организациям (account based filters) позволяет использовать все возможности цифровых каналов.
Oracle и Snapchat оценивают влияние рекламы в Snapchat на продажи в магазинах
Летом 2016 года корпорация Oracle и Snapchat объявили о партнерстве, которое направлено на изучение влияния цифровой рекламы в реальном мире. Объединенные возможности Oracle Data Cloud и Snapchat позволят оценить результаты влияния маркетинговых кампаний в Snapchat на продажи в магазинах. Анализируя влияние кампаний на продажи в магазинах, Oracle Data Cloud поможет рекламодателям из числа поставщиков потребительских товаров в упаковке (Consumer Packaged Goods, CPG) количественно оценивать эффективность и улучшать текущие маркетинговые инициативы, реализуемые в Snapchat.
Благодаря Oracle Data Cloud также был опубликован отчет с анализом «всплеска продаж в традиционных магазинах» (in-store sales lift) по итогам 12 рекламных кампаний по товарам категории CPG, проведенных в Snapchat для ведущих брендов косметики, средств личной гигиены, моющих и чистящих средств, продуктов питания в упаковке, а также напитков. Как показало исследование:
Samsung Cloud скоро удалит ваши данные. Как их скачать
Samsung Cloud не является самым популярным способом резервного хранения данных. Тем не менее, многие пользователи предпочитают выбрать именно его. Компания уже некоторое время свертывает свой облачный сервис хранения данных и уже лишила службу некоторых функций. Теперь она готовится к новому решительному шагу — в следующем месяце она прекратит поддержку резервной загрузки данных. Samsung уже предупредила пользователей Cloud в электронных письмах, что пользоваться продуктом осталось недолго. Вот, что надо знать об этой ситуации и о том, что как себя в ней вести. В частности, как скачать данные, чтобы они не потерялись.
Любой уважающий себя производитель должен иметь возможность работы с облачным хранилищем.
Синхронихация с Samsung Cloud
Начиная с 30 сентября, ”Синхронизация галереи и хранилища на Диске для Моих файлов больше не будут поддерживаться Samsung Cloud, и ваши данные будут удалены”, — говорится в письме, которое Samsung разослала пользователям из разных стран. В нем так же содержится график прекращения поддержки службы. Он показывает, какие функции уже были отключены в течение прошлого года, а какие будут отключены в ближайшее время.
Дата, на которую сейчас стоит ориентироваться, это 30 сентября. В этот деть произойдет ”окончательное прекращение поддержки функций”.
Как превратить Telegram в безлимитное облачное хранилище.
Когда перестанет работать Samsung Cloud
Обратите внимание, что крайний срок может варьироваться в зависимости от региона или группы пользователей. Samsung ранее обозначила два отдельных крайних срока для двух групп: 30 сентября для группы 1 и 30 ноября для группы 2. Но, к сожалению, не ясно, какой регион или страна попадает в какую группу.
Вы можете увидеть, находитесь ли вы в группе 1 или 2 на веб-сайте Samsung Cloud. Но если у вас есть важные фотографии и видео, хранящиеся в Samsung Cloud, вам следует загрузить их на свое устройство как можно раньше. Если вы являетесь пользователем Samsung Cloud, но пока не получили никаких уведомлений, проверьте спам или немного подождите. Возможно, письмо придет чуть позже.
Пользователям Samsung станет немного сложнее хранить свои данные.
Как скачать данные из облачного хранилища Samsung Cloud
Когда Samsung впервые объявила о постепенном свертывании Samsung Cloud, она предложила пользователям возможность перенести свои данные в Microsoft OneDrive. Но теперь поддержка пользователей группы 1 закончилась, поэтому осталась единственная возможность — загрузить данные локально. К счастью, процесс не слишком сложный.
Самый простой способ загрузить ваши облачные данные Samsung — сделать это со смартфона Galaxy. Перейдите в ”Настройки”, далее откройте раздел ”Учетные записи и резервное копирование” и найдите Samsung Cloud. После того, как вы нажмете на этот пункт, кнопка ”Загрузить мои данные” вверху позволит вам осуществить загрузку. Конечно, этот вариант сработает только в том случае, если у вас достаточно места во встроенной памяти.
Если памяти недостаточно, надо будет пойти немного другим путем и скачать данные Samsung Cloud на компьютер. Для этого посетите официальный веб-сайт Samsung Cloud и перейдите в галерею, чтобы загрузить свои данные.
Samsung Cloud не закрывается полностью, но хранить там фотографии и видео больше будет нельзя.
Если вы пользуетесь сервисом для того, чтобы хранить в нем синхронизированные данные из контактов, календаря, заметок, документов и прочего, переживать вам особо не стоит. Компания пока не планирует полностью закрывать сервис. Это скорее большая оптимизация, чем ликвидация.
Samsung Cloud закрывается?
Вы по-прежнему сможете синхронизировать телефон с Samsung Cloud, но не сможете делать резервную копию данных. Для этого теперь придется пользоваться другими ресурсами. Например, Google Диском, который будет работать очень нативно, но будет платным, если у вас больше 15 ГБ данных. Если вы не хотите платить, есть так же Яндекс Диск, который позволяет хранить неограниченное количество данных. Раньше так же поступала Google, но несколько месяцев назад отменила бесплатное хранение даже оптимизированных фотографий и видео.
В любом случае, резервными хранилищами пользоваться надо. Только так можно обезопасить свои данные. Даже если они есть на компьютере, пусть они на всякий случай хранятся еще и в облаке.
Новости, статьи и анонсы публикаций
Свободное общение и обсуждение материалов
Уже несколько лет в мире ежегодно продается больше миллиарда смартфонов. Учитывая, что на Земле живет чуть больше 7 миллиардов людей, из которых больше трети вообще не пользуются телефонами, цифра кажется удивительной. Но иногда внешние факторы влияют на количество продаж. Так, например, в прошлом году была пандемия, которая заперла людей по домам, кого-то лишила денег и у многих отбила желание покупать новый телефон. Мы даже не говорим о том, как упали продажи флагманов. Нам больше интересно общее количество и то, как это скажется на продажах в будущем. Тем более, что это не просто статистика, а то, от чего зависит все, включая цены на новые модели.
Galaxy A51 – один из самых популярных смартфонов, доступных сегодня в продаже. Samsung удалось сделать такой аппарат, который превзошёл по технической части многие китайские устройства, до этого считавшиеся безоговорочными лидер ами рынка. Качественный AMOLED-экран, отличная камера, привлекательный дизайн и обилие технических примочек вроде экранного сканера отпечатков пальцев вкупе с невысокой ценой сделали своё дело, и теперь считается, что у Galaxy A51 просто нет конкурентов. Возможно, это действительно так. Но называть этот смартфон идеальным всё-таки нельзя.
Открываем факультет Cloud Data Engineer в GeekBrains
Сейчас очень востребованы специалисты, умеющие работать с данными и создавать системы, способные эти данные обрабатывать и использовать. Но особенно востребованы те, кто умеет делать это в «облаках» — виртуальных серверах с удалённым доступом.
Обычная (не облачная) инфраструктура для бизнеса — это стойки с серверами, системные администраторы, проблемы с недостатком памяти, безопасности и частыми закупками комплектующих. Чтобы сэкономить, многие компании переходят на облачную инфраструктуру, приобретая готовые облачные серверы и сервисы с обслуживанием у провайдера. Работоспособность такого решения становится головной болью провайдера.
За последние 10 лет множество компаний совершенно разного масштаба уже организовали свои бизнес-процессы и работу с данными с помощью облачных решений. Это серьёзный тренд, рост и темпы которого будут такими же насыщенными и следующие 10 лет.
Кто такой Cloud Data Engineer и что он делает
Главная задача Cloud Data Engineer — используя облачную инфраструктуру и сервисы, помогать бизнесу строить продукт, который обеспечивает принятие управленческих решений на основе фактических данных — это называется Data Driven Decisions Making, DDDM.
Объясняем DDDM на примере Walmart
Walmart — крупнейший мировой ритейлер с более чем 20 000 магазинов в 28 странах. Компания находится в процессе создания крупнейшего в мире частного облака, настолько мощного, чтобы стала возможной обработка 2,5 петабайта данных каждый час. Чтобы разобраться во всей этой информации, Walmart создал то, что он называет своим Data Café — по сути это ультрасовременный аналитический центр.
Data Café позволяет быстро моделировать, обрабатывать и визуализировать огромные объёмы внутренних и внешних данных. Навин Педдамейл, старший статистический аналитик, объяснил важность и ценность Data Café так: «Если вы не можете получить информацию, пока не проанализируете свои продажи за неделю или месяц, значит, вы просто теряете продажи за это время».
Поэтому быстрый доступ к аналитической информации жизненно важен. Например, однажды в одной продуктовой группе не могли понять, почему продажи в определённой категории продуктов внезапно упали. Изучив данные, там быстро увидели, что из-за просчётов товары выставлялись по более высокой цене, чем следовало бы.
Data Café также предоставляет автоматические оповещения. Когда определённые показатели опускаются ниже установленного порога в любом отделе, соответствующая команда получает оповещение, чтобы быстро найти решение. Например, во время Хэллоуина аналитики продаж смогли увидеть в режиме реального времени, что конкретная новинка в одной линейке печенья была очень популярна в большинстве магазинов и совсем не продавалась в двух точках. Оповещение побудило к быстрому расследованию, которое показало, что из-за ошибки в проверке товаров на складе печенье не было разложено на полках. После этого магазин смог немедленно исправить ситуацию.
Cloud Data Engineer является пользователем такой системы. Он не строит их, как можно подумать,, а использует для обработки данных, извлечения business value. В примере с Walmart инженеры помогли выстроить все процессы преобразования данных и организовать сложные пайплайны, обеспечивающие принятие решений на основе данных.
Чем Cloud Data Engineer отличается от Data Engineer
Cloud Data Engineer умеет делать всё, что делает Data Engineer — отвечает за извлечение, преобразование, загрузку данных и их обработку. Но делает это с помощью облачных сервисов. Умеет доставлять данные в облако, объединять облачные и on-premise решения. Также Cloud Data Engineer строит масштабируемые, отказоустойчивые, эффективные решения по обработке данных с использованием сервисов облака — S3, Kubernetes, DBaaS, Hadoop, Monitoring-aaS — понимая при этом сильные стороны облачных решений.
Когда для бизнеса приоритетна скорость разработки нового продукта, гибкость и масштабируемость, процессы по работе с данными переносятся в облако. Cloud Data Engineer — это тот, кто помогает решить возникающие вопросы. Такой специалист строит платформы по работе с данными, а также озёра данных и хранилища в облаке.
Про авторов программы факультета
Программа факультета Cloud Data Engineer разработана Александром Волынским — архитектором облачной платформы Mail.ru Cloud Solutions. Александр и его коллеги знают основные боли и потребности рынка, поэтому в программе учтены все актуальные инструменты и решения, освоение которых поможет вам стать востребованным специалистом.
Кому подойдёт обучение, сколько продлится и какие возможности откроет студентам
Программа подойдёт специалистам с опытом — бигдата-аналитикам, аналитикам и инженерам данных, дата-сайентистам, девопс-специалистам и системным администраторам. Для комфортного обучения будет необходим опыт работы со следующими инструментами:
Будет плюсом знание:
Продолжительность обучения на факультете — 10-11 месяцев. После него студенты смогут работать в любом облачном сервисе с задачами аналитики, разработки баз данных и машинного обучения. Научатся самостоятельно выбирать и настраивать необходимые сервисы в облачных платформах для решения поставленных бизнесом задач. Также выпускники факультета смогут использовать современные решения по управлению качеством данных, метаданными, выводу моделей машинного обучения в продуктивное использование с использованием Kubernetes.
Во время обучения у студентов будет много практики с Mail.ru Cloud, а также другими инструментами:
А также мы не забудем про JupyterHub, Greenplum, MLflow, Amundsen, Linux, Docker и, Git.
С расширенными знаниями студенты смогут претендовать на новые для себя должности — Cloud Data Engineer, Data Engineer или ETL-разработчик. Только на HH.ru есть 2100 актуальных вакансий в России.
Зарплата джуниор-специалистов варьируется от 100 до 150 тыс рублей, мидлов — от 150 до 250 тыс рублей, а синьоры получают от 250 до 400-500 тыс рублей, в зависимости от экспертности, компании и уровня менеджерской нагрузки специалиста.
Узнать больше о факультете, преподавателях и условиях обучения можно на его странице.
Также рекомендуем к прочтению три интересные статьи IT-журнала «Завтра облачно» от Mail.Ru Cloud Solutions:
Сейчас очень востребованы специалисты, умеющие работать с данными и создавать системы, способные эти данные обрабатывать и использовать. Но особенно востребованы те, кто умеет делать это в «облаках» — виртуальных серверах с удалённым доступом.
Обычная (не облачная) инфраструктура для бизнеса — это стойки с серверами, системные администраторы, проблемы с недостатком памяти, безопасности и частыми закупками комплектующих. Чтобы сэкономить, многие компании переходят на облачную инфраструктуру, приобретая готовые облачные серверы и сервисы с обслуживанием у провайдера. Работоспособность такого решения становится головной болью провайдера.
За последние 10 лет множество компаний совершенно разного масштаба уже организовали свои бизнес-процессы и работу с данными с помощью облачных решений. Это серьёзный тренд, рост и темпы которого будут такими же насыщенными и следующие 10 лет.
Кто такой Cloud Data Engineer и что он делает
Главная задача Cloud Data Engineer — используя облачную инфраструктуру и сервисы, помогать бизнесу строить продукт, который обеспечивает принятие управленческих решений на основе фактических данных — это называется Data Driven Decisions Making, DDDM.
Объясняем DDDM на примере Walmart
Walmart — крупнейший мировой ритейлер с более чем 20 000 магазинов в 28 странах. Компания находится в процессе создания крупнейшего в мире частного облака, настолько мощного, чтобы стала возможной обработка 2,5 петабайта данных каждый час. Чтобы разобраться во всей этой информации, Walmart создал то, что он называет своим Data Café — по сути это ультрасовременный аналитический центр.
Data Café позволяет быстро моделировать, обрабатывать и визуализировать огромные объёмы внутренних и внешних данных. Навин Педдамейл, старший статистический аналитик, объяснил важность и ценность Data Café так: «Если вы не можете получить информацию, пока не проанализируете свои продажи за неделю или месяц, значит, вы просто теряете продажи за это время».
Поэтому быстрый доступ к аналитической информации жизненно важен. Например, однажды в одной продуктовой группе не могли понять, почему продажи в определённой категории продуктов внезапно упали. Изучив данные, там быстро увидели, что из-за просчётов товары выставлялись по более высокой цене, чем следовало бы.
Data Café также предоставляет автоматические оповещения. Когда определённые показатели опускаются ниже установленного порога в любом отделе, соответствующая команда получает оповещение, чтобы быстро найти решение. Например, во время Хэллоуина аналитики продаж смогли увидеть в режиме реального времени, что конкретная новинка в одной линейке печенья была очень популярна в большинстве магазинов и совсем не продавалась в двух точках. Оповещение побудило к быстрому расследованию, которое показало, что из-за ошибки в проверке товаров на складе печенье не было разложено на полках. После этого магазин смог немедленно исправить ситуацию.
Cloud Data Engineer является пользователем такой системы. Он не строит их, как можно подумать,, а использует для обработки данных, извлечения business value. В примере с Walmart инженеры помогли выстроить все процессы преобразования данных и организовать сложные пайплайны, обеспечивающие принятие решений на основе данных.
Чем Cloud Data Engineer отличается от Data Engineer
Cloud Data Engineer умеет делать всё, что делает Data Engineer — отвечает за извлечение, преобразование, загрузку данных и их обработку. Но делает это с помощью облачных сервисов. Умеет доставлять данные в облако, объединять облачные и on-premise решения. Также Cloud Data Engineer строит масштабируемые, отказоустойчивые, эффективные решения по обработке данных с использованием сервисов облака — S3, Kubernetes, DBaaS, Hadoop, Monitoring-aaS — понимая при этом сильные стороны облачных решений.
Когда для бизнеса приоритетна скорость разработки нового продукта, гибкость и масштабируемость, процессы по работе с данными переносятся в облако. Cloud Data Engineer — это тот, кто помогает решить возникающие вопросы. Такой специалист строит платформы по работе с данными, а также озёра данных и хранилища в облаке.
Про авторов программы факультета
Программа факультета Cloud Data Engineer разработана Александром Волынским — архитектором облачной платформы Mail.ru Cloud Solutions. Александр и его коллеги знают основные боли и потребности рынка, поэтому в программе учтены все актуальные инструменты и решения, освоение которых поможет вам стать востребованным специалистом.
Кому подойдёт обучение, сколько продлится и какие возможности откроет студентам
Программа подойдёт специалистам с опытом — бигдата-аналитикам, аналитикам и инженерам данных, дата-сайентистам, девопс-специалистам и системным администраторам. Для комфортного обучения будет необходим опыт работы со следующими инструментами:
Будет плюсом знание:
Продолжительность обучения на факультете — 10-11 месяцев. После него студенты смогут работать в любом облачном сервисе с задачами аналитики, разработки баз данных и машинного обучения. Научатся самостоятельно выбирать и настраивать необходимые сервисы в облачных платформах для решения поставленных бизнесом задач. Также выпускники факультета смогут использовать современные решения по управлению качеством данных, метаданными, выводу моделей машинного обучения в продуктивное использование с использованием Kubernetes.
Во время обучения у студентов будет много практики с Mail.ru Cloud, а также другими инструментами:
А также мы не забудем про JupyterHub, Greenplum, MLflow, Amundsen, Linux, Docker и, Git.
С расширенными знаниями студенты смогут претендовать на новые для себя должности — Cloud Data Engineer, Data Engineer или ETL-разработчик. Только на HH.ru есть 2100 актуальных вакансий в России.
Зарплата джуниор-специалистов варьируется от 100 до 150 тыс рублей, мидлов — от 150 до 250 тыс рублей, а синьоры получают от 250 до 400-500 тыс рублей, в зависимости от экспертности, компании и уровня менеджерской нагрузки специалиста.
Узнать больше о факультете, преподавателях и условиях обучения можно на его странице.