что такое выделенный ресурс
Что такое выделенный ресурс
В предыдущих главах рассмотрены способы синхронизации процессов, которые позволяют процессам успешно кооперироваться. Однако если средствами синхронизации пользоваться неосторожно, то могут возникнуть непредвиденные затруднения. Предположим, что несколько процессов конкурируют за обладание конечным числом ресурсов. Если запрашиваемый процессом ресурс недоступен, процесс переходит в состояние ожидания. В случае если требуемый ресурс удерживается другим ожидающим процессом, то первый процесс не сможет сменить свое состояние. Такая ситуация называется тупиком. Говорят, что в мультипрограммной системе процесс находится в состоянии тупика, дедлока ( deadlock ) или клинча, если он ожидает события, которое никогда не произойдет. Системная тупиковая ситуация или зависание системы является следствием того, что один или более процессов находятся в состоянии тупика.
Рассмотрим пример. Предположим, что два процесса осуществляют вывод с ленты на принтер. Один из них успел монополизировать ленту и претендует на принтер, а другой наоборот. После этого оба процесса оказываются заблокированными в ожидании второго ресурса (см. рис. 7.1)
Рис. 7.1. Пример тупиковой ситуации.
Тупики также могут иметь место в ситуациях, не требующих выделенных ресурсов. Например, в системах управления базами данных процессы могут локализовывать записи, чтобы избежать гонок (см. главу «Синхронизация процессов»). В этом случае может получиться так, что один из процессов заблокировал записи, требуемые другому процессу и наоборот. Т.о. тупики могут иметь место, как на аппаратных, так и на программных ресурсах.
Другой пример возникновение тупика в системах спулинга. Режим спулинга ввод-вывод с буферизацией информации, предназначенной для печати, на диске и организации очереди на печать часто применяется для повышения производительности системы. Программа, осуществляющая вывод на печать должна полностью сформировать свои выходные данные в промежуточном файле, после чего начинается реальная распечатка. В итоге, несколько заданий может оказаться в тупиковой ситуации, если предусмотренная емкость буфера для промежуточных файлов будет заполнена до того, как одно из заданий закончит свою работу. Возможные решения: увеличить размер буфера, или не принимать дополнительные задания, если файл спулинга близок к какому то порогу насыщения, например, заполнен на 75%.
Далее в тексте данной главы будут обсуждаться вопросы, обнаружения, предотвращения, обхода тупиков и восстановления после тупиков. Рассматривается также тесно связанная проблема бесконечного откладывания, которое может происходить из-за дискриминационной политики планировщика ресурсов. Во многих случаях цена борьбы с тупиками, которую приходится платить высока. Тем не менее, для ряда систем, например для систем реального времени, нет иного выхода.
7.2 Концепция ресурса
Уже говорилось, что одна из основных функций ОС осуществлять распределение ресурсов между процессами, то есть быть менеджером ресурсов.
Как устройства, так и данные могут являться ресурсами.
Последовательность событий, требуемых для использования ресурса такова:
запросить ( request ) ресурс,
использовать ( use ) ресурс,
освободить ( release ) ресурс.
Если ресурса нет в наличии, когда он требуется, то процесс вынужден ждать. В некоторых ОС процесс автоматически блокируется, когда получает отказ на запрос к ресурсу и просыпается, когда ресурс оказывается в наличии. В других системах отказ сопровождается возвратом ошибки и уже задача вызывающего процесса решить: подождать немного и попытаться осуществить запрос вновь.
В наших дальнейших рассуждениях мы будем предполагать, что когда запрос отклонен, процесс переходит в состояние ожидания.
7.3 Условия возникновения тупиков
В 1971 г. Коффман, Элфик и Шошани сформулировали следующие четыре условия для возникновения тупиков.
1. Условие взаимоисключения ( Mutual exclusion ). Каждый ресурс выделен в точности одному процессу или доступен. Процессы требуют предоставления им монопольного управления ресурсами, которые им выделяются.
2. Условие ожидания ресурсов ( Hold and wait ). Процессы удерживают за собой ресурсы, уже выделенные им, ожидая в то же время выделения дополнительных ресурсов (которые при этом обычно удерживаются другими процессами).
3. Условие неперераспределяемости ( No preemtion ). Ресурс, данный ранее, не может быть принудительно забран у процесса. Освобождены они могут быть только процессом, который их удерживает.
4. Условие кругового ожидания ( Circular wait ). Существует кольцевая цепь процессов, в которой каждый процесс удерживает за собой один или более ресурсов, требующихся другим процессам цепи.
Для тупика необходимо выполнение всех четырех условий.
Обычно тупик моделируется прямым графом, наподобие того, что изображен на рис. 7.1, состоящим из узлов двух видов: прямоугольников процессов и эллипсов ресурсов. Стрелки, направленные от ресурса к процессу, показывают, что ресурс выделен данному процессу.
7.4 Основные направления борьбы с тупиками.
В связи с проблемой тупиков были выполнено много интересных исследований в области информатики и операционных систем.
Основные направления борьбы с тупиками:
Игнорировать данную проблему
Восстановление после тупиков
Предотвращение тупиков за счет тщательного выделения ресурсов или нарушения одного из условий возникновения тупиков.
7.5 Алгоритм страуса
7.6 Обнаружение тупиков
Обнаружение тупика это установление факта, что возникла тупиковая ситуация и определение процессов и ресурсов, вовлеченных в эту ситуацию. Как правило, алгоритмы обнаружения применяются, когда выполнены первые три необходимых условия возникновения тупиковой ситуации. Затем проверяется наличие режима кругового ожидания. При этом активно используются уже упоминавшиеся графы распределения ресурсов.
Рассмотрим модельную ситуацию [12]:
Вопрос состоит в том, является ли данная ситуация тупиковой, и если да, то какие процессы в ней участвуют.
Рис. 7.2 (а) Граф ресурсов. (б) Цикл, извлеченный из графа ( a).
Для ответа на этот вопрос можно сконструировать граф ресурсов, как показано на рис. 7.2. Из рисунка видно, что имеется цикл, моделирующий условие кругового ожидания, и процессы D,E,G в тупиковой ситуации
Визуально легко обнаружить наличие тупика, но нужны также формальные алгоритмы, реализуемые на компьютере.
Один из таких алгоритмов описан в [12], там же можно найти ссылки на другие алгоритмы.
Существуют и другие способы обнаружения тупиков, применимые также в ситуациях, когда имеется несколько ресурсов каждого типа. Так в [22] описан способ, называемый редукцией графа распределения ресурсов, а в [12] матричный алгоритм.
7.7 Восстановление после тупиков
Систему, оказавшуюся в тупике, можно вывести из него, нарушив одно из условий его существования. При этом возможно несколько процессов частично или полностью потеряют результаты проделанной работы.
Сложность восстановления обусловлена рядом факторов.
в большинстве систем нет достаточно эффективных средств для приостановки процесса, вывода его из системы и возобновления впоследствии;
если даже такие средства есть, то их использование требует затрат и внимания оператора;
восстановление после серьезного тупика может потребовать много работы.
7.7.1 Восстановление при помощи перераспределения ресурсов
Например, чтобы отобрать лазерный принтер у процесса, который осуществляет вывод на него, оператор может собрать уже напечатанные бумаги и сложить их в стопку. Затем процесс может быть приостановлен и принтер передан другому процессу. После окончания его работы бумага может быть возвращена в принтер и первый процесс возобновляется. Возможность забрать ресурс у процесса, дать его другому процессу и затем вернуть его назад без нанесения ущерба сильно зависит от природы ресурса. Подобное восстановление часто трудно, если не невозможно.
7.7.2 Восстановление через откат назад
Это, по всей вероятности, самый эффективный способ приостановки и возобновления.
В ряде систем реализованы средства рестарта с контрольной точки (сохранение состояния системы в какой-то момент времени). Там где эти средства не предусмотрены, их должны организовать разработчики прикладных программ. Если проектировщики системы знают, что тупик вероятен, они могут периодически организовывать для процессов контрольные точки.
Когда тупик обнаружен, видно какие ресурсы вовлечены в цикл кругового ожидания. Чтобы осуществить восстановление, процесс, который владеет таким ресурсам, должен быть отброшен к моменту времени, предшествующему его запросу на этот ресурс.
7.7.3 Восстановление через ликвидацию одного из процессов
7.8 Способы предотвращения тупиков путем тщательного распределения ресурсов.
При предотвращении тупиков целью является обеспечение условий, исключающих возможность возникновения тупиковых ситуаций.
Один из алгоритмов предотвращения тупиков базируется на концепции безопасных состояний.
7.8.1 Предотвращение тупиков и алгоритм банкира.
Можно избежать тупиковой ситуации, если рациональным образом использовать ресурсы, придерживаясь
Предположим, что у системы в наличии n устройств, например лент. Суть алгоритма состоит в следующем.
ОС принимает запрос от пользовательского процесса, если его максимальная потребность не превышает n.
Пользователь гарантирует, что если ОС в состоянии удовлетворить его запрос, то все устройства будут возвращены системе в течение конечного времени.
Текущее состояние системы называется надежным, если ОС может обеспечить всем процессам их выполнение в течение конечного времени.
В соответствии с алгоритмом банкира выделение устройств возможно, только если состояние системы остается надежным.
Рассмотрим пример надежного состояния для системы с тремя пользователями и 12-ю устройствами, где 10 устройств задействовано, а 2 имеется в наличии. Пусть текущая ситуация такова:
Хостинг: варианты, сравнения, пользовательская статистика
Удивительно, но из обилия статей на тему хостинга в Интернете едва ли найдётся десяток, где тема раскрыта доступным для всех языком. Часто даже профессионалы и опытные пользователи отмечают, что в большинстве описаний «чёрт ногу сломит», особенно на сайтах компаний, предлагающих эту услугу. Что уж говорить о тех, кто не разбирается в цифровых технологиях, но хочет их использовать в своём бизнесе с пониманием хотя бы основ.
Мы хотим исправить ситуацию и рассказать доходчиво для интересующихся любого уровня подготовки к вопросу, какие сегодня есть возможности хостинга, чем они отличаются, каковы преимущества одних перед другими и какова пользовательская статистика в России и за рубежом. Статья рассчитана на широкий круг читателей от неофитов до продвинутых юзеров (поэтому в скобках часто даны объяснения терминов, хорошо известных опытным пользователям).
Для начала немного введём в курс дела тех, кто не разбирается в теме статьи и обозначим, что такое хостинг и кому это надо.
Хостинг (hosting) — это услуга, предоставляемая компаниями хостинг-провайдерами (хостерами), которая заключается в размещении информационных ресурсов пользователей на их (компаний) серверах. Функциональность сервера зависит от установленного программного обеспечения, которое, в свою очередь, зависит от операционной системы. Хостинги отличаются наличием тех или иных служб, возможностью поддержки различных технологий, языков программирования и скриптов. Также различаются по количественным и качественным ограничениям (дисковое пространство, количество сайтов, пропускная способность каналов и прочее). Доступ пользователя к своим данным реализован через личный кабинет. Обработка запросов к информационным ресурсам заказчика ведётся в режиме реального времени 24/7. В услугу хостинга входит техподдержка, обеспечение безопасности и резервное копирование данных.
Информационные ресурсы (здесь) — это сайты различного функционала: интернет-магазины, корпоративные сайты, интернет-порталы, информационно-новостные сайты, веб-сервисы. Они состоят из обилия цифровых данных:
Что такое выделенный сервер
Начать стоит именно с него, потому что остальные хост-услуги являются виртуальными аналогами выделенного сервера.
Выделенный сервер (dedicated server) — это реальный физический сервер (bare-metal server), который хостинг-компания предоставляет клиенту в аренду. Важно то, что хостер выделяет сервер клиенту целиком в нераздельное пользование, то есть все ресурсы сервера, всё его «железо» используются только одним арендатором. Есть возможность гибкой настройки системы и оптимизации её «под себя», включая установку ПО. По причине полного владения выделенный сервер — самая дорогая хостинг-услуга.
Это мощный компьютер, установленный в стойку с другими подобными серверами и коммутатором. Серверные стойки локализуются в хостерских ЦОДах или индивидуальных дата-центрах (то есть принадлежащих самой компании для её бизнес-целей; в этому случае речь не идёт о выделенных серверах, поскольку их никто не выделяет в аренду — машины являются собственностью компании и называются просто серверами).
Выделенный сервер необходим для размещения проектов, которые либо требуют мощных вычислительных ресурсов, либо не могут соседствовать на одной машине с другими проектами или их компонентами (например, сложное бизнес-приложение, или база данных, или площадка сетевой игры), либо требуют прямого доступа к оборудованию.
▍Критерии выбора выделенного сервера
Что такое виртуальный хостинг
Виртуальный хостинг (shared hosting) — это предоставление в аренду одного физического сервера сразу нескольким арендаторам. Его аппаратные мощности распределяются между всеми пользователями. Во избежание неравномерности распределения мощностей машины (процессорной мощности, дисковой и оперативной памяти) и их дефицита во время пиковых нагрузок некоторые хостеры ограничивают ресурсы сервера для скриптов отдельного пользователя (script — файл или программа со сценарием автоматизации некоторых процессов сайта). Настройка «под себя» отсутствует — все пользуются одним и тем же ПО, которое устанавливает провайдер. Подходит для небольших и несложных проектов. Это самый дешёвый вид хостинга.
▍Критерии выбора виртуального хостинга
Что такое VPS и VDS
VPS (Virtual Private Server) и VDS (Virtual Dedicated Server) — по сути одно и то же. Это виртуальные серверы, эмулирующие работу физического сервера и предоставляемые хостером в аренду клиенту с максимальными привилегиями: установка операционной системы и программного обеспечения, root-доступ (права главного администратора). Клиент получает в пользование выделенные аппаратные ресурсы сервера с полным управлением и контролем, но, возможно, не все, имеющиеся на машине. То есть на одном физическом сервере запущено несколько виртуальных серверов под разных клиентов, но на каждом из них администратор (заказчик) может работать так же, как на отдельной физической машине, при этом арендная плата существенно ниже, чем за выделенный сервер.
▍Разница между VPS и VDS
VPS. Виртуализация такого сервера осуществляется в рамках операционной системы (контейнеризация) с помощью специальных технологий (FreeBSD Jail, Parallels Virtuozzo Containers, iCore Virtual Accounts, OpenVZ и других). Клиент может работать в персональном изолированном программном окружении с правами суперпользователя, но не может поменять саму операционную систему или её ядро. Также существуют разные лимитирования, основанные на политике хостера (например, непрерывная доступность ресурсов сервера).
VDS. Виртуализация этого вида сервера осуществляется на аппаратном уровне. Это физическое выделение ресурсов машины, точнее эмуляция её физических элементов при помощи специальных технологий (VMWare, LDoms, KVM, Microsoft Hyper-V, XEN). Клиент не только получает в постоянное пользование ресурсы CPU, дискового пространства и памяти, но также может устанавливать иную операционную систему и совершать её модификации вплоть до смены настроек BIOS.
Этот тип хост-услуг набирает всё большую популярность в мире благодаря соотношению цена/качество. Под качеством здесь понимается в первую очередь широта возможностей управления своими хостируемыми проектами и простота масштабируемости выделяемых ресурсов. Помимо владельцев или системных администраторов сайтов, его особенно любят разработчики для собственно разработки и тестирования нового ПО. А бизнесу VPS/VDS хостинг помогает сократить расходы.
▍Критерии выбора VPS/VDS
▍Статистика использования VPS в диаграммах
На основе поисковых запросов 500 000 российских пользователей в 2017 году на сайте poiskvps.ru
По данным J’son & Partners Consulting оборот российских хостеров в сегменте IaaS примерно совпадает с затратами российских компаний на западные хостинг-сервисы.
Что такое облачный хостинг
Облачный хостинг использует облачные ресурсы для развёртывания сайтов, мобильных приложений и даже целых «офисов в облаке» (виртуальный офис). В отличие от других видов хостинга это происходит не на одном локальном сервере, а на нескольких связанных в кластер физических и виртуальных серверов к которым добавляются связанные в сеть системы хранения данных (SAN). При аренде пользователь платит только за используемые по факту ресурсы, которые могут быстро масштабироваться или отключаться в зависимости от нужд. Причём оплата почасовая, то есть можно настроить потребление ресурсов в дневное и ночное время. Настройки могут регулироваться в автоматическом режиме через приложение. Эта гибкость — основное преимущество облачного хостинга.
Облачная модель набирает популярность во многом благодаря разработкам BaaS (Backend-as-a-Service — бэкенд как услуга) и IaaS (Infrastructure-as-a-Service — инфраструктура как услуга). Не будем углубляться в её описание, так как это выходит за рамки статьи. Скажем только, что разработчиков привлекает в ней универсальность кросс-платформенного бэкенда для любого проекта, а владельцев бизнеса — надёжность резервного копирования и удобство коллективной работы над проектами. Подходит для крупных и быстрорастущих проектов, компаний с сезонными колебаниями спроса.
В облаке сайты размещаются в обособленных средах — контейнерах. В одном контейнере, например, могут располагаться рабочие версии сайтов, в другом — тестовые. Процессы и возможные неполадки в работе сайтов как внутри контейнеров, так и между контейнерами никак не отражаются на остальных сайтах. Внутри отдельного контейнера можно размещать неограниченное количество проектов.
▍Критерии выбора облачного хостинга
▍Облачная статистика по России
Источник: iKS-Consulting, 2016.
Источник: iKS-Consulting, 2018.
Сравнение выделенного сервера, виртуального сервера, виртуального хостинга и облачного хостинга
Резюмируя, отметим: выбирая хостинг-провайдера, ориентируйтесь не только на обещанную информацию с его сайта и отзывы — задавайте ему вопросы! Вплоть до того, как обеспечена пожарная безопасность в ЦОДе. Помните о масштабируемости проектов — то, что сейчас представляет собой ваш сайт может весьма отличаться от того, чем он будет через 2 года. Определившись с типом хостинга, следуйте нашим рекомендациям из разделов «критерии выбора», которые есть в каждом блоке.
Не доверяйте информации о памяти в Диспетчере задач
tl;dr: Диспетчер задач скрывает информацию о подкачке (paged memory) и виртуальном пространстве процесса. Лучше используйте Process Explorer из комплекта Sysinternals.
Выделение памяти в Windows
При запуске нового процесса ОС присваивает этому процессу непрерывное адресное пространство. В 32-разрядных системах это пространство может составить 4 ГБ, обычно 2 ГБ для ядра, а остальное для процесса. В этой статье проигнорируем использование памяти ядром. В 64-разрядных системах зарезервированная процессом память может вырасти до колоссальных 64 ТБ. Что этот процесс будет делать с несколькими терабайтами памяти, когда у нас на самом деле жалкие 8 ГБ? Сначала нужно понять, что такое зарезервированная и переданная память.
Зарезервированная и переданная память
Не все части этого огромного адресного пространства равны. Некоторые части адресного пространства процесса фактически поддерживаются либо физической оперативной памятью, либо диском (см. ниже). Зарезервированная память считается переданной (Committed), если ОС предлагает вам эту память при попытке её использовать. Остальная часть адресного пространства, а это подавляющее большинство, остаётся доступным для резервирования. То есть не всегда ОС может предложить вам этот блок памяти для использования: она может сделать копию на диске (файл подкачки), например, а может и не сделать. В C++ резервирование памяти осуществляется вызовом VirtualAlloc. Так что переданная память является аппаратно ограниченным ресурсом в ОС. Давайте посмотрим.
Файл подкачки ОС
Файл подкачки — замечательная идея. В принципе, ОС понимает, что некоторые части памяти особо не используются вашим приложением. Зачем тратить на него реальную физическую память? Вместо этого процесс в ядре записывает этот неиспользуемый фрагмент на диск. Пока к нему не обратятся снова, только тогда он вернётся в память.
Для более подробного объяснения, как работает память в Windows, рекомендую лекцию «Тайны управления памятью» Марка Руссиновича.
Отслеживание памяти
Здесь много за чем нужно следить и анализировать. К кому обратиться? Конечно, к Диспетчеру задач!
Память в RAM обычно называют рабочим набором (Working Set), в то время как всю выделенную память обычно именуют Private Bytes. Библиотеки DLL вносят путаницу в определения, поэтому пока их проигнорируем. Иначе говоря:
Private Bytes [выделенная память] = рабочий набор + файл подкачки
По умолчанию Диспетчер задач показывает для любого процесса именно рабочий набор:
Диспетчер задач позволяет добавить информацию о переданной памяти, если щёлкнуть правой кнопкой мыши по столбцам и выбрать соответствующий пункт
Эффективные метрики памяти
К счастью, есть много других ресурсов для отслеживания ресурсов. На каждой машине под Windows установлен PerfMon (Системный монитор), который выдаёт очень подробную информацию о каждом процессе и системе в целом:
Интересно, что Системный монитор умеет фактически исследовать и сравнивать метрики на двух или более компьютерах в сети. Это очень мощный инструмент, но Диспетчер задач, очевидно, удобнее для пользователей. В качестве промежуточного решения рекомендую Process Explorer:
Бум! Visual Studio, чего это ты до сих пор в 32-битном режиме (обратите внимание на его Virtual Size)? Пиковое использование памяти на моём компьютере на уровне 89% от максимума, ещё терпимо. Это пригодится позже.
Дополнение: многие указали на другие удобные инструменты, в том числе VMMap и RAMMap.
Отладка по информации о памяти
К счастью, это не какие-то ненужные мелочи ОС. Актуальная информация о потреблении памяти многократно помогала мне в отладке разных проблем.
Самое главное, это найти нетронутые части выделенной памяти. Данные о подкачке тоже важны: эта память передана, но используется редко или вообще не используется.
Даже если память будет иногда использоваться, важно понимать, что это дорогой ресурс, так что идти по такому пути ни в коем случае нельзя. Здесь появятся и утечки памяти.
По этим причинам я ранее слышал предложение полностью удалить файл подкачки и приравнять выделенную память рабочему набору. Однако это обоюдоострая идея. Тогда ОС не в состоянии сбросить память в случае неправильной работы приложений, которые иногда впустую резервируют память.