Хранение данных на внешних носителях что это
Внешние носители информации
Для хранения и переноса информации с одного компьютера на другие удобно использовать внешние носители. В качестве носителей информации чаще всего выступают оптические диски (CD, DVD, Blu-Ray), флеш-накопители (флешки) и внешние жесткие диски. В этой статье мы разберем виды внешних носителей информации и ответим на вопрос «На чем хранить данные?»
Сейчас оптические диски постепенно отходят на второй план и это понятно. Оптические диски позволяют записать относительно небольшое количество информации. Также удобство использования оптического диска оставляет желать лучше, к тому же диски можно легко повредить, поцарапать, что приводит к потере читаемости диска. Однако для длительного хранения медиаинформации (фильмов, музыки) оптические диски подходят как никакой другой внешний носитель. Все медиацентры и видеопроигрыватели по-прежнему воспроизводят оптические диски.
Флешки
Флеш-накопители или по-простому «флешка» сейчас пользуется наибольшим спросом у пользователей. Ее малый размер и внушительные объемы памяти (до 64Гб и более) позволяют использовать для различных целей. Чаще всего флешки подключаются к компьютеру или медиацентр через порт USB. Отличительной особенность флешек является высокая скорость чтения и записи. Флешка имеет пластиковый корпус, внутрь которого помещена электронная плата с чипом памяти.
USB-флешки
К разновидностью флешек можно отнести карты памяти, которые с картриддером являются полноценной USB-флешкой. Удобство использование такого тандема позволяет хранить значительные объемы информации на различных картах памяти, которые будет занимать минимум места. К тому же вы всегда можете прочитать карту памяти вашего смартфона, фотоаппарата.
Флешки удобно использовать в повседневной жизни – переносить документы, сохранять и копировать различные файлы, просматривать видео и прослушивать музыку.
Внешние жесткие диски
Внешние жесткие диски технически представляют собой жесткий диск, помещенный в компактный корпус с USB адаптером и системой защиты от вибрации. Как известно жесткие диски обладают впечатляющими объемами дискового пространства, что в купе с мобильностью делает их очень привлекательными. На внешнем жестком диске вы сможете хранить всю свою видео и аудиоколлекцию. Однако для оптимальной работы внешнего жесткого диска требуется повышенная мощность питания. Один разъем USB не в силе обеспечить полноценное питание. Вот почему на внешних жестких дисках имеется двойной кабель USB. По габаритам внешние жесткие диски совеем небольшие, и могут легко поместиться в обычном кармане.
HDD боксы
Существуют HDD боксы, предназначенные для использования в качестве носителя информации обычный жесткий диск (HDD). Такие боксы представляют собой коробку с контроллером USB, к которому подключаются самые простые жесткие диски стационарного компьютера.
Таким образом, вы легко можете переносить информацию непосредственно с жесткого диска вашего компьютера напрямую, без дополнительного копирования и вставки. Такой вариант будет намного дешевле покупки внешнего жесткого диска, особенно если перенести на другой компьютер нужно почти весь раздел жесткого диска.
В общем случае, границы между этими разновидностями носителей довольно расплывчаты и могут варьироваться, в зависимости от ситуации и внешних условий.
Необходима подсказка, как устранить затертость с заднего бампера автомобиля.
Кто-то прижался во дворе и поцарапал. Деньги выкидывать для перекраску элемента нет желания, т.к дорого стоит.
Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
подключение дисков в сервере
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
Если рассматривать форму хранения данных, то явно выделяются следующие:
По реализации достаточно сложно провести четкие границы, однако можно отметить:
RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.
Как выбрать внешний жесткий диск (HDD)
Пора увеличивать дисковую память и неудивительно, что многие в первую очередь вспоминают о внешних жестких дисках – ведь это самый простой способ подключить к системе дополнительный жесткий диск, а в случае с многими планшетами – так и вовсе единственный.
Сегодня в продаже встречаются внешние жесткие диски двух видов – SSD и HDD.
SSD (Solid State Disk – Твердотельный диск) использует для хранения данных микросхемы flash-памяти. SSD являются, фактически, разновидностью USB flash накопителей, отличаясь от «флешек» габаритами, максимальным объемом, наличием кэш-памяти и высокими скоростными показателями.
HDD (Hard Disk Drive – Накопитель на жестком диске) хранит данные на дисках из ферромагнитного материала, запись и чтение производится с помощью блока головок. Поэтому скорости чтения-записи у жестких дисков в разы (а в некоторых случаях – в десятки раз) меньше, чем у SSD. Кроме того, HDD боятся сотрясений во время работы – зазор между головкой и вращающимся диском составляет всего около 0,1 мкм, касание же головкой диска может привести к потере данных и даже к выходу HDD из строя. Почему же HDD сохраняют популярность?
— HDD намного дешевле. Средний HDD почти в 10 раз дешевле аналогичного по емкости SSD.
— Максимальный объем HDD больше – в продаже можно найти HDD накопители объемом до 24 ТБ. У SSD предел скромнее – 2 ТБ.
— При частой перезаписи данных HDD проработает дольше – у SSD ограничено количество циклов записи. Использование SSD в качестве рабочего диска для часто меняющихся данных быстро выведет его из строя. У HDD такого недостатка нет.
Резюмируя, можно сказать, что если вам нужен мобильный и не боящийся ударов накопитель не слишком большого объема для хранения редко меняющихся данных (архивы, музыка, изображения, видеофайлы, базы данных) и вам важна скорость чтения с этого накопителя, то SSD подойдет лучше.
Если же вам нужен диск большого объема по минимальной цене, и вы готовы мириться с недостатками HDD, то осталось только разобраться в остальных его характеристиках и выбрать модель, наиболее вам подходящую.
Характеристки внешних жестких дисков
Объем– основной параметр любого накопителя, определяющий как его привлекательность, так и цену. «Аппетиты» современных программ постоянно растут, как и объемы видеофайлов и файлов с фотографиями, поэтому желание приобрести накопитель большого объема вполне понятно. С другой стороны внешние HDD большого объема стоят дороже иного компьютера. Где же «золотая середина»?
Как видно из графика, выгоднее всего покупать диски объема 4-8 ТБ – у них стоимость 1 ТБ объема будет самой низкой.
Форм-фактор.
Исторически сложилось, что жесткие диски для компьютеров и ноутбуков выпускаются в двух форм-факторах – 2,5″ – для ноутбуков и 3,5″ – для стационарных компьютеров.
А поскольку внешний жесткий диск – это обычный жесткий диск в отдельном корпусе, форм-факторы сохранились те же – 3,5″ и 2,5″. Диски форм-фактора 2,5″ компактнее и мобильнее, но максимальный объем их ограничен 5ТБ. Внешние HDD большего объема бывают либо в форм-факторе 3,5″, либо составные из нескольких HDD.
Вид накопителя.
Портативныевнешние диски имеют небольшой размер и не требуют отдельного питания. Большинство портативных HDD выполнены в форм-факторе 2,5″. Портативный HDD удобно использовать в качестве мобильного накопителя для ноутбука или планшета.
Стационарные жесткие диски могут состоять из одного или нескольких HDD и достигать объема 24 ТБ. Стационарные накопители зачастую требуют отдельного питания, кроме того, их размеры и вес намного больше, чем у портативных. Такой жесткий диск лучше использовать в качестве внешнего накопителя для стационарного компьютера.
Скорость вращения шпинделя влияет на скорость чтения и записи данных с жесткого диска. Разница особенно сильно проявляется при записи и чтении больших нефрагментированных файлов, но и при работе с мелкими файлами скорость доступа к данным на более высокооборотистых HDD, как правило, выше. Это справедливо для сравнимых HDD одного производителя, к примеру, жесткие диски WD с частотой вращения шпинделя в 5400 rpm почти вдвое уступают по скорости чтения дискам того же производителя, но с частотой вращения 7200 rpm.
Сравнительный анализ скорости чтения 3х жестких дисков WesternDigital в различных режимах работы
Сравнивать по скорости вращения шпинделя разные жесткие диски разных производителей некорректно – скорость чтения/записи зависит не только от частоты вращения, но и от скорости позиционирования головок, от схемотехники контроллера жесткого диска и т.д.
Объем кэш-памяти.
Кэш-память предназначена для буферизации данных перед чтением и записью на диск, для хранения часто используемой информации (индексов, загрузочных записей, таблиц размещения файлов) или информации, которая может потребоваться в ближайшее время (например, содержимое секторов, ближайших к уже прочитанному). Наличие кэш-памяти значительно ускоряет работу с данными на жестком диске.
А вот объем кэш-памяти влияет на скорость работы незначительно – минимального для современных жестких дисков объема кэша в 8 МБ вполне достаточно для хранения служебной информации о диске, а для заметного ускорения работы за счет кэширования необходимо, чтобы объем кэша заметно превышал объем обрабатываемых файлов.
Поскольку размер в десятки мегабайт для современных файлов совсем не редкость, то проявляться эффект ускорения за счет кэширования будет нечасто. При работе с небольшими файлами разницу между объемом кэша в 8 МБ и в 64 МБ еще можно будет заметить, а вот между 32 и 64 уже вряд ли. При работе же с большими файлами размер кэша вообще не повлияет на скорость их считывания или записи.
Интерфейс подключения.
— USB 2.0 на сегодняшний день считается уже устаревшим. Его максимальная пропускная способность составляет 480 Мб/с (т.е. 60 Мбайт/с), а скорости чтения/записи на современных HDD зачастую превышают 100 Мбайт/с. Впрочем, такую скорость жесткие диски выдают только при чтении или записи больших нефрагментированных файлов, при обычной работе скорость будет в разы меньше. Но если вы часто копируете на внешний диск и обратно большие файлы (например, фильмы) и хотите, чтобы процесс шел побыстрее, то лучше предпочесть накопитель с более скоростным интерфейсом.
— USB 3.0 имеет максимальную скорость передачи данных 5 Гб/с, чего вполне достаточно для любого жесткого диска. С учетом распространенности этого интерфейса его можно считать оптимальным для внешних жестких дисков на сегодняшний день, тем более что обратная совместимость интерфейса USB позволяет подключать устройства USB 3.0 к старым компьютерам, не имеющим USB 3.0 портов (разумеется, со снижением скорости до стандартов 2.0). Но следует иметь в виду, что сила тока в разъеме USB 3.0 может быть почти в два раза выше, чем у 2.0, и многие USB 3.0 устройства рассчитаны именно на повышенный ток. И в этом случае устройство просто не заработает, будучи подключено к разъему USB 2.0. Проблемы не возникнет, если у жесткого диска есть отдельное питание, но такой накопитель скорее всего не получится использовать в отрыве от розетки.
Нельзя забывать, что повышенное энергопотребление USB 3.0 устройств ведет к сокращению срока автономной работы ноутбуков и планшетов. С USB 2.0 устройством розетка потребуется не так быстро.
— USB 3.1 имеет максимальную скорость в 10Гб/с, что для жестких дисков является даже излишним, поэтому гнаться за поддержкой именно этого интерфейса не стоит – жесткий диск все равно не сможет обеспечить скорость передачи данных, при которой будет важна поддержка именно USB 3.1. Обратная совместимость работает и с этим интерфейсом, USB 3.1 устройство можно подключать к разъемам USB 3.0 и USB 2.0 – но только в том случае, если интерфейсный кабель снабжен разъемом Standard-A (Type-A). Многие внешние жесткие диски с этим интерфейсом комплектуются переходником, позволяющим подключать их к любому типу разъема. Более практичный вариант – универсальный интерфейсный кабель с двумя разъемами или с разъемом-трансформером.
— Thunderbolt применяется только на компьютерах Apple, поэтому внешний жесткий диск с поддержкой этого интерфейса будет интересен в первую очередь владельцам MacBook-ов и iMac-ов. Впрочем, чтобы не терять остальных покупателей, большинство производителей устройств с поддержкой thunderbolt снабжают их также поддержкой USB 3.0/3.1
-Firewire (IEEE 1394) – стандарт, разработанный фирмой Apple в 1995г, обеспечивал скорость до 400Мб/с, чем – на тот момент – значительно превосходил другие существующие стандарты. В конце 90-х годов стандарт считался наиболее перспективным, но лицензионная политика Apple и слабая совместимость между различными версиями стандарта привели к тому, что на сегодняшний день он уже почти не применяется, повсеместно уступив стандарту USB 3.0/3.1
Защита от внешнего воздействия – немаловажная для всех для внешних накопителей характеристика в случае жестких дисков становится еще более востребованной. Если вы подбираете внешний жесткий диск для ноутбука или планшета и собираетесь эксплуатировать его в самых различных условиях, озаботьтесь наличием на жестком диске защиты от ударовили, хотя бы, чтобы он был в резиновомили силиконовомкорпусе. Для работы на открытом воздухе или в производственных помещениях не повредит наличиезащиты от пыли и влаги.
Варианты выбора внешних жестких дисков
Если вам нужен внешний жесткий диск по минимальной цене, имейте в виду, что накопители объемом в 500Гб имеют самую большую стоимость единицы объема среди всех внешних жестких дисков. Лучше с минимальной доплатой приобрести диск объемом от 1 ТБ.
Если вы желаете получить максимум объема за минимум денег, выбирайте среди внешних жестких дисков объема 4-8 ТБ – в этом диапазоне стоимость 1 ТБ самая низкая.
Если вам важна скорость обмена данных с накопителем, выбирайте среди внешних жестких дисков с частотой вращения шпинделя 7200 rpm
Если вы хотите надолго забыть о недостатке места, выбирайте среди жестких дисков большого объема – 8-10 ТБ.
Если вы собираетесь использовать накопитель в не самых благоприятных условиях и опасаетесь за его сохранность, выбирайте модели в корпусе из резины или силикона и с защитой от внешних воздействий.