что такое влан айди
Как узнать VLAN ID для IPTV Ростелеком и зачем нужен идентификатор?
Ростелеком использует специальную метку VLAN ID для определения портов во время отправления широковещательных пакетов. Эти пакеты как раз и применяются IPTV или цифровой телефонией провайдера телекоммуникационных услуг.
Особенности
Передача информации внутри сети – довольно сложная штука. Чтобы ее еще больше не усложнять, была разработана структура многоуровневой сети по модели OSI. Эта сетевая модель содержит в себе 7 одноуровневых протоколов, которые отвечают за свою часть процесса взаимодействия. Такая структура помогает совместной работе сетевым устройствам и программному обеспечению работать слажено.
Чтобы информация при переходе по многоуровневой сети не терялась, не была поставлена под сомнение и не была удалена, Ростелеком применяет специальную метку VLAN ID, позволяющую точечно адресовать пакеты внутри одной или нескольких локальных сетей. Получается, что VLAN ID отлично взаимодействует с оборудованием для IPTV Ростелеком, если оно подключено через виртуальную сеть.
Зачем включать VLAN ID?
Администраторы с помощью данных тегов могут беспрепятственно развертывать прокси-сервер для крупных предприятий. Таким образом можно перенаправлять трафик без рисков потери пакетов на «предпоследнем сетевом узле». Если прокси сервер развернут с применением тегирования, можно объединить с его помощью компьютеры, подключённые к разным свичам, в единую локальную сеть.
Если же из «объединенной» сети убрать (выключить) идентификатор, необходимая для работы информация попросту не будет определена, так как она зашифрована под указанный VLAN ID.
Ростелеком применяет данный идентификатор для предоставления услуг IPTV и телефонии. Так как в каждом многоквартирном доме используются разные связанные коммутаторы типа Switch, то на каждый дом указывается отдельный идентификатор. Для услуги интернета эта метка не применяется.
Как узнать свой собственный VLAN ID?
Вам предоставляют этот идентификатор во время подключения услуг. Заключается договор, в котором кроме оферты прописываются все нужные для настройки данные. Если же их не прописали:
Важно отметить, что, позвонив оператору на горячую линию, вам не предоставят информацию по требованию, потому как она имеется у техподдержки города или региона. С оператором вы можете создать заявку, которую он подаст в нужную инстанцию на рассмотрение.
Дополнительно, можно спросить номер техподдержки по вашему месту жительства и выяснить номер VLAN ID напрямую, но не каждый оператор на это может согласиться.
Настройка
Настройка IPTV Ростелеком на D-Link DIR-300 описана в следующем видео:
В каждом роутере данное поле для заполнения находится в различных категориях настроек. Рассмотрим пример для маршрутизатора Zyxel Keenetic:
Готово, проверяйте свое цифровое телевидение.
Заключение
Ростелеком использует метку VLAN ID для направления трафика цифрового телевидения и телефонии через виртуальную локальную сеть, созданную поверх множества локальных сетей. Этот идентификатор – словно маяк, указывающий трафику IPTV нужное направление.
VLAN ID для Ростелекома: что это такое и как его узнать
VLAN ID нужен при использовании многоуровневых сетей, так как узнать принадлежность каждого из устройств в виртуальных группах на основе интернета от Ростелекома можно только при помощи этой технологии. Тегирование VLAN представляет собой вставку идентификатора в заголовок пакета. Это производится для возможности последующего выяснения того, к какой виртуальной локальной сети принадлежит пакет.
Что такое и зачем нужен VLAN ID в сетях Ростелекома
VLAN ID – это специальная метка, которая позволяет создавать виртуальные локальные сети без каких-либо ограничений. Работа технологии основана на точеной адресации пакетов внутри одной или нескольких обычных локальных сетей.
Идентификатор VLAN наиболее часто используется для определения портов при отправке широковещательных пакетов, к примеру, для возможности использования услуг IPTV или цифровой телефонии от Ростелекома. Технология позволяет указать какие порты или интерфейсы нужно использовать для передачи данных.
Узнайте, как самостоятельно настроить подключение на роутерах от D-Link линейки DIR 3** для Ростелекома.
Узнайте, как самостоятельно настроить подключение на роутерах от D-Link линейки DIR 3** для Ростелекома.Прочитать об оплате интернета и других услуг через Сбербанк Онлайн, терминалы и банкоматы можно здесь.
Поддержка тегов позволяет администраторам развертывать сети на основе ProxySG (прокси сервер для поддержки работы крупных предприятий). Это позволяет перенаправлять трафик без риска потери информации.
Почему нужно включить VLAN
VLAN, тегирующий трафик, специально предназначен для структур, где прокси сервер настроен для развертывания сетей с идентификаторами. Такой вариант часто используется для объединения компьютеров, присоединенных к разным свитчам, в общую локальную сеть.
Без активации VLAN на всех устройствах, передающаяся информация попросту не будет видна, так как она зашифрована для определенного идентификатора.
К примеру, для того чтобы активировать услуги IPTV от Ростелекома нужно указать Multicast VLAN, тегирующий трафик для цифрового телевидения. Такая же ситуация складывается и с телефонией провайдера. Настройки же интернета обычно работают со стандартными значения идентификатора.
Внимание! VLAN ID для интернета, IP телевидения и телефонии Ростелекома имеют уникальные значения для каждого дома, что обусловлено использованием различных коммутаторов.
Достоинства технологии
Основным преимуществом технологии является возможность создания групп, изолированных друг от друга, внутри сети. Также существует и поддержка инструкций для выделения виртуальных сетей на основе устройств, подключенных к различным свитчам.
Технология адресной передачи данных имеет высокую степень безопасности. Широковещательный трафик образует пакеты, передающие только между устройствами, принадлежащими к одному VLAN ID.
Также весомым аргументом за использование технологии становится то, что для создания виртуальных сетей не нужна покупка дополнительного оборудования.
Как узнать VLAN ID для интернета от Ростелекома
Узнать VLAN идентификатор для любой услуги можно у специалиста при ее подключении или во время установки оборудования, после чего желательно записать его в надежное место.
Если же настройку сетевых устройств вы будете выполнять лично, рекомендуем выяснять этот параметр при заключении контракта и получении модема/роутера (в случае, если вы покупаете их или берете в аренду у Ростелекома).
Узнайте, как оплатить услуги Ростелекома банковской картой в несколько кликов.Прочитать о логине и пароль для входа в Личный кабинет можно тут.
Информацией о VLAN для интернета от Ростелеком обладает лишь техническая поддержка региона или города, поэтому узнать ID при помощи телефона горячей линии не удастся. Для этого понадобится составить заявку, после чего оператор отправит запрос в техническую поддержку. Также можно выяснить номер тех. поддержки вашего города или района и лично обратится за информацией. Самый быстрый вариант – спросить ID у соседей по дому, использующий услуги Ростелекома.
Использование VLAN адресации пакетов позволит создать виртуальную сеть независимо от того, к какому коммутатору подключены клиенты. Технология позволяет поддерживать работу таких услуг как интернет, IP телевидение и телефония от Ростелекома. Узнать нужный ID можно только в технической поддержке вашего региона.
VLAN ID – что это
Если вам требуется или вы решили самостоятельно подключить роутер/модем от компании «Ростелеком», если вам нужно подключить IPTV или услуги цифровой телефонии, то вы должны знать, что такое VLAN ID и как его найти.
Немного теории
VLAN ID — это идентификационный 12-битный набор цифр, благодаря которому можно создавать многоуровневые виртуальные сети, обходя любые физические препятствия, как, например, географическое положение, передавать определённую информацию на нужные девайсы. Технология «ВиЛан» присутствует в устройствах, которые и обеспечивают создание одной общей сети. Если говорить простым языком, «ВиЛан» ID — это адрес, на который специальные устройства, распознающие его (коммутаторы), отправляют пакеты данных.
Технология довольно удобная, имеет свои как преимущества, так и недостатки, используется компанией «Ростелеком» для передачи данных: например, для цифрового телевидения (IPTV). То есть, если вы самостоятельно решили подключиться или настроить IPTV, то вам необходимо знать идентификатор. Как можно догадаться, российская компания использует эти специальные наборы цифр для того, чтобы люди по общему «адресу» могли использовать свои модемы/роутеры для просмотра IPTV. То есть, этот «маяк» позволяет получать одинаковую информацию разным людям.
Делается это не только для удобства и обхода физических границ. Идентификатор позволяет обезопасить доступ к различным виртуальным сетям. К примеру, отделить гостевые соединения от подключений предприятия или в случае с IPTV предоставить доступ только определённым пользователям.
Тегирующий трафик
Существуют тегированные и нетегированные порты. Это значит, что есть порты использующие теги, а есть не использующие. Нетегированный порт может передавать только личный VLAN, тегированный — может принимать и отдавать трафик из различных «маяков».
Теги «прикрепляются» к трафику для того, чтобы сетевые коммутаторы могли опознавать его и принимать. Теги применяются и компанией «Ростелеком».
Самое интересное, что позволяют теги — компьютеры могут быть подключены к одному коммутатору (свитчу), получать сигнал Wi-Fi с одной точки. Но при этом они не будут видеть друг друга и получать не одинаковые данные, если принадлежат к разным «маячкам». Это благодаря тому, что для одного «ВиЛан» используются определённые теги, а другой может быть, вообще, нетегирующим и не пропускать этот трафик.
Включить эту функцию
Включить этот идентификатор нужно для того, чтобы устройства, принимающие информацию, могли её видеть. В противном случае вся зашифрованная информация не будет видна.
Таким образом, стоит активировать VLAN для каждой конкретной услуги. Если он уже активирован, и делали это не вы, всё равно стоит знать свой «адрес».
Как узнать свой ID?
Нужно помнить, что «адрес» индивидуален для разных услуг, а в случае с IPTV от Ростелекома ещё и для каждого дома. Узнать ID можно у специалиста, который подключал какую-либо опцию или оборудование. Если вы получаете ненастроенный модем на руки, то лучше узнайте номер при заключении контракта с «Ростелеком».
Если идентификатора у вас нет, а вам очень надо найти его как можно быстрее, то спросить можно у соседей по дому. Другой вариант — оставить заявку, позвонив на горячую линию «Ростелеком». После вашу заявку отправят в техническую поддержку региона, где известны ID-адреса вашего населённого пункта.
Итак, теперь вы знаете, по какому принципу работает IPTV от Ростелекома. Также вам известно, для чего применяются теги, как узнать свой VLAN, и какую роль он играет.
Как настроить идентификатор VLAN для вашего интернет-соединения на Wi-Fi роутере (для нового логотипа)
Некоторым интернет-провайдерам, таким как DoDo NBN и TPG FTTB в Австралии, необходимо настроить идентификатор VLAN для подключения к Интернету. Эта статья поможет вам настроить идентификатор VLAN через IPTV.
Примечание:
1. Если ваше интернет-соединение работает нормально, пожалуйста, проигнорируйте эту статью и просто сохраните настройки IPTV по умолчанию.
2. В этой статье в качестве примера приводится модель Archer C9.
3. Эта статья подходит пользователям, которым необходимо настроить идентификатор VLAN для подключения к Интернету.
Страница настройки IPTV.
Страница конфигурации, показанная ниже, используется для добавления тега VLAN для подключения к Интернету.
Сохраните версию IGMP Proxy и IGMP по умолчанию, если ваш интернет-провайдер не попросит вас их изменить.
Как правильно настроить идентификатор VLAN с помощью функции IPTV?
На странице настроек IPTV доступно несколько «режимов». Выберите режим «Указать вручную», если ваш интернет-провайдер отсутствует в списке.
1. Выберите режим «Указать вручную» и введите все выделенные параметры вручную, как показано ниже. Сначала проверьте данные у своего интернет-провайдера. Для настройки выполните следующие действия.
1) Выберите режим «Указать вручную», введите «Идентификатор VLAN для Интернет», предоставленный вашим провайдером.
Например, DoDo NBN предоставляет VLAN100 для интернет-сервиса, пользователь DoDo должен ввести 100 для «Идентификатор VLAN для Интернет».
2) Проверьте параметр «Тег 802.1Q» и оставьте настройки по умолчанию.
3) Введите два разных случайных числа (от 2 до 4094) для «Идентификатор VLAN для IP-телефона» и «Идентификатор VLAN для IPTV».
4) Выберите «Интернет» для всех портов LAN и нажмите «Сохранить».
2. Для пользователей ExStream (SG), Unifi (MY) или Maxis (MY):
Мы указали требуемые параметры в режимах «Singapore-ExStream», «Malaysia-Unifi» или «Malaysia-Maxis». Выберите своего провайдера и нажмите «Сохранить».
Администрирование #03. VLAN.
VLAN — Virtual Local Area Network
Сегодня мы поговорим про эту полезную вещь. Очень многие о ней слышали, но не все из них представляют, что это такое зачем оно нужно.
Сетевая топология — способ описания конфигурации сети, схема расположения и соединения сетевых устройств.
Физическая топология — описывает реальное расположение и связи между узлами сети.
Логическая топология — описывает хождение сигнала в рамках физической топологии.
1) Локальную сеть, физически состоящую из нескольких железок (aka коммутаторов), но которая видится как сеть, в которой одна многопортовая железка.
2) И наоборот, на одной железке можно уместить несколько сетей так, что они не будут видеть друг-друга. Как будто мы попилили коммутатор на несколько маленьких свитчиков.
3) Комбинацию из 1 и 2:
То есть, мы можем создавать логическую топологию сети не зависимо от физической топологии.
Тут надо отступить чуть в сторону. Никто не запрещает вам создать несколько локальных сетей без всяких VLAN и компы из одной сети будут видеть друг-друга (см. картинку ниже)
Когда и зачем это нужно:
3) Когда вы сталкиваетесь с IP-телефонией и моделью подключения комп-телефон-свич (то есть, 2 устройства на одном порту и нужно разделать их трафик). Телефонию в принципе принято выносить в отдельный VLAN не зависимо от типа подключения телефонов. В общем случае, когда на порт приходит по некоторым признакам разный трафик, который не должен смешиваться. Например, интернет, телефония и некоторый прямой канал с дружественной фирмой от провайдера.
4) Когда вы хотите развести всех этих людей по подсетям. Бухи налево, юристы прямо, маркетологи направо. Может, им не стоит видеть друг друга в целях безопасности, кто знает?
Как всё происходит: на устройстве создается VLAN, в него добавляются порты, которые в этот VLAN входят. Порты бывают тегированные и нетегированные. Тег – это некоторая метка (число), которая идентифицирует принадлежность трафика к VLAN. Помечать трафик нужно, когда в одном проводе передается трафик нескольких VLAN’ов (см. картинку).
VLAN1 — зеленый, в него входят порты 1, 7, 12, 14, 16 на switch1 и порты 1, 3, 4, 7, 8, 9, 11, 15 на switch2.
VLAN2 — синий, в него входят порты 3, 4, 6, 8, 9, 11, 13, 15, 16 на switch1 и порты 2, 5, 8, 13, 14, 16 на switch2.
VLAN3 — красный, в него входят порты 2, 5, 10, 16 на switch1 и порты 6, 8, 10, 12 на switch2.
Можно было бы соединить свитчи тремя патч-кордами (пунктирные линии) по одному на каждый VLAN, но не всегда это возможно и здорово (например, когда ваши свитчи расположены на разных этажах или когда VLAN’ов много, а свободных портов мало).
Сейчас свитчи соединены патч-кордом, который воткнут в 16 порт на первом свитче и в 8 порт на втором. Чтобы по нему могли ходить пакеты всех трёх VLAN’ов и не перемешиваться, патч-корд должен быть воткнут в тегированные порты. Порты 16 на первом и 8 на втором свитче — тегированные, каждый из них принадлежит всем трём VLAN’ам (также говорят и наоборот – три VLAN есть в этих портах). На входе в эти порты метка ставится (если нету), но на выходе не снимается.
Порты, помеченные одним цветом — нетегированные, в них нет меток, так как метки внутри одной сети не нужны. То есть, метка на входе в порт снимается (если есть) и на выходе не ставится.
И вот у вас несколько VLAN’ов, все счастливы, но друг друга сети совсем не видят. А надо. Чтобы настроить между ними маршрутизацию, нужен (тссс!) маршрутизатор. Ну или хотя бы L3-switch.
По просьбам трудящихся подписчиков несколько команд:
VLAN на компе с Debian:
Можно настраивать с помощью vconfig или с помощью ip link.
Создать VLAN на интерфейсе eth0. Имя VLAN’a – eth0.80, оно по-хорошему должно быть именно в таком формате: интерфейс.тег, ну и тег тут 80, уже понятно:
# ip link add link eth0 name eth0.80 type vlan id 80
# ifconfig eth0.80 up
# ip a a 172.16.1.1/24 dev eth0.80
Создать VLAN с названием 45 и тегом 45:
# create vlan 45 tag 45
Добавить нетегированные порты с 8 по 11:
# config vlan 45 add untagged 8-11
Добавить тегированный порт 14:
# config vlan 45 add tagged 14
Удалить 10 порт из VLAN:
# config vlan 45 delete 10
Посмотреть информацию о VLAN:
Добавить тегированные порты:
# config vlan2 add tagged 2,25
Изменить что-то с VLAN’ом:
# ip address 10.1.2.1 255.255.255.0
Чтоб перевести порт в тегированный режим:
# switchport trunk encapsulation dot1q
# swichport mode trunk
Разрешить VLAN’ы 1 и 2:
# switchport trunk allowed vlan 1,2
Включение нетегированного VLAN’а:
# switchport trunk native vlan 1
Режим по умолчанию, в этом порту не может быть тегированных пакетов:
# switcport access vlan 1
Ну и напоследок: не стоит наслушавшись цискокурсов или начитавшись статей пилить свою сеть на VLAN’ы, если вы не понимаете, зачем вам это надо. Если у вас в широковещательном домене пару сотен устройств и все в одной сети, то не стоит заморачиваться (это моё личное мнение).
Лига Сисадминов
656 постов 12.3K подписчиков
Правила сообщества
— # mount /dev/good_story /sysodmins_league
— # mount /dev/photo_it /sysodmins_league
— # mount /dev/best_practice /sysodmins_league
— # mount /dev/tutorial /sysodmins_league
Зачем при работе с интерфейсом использовать одновременно и старый Net-tools и новый iproute2? В данном случае нужно заменить
-ться
Прям чума 21 века
добавлю
FreeBSD
ifconfig vlan900 create
ifconfig vlan900 vlan 900 vlandev igb0
на линупсе так же можно пользоваться командой vconfig
switchport trunk encapsulation dot1q такое нужно только на L3 коммутаторах
Расскажите про Q-in-Q vlan, пожалуйста
Если у вас в широковещательном домене пару сотен устройств и все в одной сети, то VLAN необходимы как минимум для четкой структуризации и более простого документирования сети.
зачем телефоны выводить в отдельный влан?
Вас на хабре забанили?
Искал как удалить порт из влана, нашел твою статью, а у тебя только длинк.
Крч no swichport access vlan №
С Днем системного администратора!
Для меня самого сегодняшний праздник оставался незамеченным до первого поздравления. Вот так внезапно наступила последняя пятница июля, когда по традиции отмечается День системного администратора.
«Эталонных», стереотипных админов с бородой, пузом и пивом наперевес остается все меньше, границы профессии расширяются, специализаций становится всё больше, так хочу поздравить всех админов, девопсов, эникеев и всех-всех причастных к стабильному функционированию компов, серверов и сервисов с профессиональным праздником!
Как мое рабочее место менялось с годами
в разное время рабочее место может выглядеть по разному.
у меня как то так менялось с годами )))
Как переставить жесткий диск с Windows на борту в новое железо, не переустанавливая систему
Все дело в том, что при установке Винда создает временные файлы, заполняет системный журнал событий и ставит драйвера комплектующих под текущее железо. При перестановке диска в другой компьютер, с отличным от первого железом, система, проще говоря, не поймет как ей работать с новым оборудованием, т.к. настроена для работы с другими комплектующими. То есть, в теории (да и на практике), системный диск можно переставлять из одного компьютера в другой, при абсолютной идентичности оных: одинаковая материнка, одинаковый проц и т.п.
Логичный вывод: нужно каким-то образом «сбросить» уже установленные драйвера и конфигурации. Для этого существует безмерное количество различного софта, но в этом посте я расскажу про встроенную утилиту «sysprep».
Утилита позволяет очистить журнал событий, временные файлы, сбросить драйвера устройств и активацию(!) системы, не удаляя пользовательские файлы и программы.
Находится по адресу C:\Windows\system32\sysprep\sysprep.exe
Вызвать можно двумя способами:
1. Зайти по указанному выше адресу, и запустить вручную
2. Нажать сочетание клавиш Win + R и в открывшемся окне ввести sysprep. (бм ругается на скрин :D)
Здесь предстоит выбрать параметры отвязки системы от железа.
Для переноса системы на другую машину, выбираем «Переход в окно приветствия», ставим галочку напротив пункта «Подготовка к использованию» и в параметрах завершения работы указываем «Завершение работы». Это важно, так как, например, при выборе «Перезагрузка», по завершению сброса системы, компьютер, что логично, перезагрузится, подсосав драйвера для этого же железа после загрузки.
В итоге должно получиться следующее:
Нажимаем «Ок» и ждем завершения работы утилиты
По завершению, компьютер отключится. Ни в коем случае не включайте его, ибо, в таком случае, всю процедуру придется проводить заново.
Теперь можно переставлять диск в новый комп.
При первой загрузке, винда откроет окно первичной настройки, как при установке. Не пугаемся, просто выбираем нужные пункты и жмем «Да», «Далее» и т.д.
При первичной настройке нужно создать нового пользователя для входа в систему. После завершения всех настроек, его можно будет удалить. Для Windows 10 советую создавать локального пользователя, без подключения к аккаунтам Microsoft, если есть такая возможность (зависит от дистрибутива).
Также, не забываем про то, что sysprep сносит активацию системы. Так что после загрузки ее придется активировать заново.
4. Сфера применения
1. Перенос диска с компьютера на компьютер, как описано выше.
2. Создание бекапа системы и файлов (большинство бесплатных бекап-софтин пляшут от аналогичного скрипта действий)
3. Создание корпоративного дистрибутива с предустановленными программами для установки на офисные машины. Полезно для админов, если нет централизованной системы управления конфигурациями.
Пост адресован начинающим администраторам и обычным пользователям, оказавшимся в ситуации, схожей с Васиной из начала поста.
UPD. Многие говорят что десятка сама прекрасно умеет подсасывать драйвера на новые компоненты. Отчасти это правда, зачастую так и происходит и статья больше относится к Win 7 и 8.1, однако и с десяткой раз на раз не приходится, имею горький опыт.
Вопросы с собеседований по Linux
Какие вопросы вам задавали на собеседованиях на должность линукс админа, помощника админа и т.п., всё что связано с линуксами?
Собираю базу вопросов с собеседований, думаю, будет полезно новичкам, да и в целом интересно почитать. Вопросы выложу в открытый доступ по ссылке. Просьба также указывать должность, на которую подавали.
Отказы ИС 0.Twilio и Redis
Введение. В IT существует такое понятие как post-mortem, обозначающее исследование, проводимое с целью выявления причин возникновения проблемы и недопущения их в будущем. В результате такого анализа IT-специалисты формируют post-mortem отчет, некоторые из которых выкладываются в открытый доступ.
В серии постов (если, конечно, она получится) планируется краткое изложение некоторых из подобных отчетов.
Сразу оговорюсь, что посты пишутся в свободное время, поэтому не ругайте сильно за ожидаемую их нерегулярность.
В качестве первого отчета выбран отчет компании Twilio (занимается предоставлением различных программных сервисов, в т.ч. автоматизированной отправки sms-сообщений и телефонных звонков). Отчет представлен на сайте компании и датируется 23 июля 2013 года.
Сам инцидент возник 18 июля 2013 и затронул 1,4; пользователей компании и заключался в следующем:
— во время инцидента при оплате с банковских карт в пользу Twilio пользователи не видели соответствующих изменений на своем балансовом счете;
— автоплатежи выполнялись несколько раз (так как баланс клиента в Twilio не обновлялся после оплаты);
— часть учетных записей были заблокированы из-за деактивации банковских карт, связанной с повторяющимся списанием средств;
— отчеты об использовании сервисов не доставлялись клиентам из-за того, что что биллинговая система (система выставления счетов) находилась в режиме оффлайн.
18.07.2013 08:35 UTC: из-за обрыва сетевого соединения с ведущим (master) узлом ведомые узлы выполнили переподключение и запустили процесс полной синхронизации одновременно.
18.07.2013 09:39 UTC: сервисы, использующие ведущий узел, начали отказывать из-за повышенной нагрузки на него.
18.07.2013 09:42 UTC: redis-master был перезапущен для того, чтобы справиться с нагрузкой.
18.07.2013 10:28 UTC: системы мониторинга Twilio зафиксировали аномалию в системе выставления счетов (ошибки платежей по картам и блокировки учетных записей пользователей). Затронуто было 1.1% пользователей. Проблемой начала заниматься дежурная команда инженеров.
18.07.2013 11:10 UTC: биллинговая система была отключена для избежания дальнейших ошибок обработки банковских карт.
18.07.2013 13:24 UTC: были разблокированы все затронутые учетные записи. Система выставления счетов оставалась в режиме оффлайн пока специалисты занимались поиском основной причины ошибки.
18.07.2013 18:58 UTC: биллинговая система была включена.
18.07.2013 21:57 UTC: Twilio начал возврат денежных средств. Работа по возврату заняла следующие 24 часа.
19.07.2013 22:00 UTC: возврат ден. средств был завершен.
19.07.2013 22:30 UTC: всем затронутым учетным записям на счет было зачислена сумма в размере 10% от их трат за последние 30 работы в сервисе.
20.07.2013 02:30 UTC: система выставления счетов запускалась постепенно для учетных записей, разделенных на группы.
20.07.2013 03:14 UTC: биллинговая система была запущена для всех групп пользователей (процесс запуска был завершен).
20.07.2013 04:15 UTC: работоспособность всех систем была восстановлена.
Основная причина. Twilio использует СУБД Redis для хранения баланса учетных записей. Кластер реализован на одном ведущем (master) и нескольким ведомым (slave) узлам, распределенным по разным ЦОД. Обрыв соединения 18.07.2013 08:35 UTC привел к значительному падению производительности Redis и возникновению тайм-аутов взаимодействия между ведомыми и ведущими узлами. Деградация была настолько значительной, что связанные сервисы начали отказывать.
Дежурная группа из-за высокой нагрузки на кластер Redis приняла ошибочное решение о необходимости его перезагрузки, так как она привела к чтению ошибочного файла конфигурации. Из-за ошибки конфигурационного файла Redis принял решение выполнить восстановление из AOL файла (файл, содержащий лог всех операций), которого не существовало, вместо использования бинарного снимка файловой системы (snapshot). В связи с этим Redis удалил все сведения о балансе учетных записей. Кроме того некорректная конфигурация привела к тому, что Redis сам запустился в режиме ведомого (slave) узла, что привело к его работе в режиме «только на чтение» и не давало биллинговой системе изменять сведения о балансе учетных записей.
У учетных записей с небольшим балансом и подключенными автоплатежами после выполнения платной операции производилось автоматическое списание ден. средств с привязанных банковских карт.
Состояние счетов хранится в двух независимых реляционных базах даннных. Эти сведения впоследствии использовались для восстановления корректного состояния баланса на учетных записях.
После восстановления состояния счетов биллинговая система была запущена, но системы мониторинга опять сообщали об ошибках. В связи с этим система была остановлена вновь и далее запускалась уже по частям для разных групп пользователей.
Что было сделано. В процессе решения проблемы кластер Redis был полностью заменен. Ошибка в конфигурационном файле была выявлена и поправлена. Во избежание проблем в будущем практика перезагрузки ведущего узла Redis была прекращена. Теперь он заменяется одним из ведомых узлов.
Потеря сведений о платежах также была признана ошибочной в системе автоплатежей. Ее отказ был высокорисковым, приводящим к неверным платежам клиентов и блокировкам их учетных записей. Теперь в случае, если счета клиентов не существуют или не могут быть изменены система не выполняет списаний и не блокирует учетные записи. Кроме того биллинговая система теперь сверяется также с бухгалтерскими базами данных в реальном времени.
Тест на применение черепичной записи (SMR) в жестком диске
Кратко о том, что такое SMR и почему о применении этой технологии в жестком диске полезно знать
Преимущество технологии черепичной записи (Shingled Magnetic Recording, SMR) по сравнению с традиционной (Conventional Magnetic Recording, CMR) в том, что благодаря частичному наложению друг на друга, можно сделать ширину трека меньше, при той же ширине головки записи. Что позволяет разместить больше треков на пластине, повысив тем самым плотность записи.
Недостаток же SMR в том, что в процессе записи уничтожаются данные на соседнем, следующем за записываемым треком. Поэтому требуется перезаписывать и соседний трек тоже. Но при этом потребуется перезаписать данные уже на следующем треке. И так далее.
Для того, чтобы не пришлось перезаписывать весь диск до конца, «черепичные» треки разбиваются на группы, называемые лентами. При этом на современных SMR дисках механизм позиционирования не обладает достаточной точностью для того, чтобы обеспечить частичную перезапись ленты. Лента записывается только целиком, сразу от начала до конца.
Также пластины SMR дисков содержат и «обычные» треки, которые используются для кэширования данных в процессе записи лент. Эти треки размещаются в отдельных, выделенных для этих целей областях, часто между лентами.
В процессе работы диск сначала пишет данные в кэш, на обычные треки. И пока кэш не заполнен, скорость записи сравнима с таковой для CMR дисков. Потому что при этом и происходит обычная запись. Затем устройство в фоновом режиме раскладывает данные по лентам.
Таким образом, для обновления данных в конкретном секторе жесткому диску с технологией SMR может потребоваться выполнить объём записи во много раз превышающий таковой для CMR диска в аналогичной ситуации.
Пока кэш не заполнен полностью, SMR диск будет вести себя вполне пристойно. Но после заполнения, что может запросто происходить при определённых сценариях использования, произойдёт многократное падение скорости записи.
Поэтому, если ваши планы включают в себя большие объёмы нелинейной записи, совершенно точно стоит для их осуществления использовать CMR диск а не SMR.
Как узнать, какая технология записи используется в жестком диске
До недавнего времени все производители за исключением Toshiba скрывали использование технологии SMR в своих устройствах. Она не упоминалось в описаниях моделей и не обозначалась предназначенным для этой цели стандартом битом в паспорте накопителя.
После ряда скандалов Seagate и WDC начали публиковать списки накопителей, в которых иcпользуется технология SMR. Также в сети можно подобные списки составленные независимыми от производителей людьми.
Тем не менее, эта характеристика до сих пор не указывается в описании устройств при их продаже в онлайн и офлайн магазинах. По крайней мере, я этого нигде не видел.
Таким образом, если вы обдумываете покупку конкретной модели жесткого диска, то ищите упомянутые выше списки, вбив в поисковую строку «smr drive list» или «список SMR дисков».
Если же устройство уже попало к вам в руки, то тут способа определения три:
• На устройствах нарушающих стандарт и скрывающих применение SMR, утилита R.tester умеет определять использование этой технологии на основе определения вендор-семейства и знаний об их особенностях.
• Тесты чтения-записи с должным образом подобранными параметрами наглядно выявляют использование SMR. И иллюстрируют причины нередкого возмущения владельцев подобных устройств.
Далее о каждом из этих способов подробнее.
Для дисков Toshiba
На жестких дисках с SMR установлены соответствующие биты в паспорте накопителя, как и положено в соответствии с АТА-стандартом.
Определение использования SMR по вендор-семействам
Паспорт можно смотреть чем угодно. По вендор-семействам наличие SMR, на сколько мне известно, сейчас умеет определять только R.tester.
Тесты жесткого диска SMR и сравнение с CMR накопителем
Если диск заполнен информацией частично, то определить использование SMR можно даже с помощью теста чтения.
Благодаря особенности работы прошивки, на данный момент характерной только для SMR устройств. Микропрограмма знает какие из секторов пустые и даже не пытается их читать, сразу отдавая нули в ответ на запрос чтения. Чтение с поверхности пластины при этом не выполняется. Вот так в результате выглядит график чтения до середины SMR диска, заполненного данными на четверть:
Наиболее наглядным тестом записи будет такой вариант, при котором кэш заполняется максимально быстро, а его раскладывание по лентам потребует записи в разные ленты.
Предполагаю, что для большинства моделей SMR дисков и способов подключения к компьютеру, таким способом будет случайная запись блоками размером в 2048 секторов.
Если заменить случайную запись на линейную с прыжками и подобрать размер прыжков таким образом, чтобы попадать в каждую ленту один-два раза, кэш будет заполняться с той же скоростью, но результат будет более наглядным. Так как ось адреса на графике будет одновременно являться осью времени, хоть и в нелинейном масштабе.
В качестве характерного размера ленты можно ориентироваться на 524288 блоков. Это число я и использовал в качестве размера прыжка в настройках теста.
По итогу выполнения большого количества тестов SMR дисков могу сказать, что формы графиков могут отличаться достаточно сильно. Даже для одного конкретного экземпляра диска. Причём очень сильно влияют даже такие казалось бы малозначительные вещи как отступ от нулевого LBA перед началом записи. Не говоря уже о заполненности кэша перед началом записи, распределении данных по диску и особенностей работы конкретных моделей.
Тем не менее, одного взгляда на результаты теста SMR диска, в сравнении с результатами CМR, вам будет достаточно для того, чтобы понять что за устройство перед вами.
Диск исправен. За все три цикла записи пишется всего порядка 30 Гигабайт. Обратите внимание на катастрофическое падение скорости записи.
Теперь другая модель, снова одинаковые параметры тестов:
Почему я написал о том, что конкретная форма графика в данном случае не важна? Потому что всё равно сразу понятно кто есть кто, если знать как должен выглядеть график для исправного CMR диска:
Фоновый процесс раскладывания кэша по лентам влияет на производительность устройства в целом, не только скорость записи. Даже скорость чтения падает. Вот тест чтения, который был выполнен сразу после записи в одном наборе тестов:
Такие тесты также можно использовать для определения использования SMR.
Мой коллега сделал видеоролик на тему тестирования SMR дисков. Он получился достаточно коряво, но было решено что лучше выложить сейчас как есть, поскольку перспектива появления улучшенной версии с нашими навыками видеоблогинга выглядела сомнительной.
Про конференцию и МЧС
И в связи с этим есть у меня несколько историй.
Они собирались проводить телемост в нашем большом зале. Подготавливаясь, я прикинул, у меня там по дороге два свича от серверной до зала. Поставил к каждому свичу ИБП-полуторакиловатник на всякий случай. Начали приезжать бойцы, заносить аппаратуру. Стою, курю возле корпуса, рядом курят бойцы. Слышу разговор:
Подготавливаем зал. Я там чегото бойцам с проводами помогаю, сеть, электричество. Прячем провода за рельеф местности. Работаем в общем. Люди ходят-выходят, кто-то чего-то с кем-то обсуждает. Ну, рабочая атмосфера.
Замечаю краем глаза что как-то движухи стало поменьше, разговоры несколько поутихли. Не придал значения. Продолжаю провода прятать. Слышу женский (Ж) голос:
Бросаю взгляд на говорящих, встреваю.
Ищем помещение для чегототам. Вожу пару женщин по санаторию, показываю варианты. Идём на 5й этаж, библиотеку смотреть. Кто-то меня на лестнице тормознул, что-то поговорили, догоняю бегом. Добегаю, спотыкаюсь о ступеньку, почти падаю (вовремя руку выставил).
Ищем запасное помещение для выступления студентов. Ну, на случай дождя, под крышей. Ходим уже почти полчаса с мужиком из МЧС. То помещение маловато, то далеко, то высоко.
Мужик вздыхает. Смотрит на меня грустным взглядом.
И такая, знаете, печаль в голосе когда про бумаги говорил.
— Пока непонятно но стало понятно как вычислить точку фокуса этой жопы, ребята работают. Но. На всякий случай. У меня тут ростелеком оптику затянул, но кабель пустой, интернета в нём нет. У вас же есть выход на ростелеком?
— Тогда попробуйте сделать так, чтобы в этом кабеле интернет появился. Скорее всего не пригодится, но вдруг!
— Через 20 минут приедет машина, тестировать наличие интернета в кабеле. Но говорят, что уже должен быть.
Не помню уже что там было точно. Почему-то порт отключился.
Вторник. С утра разговариваем с бойцами (Б) что как, планируем что делать если что-то не так.
Выделили мне рацию, позывной. Сидел у себя в кабинете, следил. Конфа прошла без проблем.
Заканчиваются выступления студентов. Ну как выступления. Отыгрываются разные ситуации. Например, фанаты после футбольного матча толпой прошлись по улице, побили машины, что-то подожгли. Актёры играют людей в шоке, студенты с ними разговаривают. Ну, кактотак.
— Тут тебе грамоту какую-то собрались выдавать за помощь и прочее добро.