что такое буферизация потока
Как избежать проблем с буферизацией при потоковой передаче видео?
При просмотре потокового видео на вашем Smart TV или через медиа-стример, умный проигрыватель дисков Blu-ray или Smart TV, нет ничего более раздражающего, чем постоянная остановка, запуск и/или показ экрана с надписью «загрузка».Эта информация относится к телевизорам и другим устройствам различных производителей, включая, но не ограничиваясь, производства LG, Samsung, Panasonic, Sony и Vizio.
Как работает потоковое видео и буферизация?
Чтобы предотвратить остановку загрузки видео, ваш сетевой компонент «буферизирует» видео. Таким образом, оно передает потоковое видео заранее до того, что вы смотрите, поэтому оно воспроизводится непрерывно. По крайней мере, это идея.
Когда видео попадает в точку потоковой передачи файла, возможна задержка. Это приводит к показу экрана «загрузки» и паузе в воспроизведении фильма.
Если потоковое видео достигает точки, в которой оно должно остановиться, пока не появится больше информации, оно будет приостановлено, и вы увидите вращающуюся стрелку или вращающийся круг на экране телевизора. Как только видео поток перехватывает, он воспроизводится снова.
Повторная буферизация может возникать из-за технической проблемы с поставщиком контента или вашим поставщиком интернет-услуг (ISP), но также может происходить, когда слишком много устройств используют ваше интернет-соединение одновременно. Однако в большинстве случаев это зависит от скорости вашего интернета.
Что такое скорость загрузки?
Скорость Интернета или скорость домашнего подключения означает, сколько данных (в данном случае потоковых фотографий, музыки и файлов фильмов) можно отправить из источника на проигрыватель. Источник может передавать потоковое видео Netflix, например, из Интернета, а также фотографии, музыку или видео, хранящиеся на компьютере в вашей домашней сети.
Медленное соединение задержит доставку аудио и видео информации о фильме, и в этом случае вы увидите экран загрузки. Быстрое соединение позволяет воспроизводить фильмы без перерывов и легко размещать видео высокой четкости или 3D и до 7.1 каналов объемного звука.
Большинство интернет-провайдеров рекламируют высокую скорость интернет-соединения. Там, где у нас когда-то были скорости коммутируемого соединения и DSL, измеренные в килобайтах в секунду (Кбит/с), теперь мы измеряем скорости в мегабайтах в секунду (Мбит/с). (Мегабайт составляет 1000 килобайт.) Поставщики услуг широкополосного и кабельного интернета предлагают скорость загрузки более 50 Мбит/с во многих регионах.
В дополнение к скорости интернет-соединения вашего провайдера услуг, такие как Netflix и Vudu, имеют свои собственные требования к скорости потокового видео. Вы можете проверить свою скорость интернета на различных сайтах.
Какая скорость нужна для домашней сети?
Дело не только в том, как быстро интернет приносит видео в ваш дом. Оказавшись там, информация должна быть отправлена с модема на маршрутизатор.
Следующее соображение заключается в том, как быстро маршрутизатор может отправлять видео и другую информацию на компьютеры, медиа-стримеры, смарт-телевизоры и подключенные к нему проигрыватели дисков Blu-ray с доступом в Интернет. Маршрутизаторы, предназначенные для работы с потоковым видео, иногда называемые AV-маршрутизаторами, могут передавать больше данных, уменьшая прерывания воспроизведения.
Скорость соединения маршрутизатора с устройством потоковой передачи/воспроизведения мультимедиа считается конечной переменной. Маршрутизатор может поддерживать потоковую передачу мультимедиа на высокой скорости, но аудио и видео могут попасть на ваш медиа-стример/проигрыватель только с той скоростью, с которой соединение может их передать.
Подключение с помощью кабеля Ethernet или аксессуаров, разработанных для AV
Использование кабеля Ethernet (Cat 5, 5e или 6) считаетсяя наиболее надежным способом подключения мультимедийного стримера или другого совместимого компонента к маршрутизатору. Этот тип прямого физического соединения обычно поддерживает скорость возможностей маршрутизатора.
Однако при подключении сетевого мультимедийного проигрывателя или компонента по беспроводной связи (Wi-Fi) или с помощью адаптера питания, скорость часто падает, иногда резко. Даже если есть скорость интернета 10 Мбит/с для вашего маршрутизатора, он может не поддерживать эту скорость для вашего устройства; это может показать, что он получает менее 5 Мбит/с, и вы получаете сообщение о том, что качество видео ухудшается в вашей учетной записи Netflix или Vudu.
При поиске аксессуаров для беспроводных адаптеров и адаптеров питания проверьте значения скорости; они указывают, оптимизированы ли они для AV, поэтому вы можете передавать потоковое видео высокой четкости и аудио. Другое соображение, касающееся беспроводных маршрутизаторов, заключается в том, насколько далеко они могут передавать стабильные сигналы. Расположение мультимедийного стримера/устройства воспроизведения, такого как Smart TV, на большом расстоянии (например, в другой комнате) может повлиять на стабильность сигнала, принимаемого через беспроводной маршрутизатор.
Скорость интернета продолжает расти
Теперь, когда мультимедиа стало цифровым, его получение дома происходит быстрее, чем когда-либо прежде, и такие службы, как Google Fiber, Verizon FIOS и Cox Gigablast, могут обеспечить широкополосную скорость до 1 Гбит/с. Конечно, с этими более высокими скоростями увеличиваются ежемесячные расходы на обслуживание.
Системы потоковой передачи и доставки, такие как маршрутизаторы HDBaseT, беспроводные адаптеры и адаптеры Powerline, постоянно совершенствуются, чтобы они могли одновременно переносить большие объемы видео высокой четкости (с особым вниманием к 4K) на несколько телевизоров и компьютеров одновременно. а также играть в видеоигры без задержки.
Термин: Буферизация потоков данных
При разработке программ, работающих с потоками данных АЦП и ЦАП, возникает задача обеспечить обработку данных с достаточной скоростью.
Скорость потока данных определяется частотой дискретизации и не регулируется программой: физический процесс не может ждать. Если потерять часть отсчётов, то сигнал будет испорчен.
При этом компьютер, исполняющий программу, обычно работает не в реальном времени, т.е. если один шаг программы следует «сразу» за другим, то это «сразу» следует понимать как последовательность выполнения операций, а не как реальное время. Некоторые операции (например, запись на диск) могут выполняться относительно долго. Также в многозадачной операционной системе есть много процессов, прерывающих друг друга, так что программа может «застопориваться» в случайные для неё моменты времени (иногда довольно надолго – на десятки, даже сотни миллисекунд).
Кроме того, при программировании бывает необходимо обрабатывать данные блоками (порциями), а не по одному отсчету, иначе накладные расходы сведут на нет быстродействие даже современного компьютера.
Для решения этой задачи применяется буферизация.
Буфер – это массив в памяти с быстрым доступом, в котором накапливаются поступающие данные (если это поток ввода, АЦП) или из которого они отправляются с заданной скоростью (если это поток вывода, ЦАП).
При вводе данных процесс начинается с пустым буфером. При выводе буфер должен быть предварительно заполнен, иначе в начале работы может сразу произойти опустошение буфера.
Производительность обработки данных компьютером должна быть больше скорости потока (с запасом), а вот мгновенная скорость может падать, лишь бы буфер ввода не переполнился, а буфер вывода не опустел. Запас по скорости нужен, чтобы разбирать данные, накопившиеся в буфере из-за паузы (а при выводе – чтобы снова наполнить буфер).
Образно можно представить себе буфер ввода как бак, в который из трубы с постоянной скоростью поступает вода. Мы зачерпываем эту воду ведром, относим потребителю и возвращаемся; чем больше бак, тем больше времени у нас есть на непредвиденные задержки по дороге. В идеале в баке должно быть не больше ведра воды, тогда, уходя, мы оставляем его пустым и имеем максимальный запас времени. Если же случилась задержка и набралось много воды, мы начинаем торопиться, чтобы побыстрее вычерпать её.
С буфером вывода всё то же самое, только вода уходит из бака с постоянной скоростью (и прерывать подачу нельзя, это авария), а мы наливаем вёдрами. Соответственно максимальную защиту от задержек обеспечивает полный бак, а если уровень упал – его надо побыстрее восполнить.
На практике такая схема может быть реализована в виде кольцевого буфера или списка блоков меньшего размера («вёдер»), которые ставятся в очередь. По мере готовности они обрабатываются, освободившиеся блоки-вёдра ставятся в конец очереди.
Простейший вариант – это схема с двумя буферами (двумя половинами большого буфера): когда готова одна половина, она обрабатывается, в это время данные собираются во второй половине, и за время ее заполнения должна завершиться обработка первой, потом половины «меняются ролями». Если продолжать аналогию с вёдрами, то здесь нет бака, зато есть два ведра: набрав полное ведро, мы сразу подставляем пустое и относим полное на грядку. Это очень простая и эффективная схема, но в ней размер порции обработки данных (и связанная с ним задержка) увязывается с размером буфера, что иногда неудобно.
Для использованной выше бытовой аналогии буфера и ведра сделаем важную оговорку, что под буфером (в системах сбора данных и управления) подразумевается последовательная структура, в которой данные не теряются (ведро не дырявое) и последовательность данных не изменяется. Другими словами, попавший в буфер отсчёт данных не может обогнать ранее пришедший отсчёт.
Также отметим, что реализация буфера может быть не только программная, но и аппаратная, например в FPGA, по типу линейной очереди заданного максимального размера «первым вошёл – первым вышел» (FIFO – First In, First Out).
Если термин «буферизация» рассматривать шире, то буферизация может быть и без сохранения естественного порядка следования данных, например, LIFO «последним вошёл – первым вышел» (LIFO – Last In, First Out). Другое известное название буфера LIFO – это стек (Stack), который широко применяется в программировании.
При сравнении характеристик систем сбора данных важен не просто байтовый объём буфера в системе, а расчётное максимальное время буферизации сигнала при данной скорости ввода данных (для АЦП) или вывода данных (ЦАП). Для расчёта времени буферизации следует учитывать необходимую скорость сбора данных (отсчётов в секунду) и размер слова данных, занимаемый одним отсчётом (типично: 2 или 4 байта). В слове, кроме отсчёта данных, может находиться вспомогательная индексная информация, маркирующая поток данных для разных вспомогательных задач при работе с данными на верхнем программном уровне в ПК.
При рассмотрении термина «буферизация» применительно к реальной работе систем сбора данных следует отметить, что в данном случае процесс буферизации данных будет носить многоуровневый характер: буферизация будет происходить как в устройстве, так и в компьютере, часто не только в ПО верхнего уровня, но и на уровне драйвера используемого интерфейса (например, драйвера USB). Особенно в случае использования операционной системы компьютера, не относящейся к системам «реального времени», типично может наблюдаться значительное непостоянство времени буферизации сигнала при неизменной скорости ввода-вывода данных.
С данной темой связаны следующие статьи:
Пример использования термина
Терминология, связанная с буферизацией потоков данных, широко используется в руководствах на различные системы сбора данных (LTR, E-502, L-502, E14-x40 и т.д.) при описании их функциональных схем и программных интерфейсов.
Измерительная система LTR
АЦП: 16 бит; 16/32 каналов;
±0,2 В…10 В; 2 МГц
ЦАП: 16 бит; 2 канала; ±5 В; 1 МГц
Цифровые входы/выходы:
17/16, ТТЛ 5 В
Интерфейс: USB 2.0 (high-speed), Ethernet (100 Мбит)
Гальваническая развязка.
Модуль АЦП/ЦАП
16/32 каналов, 16 бит, 2 МГц, USB, Ethernet
E-502
АЦП: 16 бит; 16/32 каналов;
±0,2 В…10 В; 2 МГц
ЦАП: 16 бит; 2 канала; ±5 В; 1 МГц
Цифровые входы/выходы:
18/16 TTL 5 В
Интерфейс: PCI Express
Плата АЦП/ЦАП
16/32 каналов, 16 бит, 2 МГц, PCI Express
L-502
АЦП: 14 бит; 4 канала;
±0,3 В…3 В; 10 МГц
ЦАП: 12 бит; 2 канала; ±5 В; 8 мкс
Цифровые входы/выходы:
16/16 ТТЛ, 5 В
Интерфейс: USB 2.0 (high-speed).
Модуль АЦП/ЦАП
4 канала, 14 бит, 10 МГц, USB
E20-10
АЦП: 14 бит; 16/32 каналов;
±0,15 В…10 В; 200 кГц
ЦАП: 16 бит; 2 канала; ±5 В; 200 кГц
Цифровые входы/выходы:
16/16 TTL 5 В
Интерфейс: USB 2.0
Модуль АЦП/ЦАП
16/32 каналов, 14 бит, 200 кГц, USB
E14-140M
АЦП: 14 бит; 16/32 каналов;
±0,156 В…10 В; 400 кГц
ЦАП: 12 бит; 2 канала; ±5 В; 8 мкс
Цифровые входы/выходы:
16/16 TTL 5 В
Интерфейс: USB 2.0
Модуль АЦП/ЦАП
16/32 каналов, 14 бит, 400 кГц, USB
Буферизация
Буферизация (от англ. buffer ) — метод организации обмена, в частности, ввода и вывода данных в компьютерах и других вычислительных устройствах, который подразумевает использование буфера для временного хранения данных. При вводе данных одни устройства или процессы производят запись данных в буфер, а другие — чтение из него, при выводе — наоборот. Процесс, выполнивший запись в буфер, может немедленно продолжать работу, не ожидая, пока данные будут обработаны другим процессом, которому они предназначены. В свою очередь, процесс, обработавший некоторую порцию данных, может немедленно прочитать из буфера следующую порцию. Таким образом, буферизация позволяет процессам, производящим ввод, вывод и обработку данных, выполняться параллельно, не ожидая, пока другой процесс выполнит свою часть работы. Поэтому буферизация данных широко применяется в многозадачных ОС.
Буферизация по принципу своего построения бывает прозрачная (пример — кэширование диска на запись, когда процессы или устройства не подозревают о существовании процедуры буферизации между ними), и непрозрачная, когда сторонам для совершения обмена требуются знания о буфере. Наглядный пример. С бумажными почтовыми отправлениями совершается инкапсуляция в мешки с почтой, далее в вагоны поездов, автомобили и прочие транспортные средства. Отправитель же и получатель обязаны знать только один уровень буферизации — почтовые ящики. Остальные уровни прозрачны для пользователя.
Термины «прозрачная» и «непрозрачная» буферизация несовсем удачны, поскольку могут несколько сбивать с толку. В качестве более удачных можно было бы предложить термины, соответственно, «невидимая» и «видимая буферизация».
Применение буферизации
Различные виды буферизации применяются в компьютерной графике, для обработки и вывода на экран изображений (см. двойная и тройная буферизация), причём они могут быть реализованы как аппаратно, так и программно.
Как избежать проблем с буферизацией при потоковой передаче видео
При просмотре потокового видео на вашем Smart TV или через медиа-стример, умный проигрыватель дисков Blu-ray или Smart TV, нет ничего более раздражающего, чем постоянная остановка, запуск и/или показ экрана с надписью «загрузка».
Эта информация относится к телевизорам и другим устройствам различных производителей, включая, но не ограничиваясь, производства LG, Samsung, Panasonic, Sony и Vizio.
Как работает потоковое видео и буферизация
Чтобы предотвратить остановку загрузки видео, ваш сетевой компонент «буферизирует» видео. Таким образом, оно передает потоковое видео впереди того, что вы смотрите, поэтому оно воспроизводится непрерывно. По крайней мере, это идея.
Когда видео попадает в точку потоковой передачи файла, возможна задержка. Это приводит к ужасному экрану «загрузки» и паузе в воспроизведении фильма.
Если потоковое видео достигает точки, в которой оно должно ждать, пока не появится больше информации, оно будет приостановлено, и вы увидите вращающуюся стрелку или вращающийся круг на экране телевизора. Как только видео поток перехватывает, он воспроизводится снова.
Этот процесс может занять всего несколько секунд или может длиться несколько минут. Если видео длинное (фильм или телепередача), вы можете столкнуться с несколькими сеансами буферизации во время просмотра – конечно, раздражающими.
Повторная буферизация может возникать из-за технической проблемы с поставщиком контента или вашим поставщиком интернет-услуг (ISP), но также может происходить, когда слишком много устройств используют ваше интернет-соединение одновременно. Однако в большинстве случаев это зависит от скорости вашего интернета.
Какая скорость означает
Скорость Интернета или скорость домашнего подключения означает, сколько данных (в данном случае потоковых фотографий, музыки и файлов фильмов) можно отправить из источника на проигрыватель. Источник может передавать потоковое видео Netflix, например, из Интернета, а также фотографии, музыку или видео, хранящиеся на компьютере в вашей домашней сети.
Медленное соединение задержит доставку аудио и видео информации о фильме, и в этом случае вы увидите экран загрузки. Быстрое соединение позволяет воспроизводить фильмы без перерывов и легко размещать видео высокой четкости или 3D и до 7.1 каналов объемного звука.
Большинство интернет-провайдеров рекламируют высокую скорость интернет-соединения. Там, где у нас когда-то были скорости коммутируемого соединения и DSL, измеренные в килобайтах в секунду (Кбит/с), теперь мы измеряем скорости в мегабайтах в секунду (Мбит/с). (Мегабайт составляет 1000 килобайт.) Поставщики услуг широкополосного и кабельного интернета предлагают скорость загрузки более 50 Мбит/с во многих регионах.
В дополнение к скорости интернет-соединения вашего провайдера услуг, такие как Netflix и Vudu, имеют свои собственные требования к скорости потокового видео. Вы можете проверить свою скорость интернета на различных сайтах.
Как быстро ваша домашняя сеть?
Дело не только в том, как быстро интернет приносит видео в ваш дом. Оказавшись там, информация должна быть отправлена с модема на маршрутизатор.
Следующее соображение заключается в том, как быстро маршрутизатор может отправлять видео и другую информацию на компьютеры, медиа-стримеры, смарт-телевизоры и подключенные к нему проигрыватели дисков Blu-ray с доступом в Интернет. Маршрутизаторы, предназначенные для работы с потоковым видео, иногда называемые AV-маршрутизаторами, могут передавать больше данных, уменьшая прерывания воспроизведения.
Скорость соединения маршрутизатора с устройством потоковой передачи/воспроизведения мультимедиа является конечной переменной. Маршрутизатор может поддерживать потоковую передачу мультимедиа на высокой скорости, но аудио и видео могут попасть на ваш медиа-стример/проигрыватель только с той скоростью, с которой соединение может их передать.
Подключение с помощью кабеля Ethernet или аксессуаров, разработанных для AV
Использование кабеля Ethernet (Cat 5, 5e или 6) является наиболее надежным способом подключения мультимедийного стримера или другого совместимого компонента к маршрутизатору. Этот тип прямого физического соединения обычно поддерживает скорость возможностей маршрутизатора.
Однако при подключении сетевого мультимедийного проигрывателя или компонента по беспроводной связи (Wi-Fi) или с помощью адаптера питания, скорость часто падает, иногда резко. Даже если у вас есть скорость интернета 10 Мбит/с для вашего маршрутизатора, он может не поддерживать эту скорость для вашего устройства; это может показать, что он получает менее 5 Мбит/с, и вы получаете сообщение о том, что качество видео ухудшается в вашей учетной записи Netflix или Vudu.
При поиске аксессуаров для беспроводных адаптеров и адаптеров питания проверьте значения скорости; они указывают, оптимизированы ли они для AV, поэтому вы можете передавать потоковое видео высокой четкости и аудио. Другое соображение, касающееся беспроводных маршрутизаторов, заключается в том, насколько далеко они могут передавать стабильные сигналы.Расположение мультимедийного стримера/устройства воспроизведения, такого как Smart TV, на большом расстоянии (например, в другой комнате) может повлиять на стабильность сигнала, принимаемого через беспроводной маршрутизатор.
Скорость интернета продолжает расти
Теперь, когда мультимедиа стало цифровым, его получение дома происходит быстрее, чем когда-либо прежде, и такие службы, как Google Fiber, Verizon FIOS и Cox Gigablast, могут обеспечить широкополосную скорость до 1 Гбит/с. Конечно, с этими гораздо более высокими скоростями увеличиваются ежемесячные расходы на обслуживание.
Системы потоковой передачи и доставки, такие как маршрутизаторы HDBaseT, беспроводные адаптеры и адаптеры Powerline, постоянно совершенствуются, чтобы они могли одновременно переносить большие объемы видео высокой четкости (с особым вниманием к 4K) на несколько телевизоров и компьютеров одновременно. а также играть в видеоигры без колебаний (задержки).
Кроме того, 4K-видео становится все легче транслировать. Сочетание скорости интернета с новыми технологиями сжатия видео, такими как возможность потоковой передачи видеоданных с разрешением 8K, не так уж далеко в будущем – и этот страшный экран буферизации может просто уйти в прошлое.
Буферы, потоки и двоичные данные в Node.js
Автор статьи о буферах, потоках и двоичных данных в Node.js, перевод которой мы публикуем, говорит, что он понимает ощущения тех начинающих разработчиков, не имеющих специального образования, которым все эти сущности кажутся таинственными и непонятными. По его словам, это может заставить начинающих отложить в долгий ящик попытки разобраться со внутренними механизмами Node, сославшись на то, что всё это предназначено не для них, а лишь для профессионалов высшего класса, да для разработчиков пакетов. Сегодня он собирается исправить ситуацию и помочь всем желающим вникнуть в суть буферов, потоков и двоичных данных в Node.js и научиться со всем этим работать.
О внутренних механизмах Node
К сожалению, многие руководства и книги, посвящённые Node.js, не уделяют должного внимания внутренним механизмам этой платформы, не стремятся объяснить цель их существования. Как правило, в подобных публикациях всё сводится к рассказам о разработке веб-приложений с использованием готовых пакетов, без углубления в детали их реализации. А кое-где даже беспардонно заявляется, что читателю всё это понимать и не нужно, так как ему, скорее всего, никогда не придётся работать, скажем, с объектами класса Buffer, напрямую.
В официальной документации по Node.js о классе Buffer можно прочитать следующее:
До появления объекта TypedArray в ECMAScript 2015 (ES6), в JavaScript не было механизма для чтения потоков двоичных данных или для выполнения других операций с ними. Класс Buffer был представлен как часть API Node.js, позволяющая взаимодействовать с потоками произвольных двоичных данных в контексте, например, TCP-потоков и операций с файловой системой.
Да уж, если вы раньше не знали тех слов, которые встречаются в этом определении, то вы, возможно, воспримите его как маловразумительную кучу программистских жаргонизмов. Попробуем немного всё это упростить, перефразировав это определение, так, чтобы мы могли работать с ним, ни на что не отвлекаясь. Из этого определения можно вынести следующее:
Класс Buffer был представлен как часть API Node.js, позволяющая работать с потоками двоичных данных.
Итак, теперь всё выглядит немного проще. Но «класс Buffer», «потоки», «двоичные данные» — тут всё ещё слишком много непростых понятий. Попытаемся с ними разобраться, начав с последнего.
Что такое двоичные данные?
Возможно, вы уже знаете о том, что компьютеры хранят и представляют данные в двоичной форме. Двоичные данные — это просто набор единиц и нулей. Например, вот пять разных наборов двоичных данных, составленных из значений «1» и «0»:
Каждое число в двоичном значении, каждое значение «1» и «0» в наборе, называется битом (Bit, Binary digIT, двоичная цифра).
Для того чтобы работать с некими данными, компьютер должен преобразовать эти данные в их двоичное представление. Например, для того, чтобы сохранить десятичное число 12, компьютер должен преобразовать его в двоичную форму, а именно — в 1100.
Откуда компьютер знает, как производить подобные преобразования? Это — чистая математика. Это — двоичная система счисления, которую изучают в школах. Существуют правила преобразования десятичных чисел в двоичные и компьютер эти правила понимает.
Однако, числа — это не единственный тип данных, с которым мы работаем. У нас есть строки, изображения, и даже видео. Компьютер знает о том, как представлять в двоичном виде любые типы данных. Возьмём, например, строки. Как компьютер представит строку «L» в двоичном виде? Для того, чтобы сохранить строку в двоичной форме, компьютеру сначала надо преобразовать символы этой строки в числа, а затем надо конвертировать эти числа в их двоичное представление. Так, в случае с нашей строкой из одного символа, компьютеру сначала нужно преобразовать «L» в число, которое представляет этот символ. Посмотрим, как это делается в JavaScript.
Откройте консоль инструментов разработчика браузера и вставьте туда этот код:
Наборы символов
Наборы символов — это заранее заданные правила, касающиеся соответствия символов их числовым кодам. Существует множество разновидностей таких правил. Например, весьма популярные — это Unicode и ASCII. JavaScript очень хорошо умеет работать с наборами символов Unicode. На самом деле, именно таблица символов Unicode используется в браузере для преобразования символа L в число 76, именно в ней записано соответствующее правило.
Итак, мы видели, как компьютер представляет символы в виде чисел. Теперь поговорим о том, как число 76 превращается в своё двоичное представление. Может показаться, что для этого достаточно преобразовать 76 из десятичной в двоичную систему счисления, но не всё так просто.
Кодировка символов
Так же, как существуют правила, указывающие на соответствие символов их числовым кодам, есть и правила преобразования чисел в их двоичное представление. В частности, они касаются того, сколько бит нужно использовать для представления числа. Это называется кодировкой символов.
Один из наборов правил кодировки символов называется UTF-8. UTF-8 определяет правила преобразования символов в байты. Байт — это набор из восьми битов — восьми единиц и нулей. Итак, для представления кодовой точки любого символа должен быть использован набор из восьми единиц и нулей. Разберёмся с этим утверждением.
Как уже было сказано, двоичное представление десятичного числа 12 — это 1100. Итак, когда UTF-8 указывает на то, что число 12 должно быть представлено восьмибитным значением, это означает, что компьютеру нужно добавить несколько битов слева реального двоичного представления числа 12 для того, чтобы представить его в виде одного байта. В результате 12 должно быть сохранено как 00001100. А число 76 будет выглядеть как 01001100.
Именно так компьютер хранит строки или отдельные символы в двоичном виде. По аналогии с этим, у машины есть особые правила по преобразованию в двоичную форму изображений и видео. Смысл всего этого заключается в том, что компьютер хранит в двоичном виде все типы данных и всё это называется двоичными данными.
Если вам интересны тонкости кодировок символов, взгляните на этот материал, в котором всё это подробно раскрывается.
Теперь мы понимаем — что такое двоичные данные, но что такое потоки двоичных данных, которые мы упоминали выше?
Поток
Поток в Node.js представляет собой последовательность данных, перемещаемых из одного места в другое. Перемещение данных происходит не мгновенно, оно занимает некоторое время. Основная идея тут заключается в том, что потоки позволяют обрабатывать большие наборы данных по частям.
А причём тут буфер? Как он помогает работать с двоичными данными, пребывающими в форме потока?
Буфер
Вспомним, что «поток данных» представляет собой перемещение данных из одного места в другое. Зададимся теперь вопросом о том, как именно эти данные перемещаются.
Обычно перемещение данных производят для того, чтобы, как минимум, их прочитать и сделать доступными для возможной последующей обработки. Скажем, для того, чтобы принять на основе данных какое-то решение. Скорость обработки данных компьютером ограничена, поэтому можно говорить о неких рамках, представляющих минимальное и максимальное количество данных, которое какой-то процесс может обработать за некий промежуток времени. Итак, если скорость поступления данных больше, чем скорость, с которой они потребляются, избыточным данным нужно где-то подождать своей очереди на обработку.
С другой стороны, если система способна обрабатывать данные быстрее, чем они поступают, то некоему количеству данных, прибывших раньше, чем может быть начат очередной сеанс обработки некоего пакета данных, нужно подождать прихода ещё некоторого количества данных, прежде чем все они будут отправлены на обработку.
Эта «зона ожидания» и есть буфер! Физическим представлением буфера может являться пространство в оперативной памяти, где данные, при работе с потоком, временно накапливаются, ждут своей очереди, и в итоге отправляются на обработку.
Всё это можно представить себе в виде автовокзала. На некоторых вокзалах автобусам нельзя отправляться до тех пор, пока в них не наберётся некое количество пассажиров, или до тех пор, пока не наступит время отправления. Кроме того, пассажиры могут прибывать на вокзал с различной скоростью. При этом процесс прибытия пассажиров на вокзал никто явно не контролирует.
В любом случае, пассажиры, которые прибыли раньше отправления автобуса, должны подождать, пока администрация вокзала не решит, что их автобусу пора отправляться. А пассажиры, которые прибыли, когда автобус уже полон, или когда он уже отошёл, должны подождать следующего автобуса.
В любом случае речь идёт о некоем «зале ожидания». Буфер в Node.js играет ту же роль. Node.js не может контролировать скорость поступления данных или время их прибытия. Он лишь может принимать решения о том, чтобы отправить на обработку данные, которые уже прибыли. Если время отправки данных на обработку ещё не пришло, Node.js поместит их в буфер — в «зону ожидания».
Типичный пример, в котором вы можете столкнуться с буфером в действии — это просмотр видео в интернете. Если ваше интернет-соединение достаточно быстрое, скорость потока достаточно высока для того, чтобы немедленно заполнить буфер видеопроигрывателя и позволить проигрывателю показать видео, затем заполнить следующий буфер, и отправить его на просмотр — и так до тех пор, пока передача видео не завершится. Тут показан пример системы, в которой данные прибывают быстрее, чем обрабатываются.
Однако, если соединение особой скоростью не отличается, после обработки первого набора прибывших данных, проигрыватель будет показывать значок загрузки данных, или выводить надпись «буферизация», что означает, что он ожидает прибытия большего количества данных перед началом показа видео. А когда буфер оказывается заполненным и данные, поступившие в него, оказываются обработанными, проигрыватель выводит видео. В процессе проигрывания видео будут прибывать новые данные и ждать своей очереди в буфере. Это — как раз тот случай, когда система способна обрабатывать данные быстрее, чем они в неё поступают.
Если проигрыватель завершил воспроизведение данных, поступивших ранее, а буфер пока ещё не заполнен, надпись «буферизация» появится снова, система будет ждать, когда наберётся необходимое ей количество данных. Собственно говоря, в Node работа с буферами выглядит примерно так.
Из исходного определения буфера можно увидеть, что когда данные находятся в буфере, мы можем с ними работать. Что можно сделать с необработанными двоичными данными?
Работа с буферами
Реализация буфера в Node.js даёт нам массу вариантов работы с данными. Кроме того, можно создавать буферы самостоятельно, задавая их характеристики. Итак, помимо того буфера, который Node.js создаст автоматически в процессе передачи данных, можно создать собственный буфер и манипулировать им. Существуют разные способы создания буферов. Взглянем на некоторые из них.
После создания буфера с ним можно начинать работать.
Итоги
Теперь, когда вы понимаете, что такое «буфер», «поток» и «двоичные данные», вы можете открыть документацию по буферам и осмысленно поэкспериментировать со всем тем, о чём там идёт речь.
Кроме того, для того, чтобы увидеть, как с буферами работают на практике, почитайте исходный код библиотеки zlib.js. Это — одна из библиотек ядра Node.js. Посмотрите на то, как в этой библиотеке буферы используются для взаимодействия с потоками двоичных данных. Тут работа ведётся с файлами, представляющими собой gzip-архивы.
Надеемся, то, что вы вынесли из этого материала, то, что нашли в документации, и узнали, анализируя код, поможет поднятию вашего профессионального уровня и пригодится вам в ваших проектах.