что такое метаданные файла
Что скрывает PDF
В файлах PDF много информации. Бóльшая часть используется для одинаковой визуализации документа на разных платформах. Но также есть множество метаданных: дата и время создания и редактирования, какое приложение было использовано, тема документа, название, автор и многое другое. Это стандартный набор метаданных, а имеются способы вставить в PDF пользовательские метаданные: скрытые комментарии в середине файла. В данной статье мы представим некоторые формы метаданных и покажем, где их искать.
Информационные метаданные
Начиная с PDF 1.0 существует стандартизированный набор значений, которые могут быть дополнительно добавлены в документ. Файловые менеджеры используют эти значения, чтобы улучшить поиск по документам. Они включают в себя:
Дополнительные метаданные
Теперь стандарт PDF поддерживает ещё больше метаданных. Вместо небольшого набора значений по умолчанию можно хранить целый поток информации в формате XMP. В результате, туда можно внедрить данные любого типа. Опять же, они не отображаются, но их способен проанализировать менеджер файлов.
Поток XMP можно закодировать, поэтому он не всегда читается людьми, но многие приложения умеют читать и редактировать эту информацию. Вот пример того, как выглядит XMP в формате, удобном для чтения людьми:
Как несложно понять, эта информация неоценима при попытке определить историю документа или попытке внедрить другую информацию. PSPDFKit для iOS и Android поддерживает чтение и редактирование метаданных.
Метаданные объектов
Потоки метаданных не ограничиваются только документами; метаданные также можно назначить любому объекту в документе. Например, потоку со встроенным изображением. Чтобы усложнить ситуацию, вспомогательные метаданные также могут храниться в самом потоке. Если пойти ещё дальше, мы можем встроить PDF в метаданные потока изображений, тем самым достигнув бесконечной рекурсии! Поэтому в следующий раз, когда будете проверять метаданные на наличие информации, помните, что вам, возможно, придётся пройти несколько уровней, чтобы найти информацию, которую вы ищете.
Дополнительное сохранение/обновление
В стандарте PDF есть концепция дополнительного сохранения, которую многие приложения, включая PSPDFKit, реализуют для ускорения сохранения. Короче говоря, этот метод добавляет дополнительную информацию в конец документа, и старые объекты, на которые больше нет ссылок, останутся висеть там. Это здорово, когда вы изменяете элементы документа на лету и не хотите ждать длительного процесса сохранения, или, например, для функции автоматического сохранения, где процесс выполняется в фоновом потоке, а мы хотим использовать минимум ресурсов.
Как можно понять, это открывает целый ящик Пандоры: история документа показывает конфиденциальную или ошибочную информацию, которую удалили с глаз, но она осталась в документе. В таких ситуациях рекомендуется выполнить полное сохранение документа. Это приведёт к удалению старых объектов или даже «сглаживанию», так что формы нельзя будет отредактировать в будущем.
Комментарии PDF
Во многих языках программирования предусмотрены комментарии, чтобы компилятор или интерпретатор игнорировал строку, такая же опция есть в PDF. Символ % используется в формате разными способами, но один из них — указание на комментарий в коде. Поэтому, если пользователь открывает документ в текстовом редакторе, то может увидеть некоторые секретные сообщения, вставленные вашим PDF-процессором. PDF-рендеры будут игнорировать эти строки комментариев, поэтому файл выглядит правильно и не показывает никаких комментариев после рендеринга.
Один большой словарь!
Последнее, что следует отметить, что формат PDF на самом деле — один большой словарь! Технически кто угодно может внедриться документ и что-то изменить. Не каждое изменение осуществляется так легко, как редактирование одной строки, но его можно сделать. По этой причине всегда следует помнить о том, какая информация может скрываться в PDF. Кроме того, если вы обрабатываете конфиденциальную информацию, следует обязательно использовать цифровые подписи для гарантии, что документ не изменён кем-то, кроме его автора, и что автор является тем, кого вы ожидаете, а не кем-то другим.
Что такое метаданные и как их удалить?
В контексте конфиденциальности мы часто говорим о метаданных как о слабом звене. Несмотря на то, что данные можно легко скрыть и зашифровать, с метаданными зачастую это сделать гораздо сложнее.
Метаданные — это данные о данных. Например, если эта статья представляет собой данные, ее метаданные будут включать информацию о количестве слов, на каком языке она написана, когда была впервые опубликована и связана ли она с изображением. Если вы будете запрашивать эту статью с какого-либо сервера, метаданные этой передачи будут включать время запроса и ваш IP адрес (или IP адрес вашей VPN службы).
Метаданные очень полезны, поскольку они сокращают объем информации, необходимой для обработки файла, и могут упростить управление большими файлами. Но также они могут представлять угрозу для вашей конфиденциальности, потому что во многих случаях метаданные включают в себя всю информацию, необходимую для вашей идентификации. Например, если метаданные показывают, что вам позвонили из полицейского участка, за которым следует ваш звонок на мобильный телефон вашего ребенка, за которым следует звонок адвокату, — большая часть истории уже раскрыта.
Типы метаданных
Существует два основных типа метаданных:
К телефонному разговору также будет приложено множество описательных метаданных, например, кто звонил, кому звонил и откуда был звонок.
Для изображения описательные метаданные могут быть очень подробными. Они включают в себя производителя камеры, любое используемое программное обеспечение для редактирования, время диафрагмы объектива, время экспозиции, ориентацию, цветовое пространство, яркость, владельца камеры и даже местоположение изображения по GPS.
Примеры метаданных
Метаданные можно применять для организации всех видов цифровой информации самыми разными способами. Вот несколько примеров того, как они используются службами, с которыми вы, вероятно, взаимодействуете каждый день.
Как удалить или уменьшить количество метаданных?
Сократить количество метаданных может быть сложно. Как правило, чем больше о вас знает служба, тем больше метаданных создается с каждым вашим шагом.
Создать шум
Самый продвинутый и эффективный способ сделать метаданные бесполезными — это вызвать шум, то есть создать дополнительные данные для создания неточных метаданных. Если ваш компьютер каждую секунду отправляет различные зашифрованные запросы к веб-страницам, будет сложно определить, какие сайты вы на самом деле читали и посещали. Но сделать это очень сложно, поскольку все же остается вероятность отфильтровать ваши действия от автоматических действий.
Остерегайтесь метаданных
Раскрывая информацию о себе, помните, что эти данные часто могут использоваться для вашей идентификации. Даже когда содержимое ваших сообщений зашифровано, может оставаться достаточно информации, чтобы узнать больше о том, кто вы и чем занимаетесь.
Метаданные: цифровые следы, которые мы (почти) не замечаем
Каждый день мы отправляем электронные письма, некоторые с файлами-вложениями. У всякого письма есть не только содержание, но и дата, и время отправки, заголовок, адрес отправителя, адрес получателя, тип вложения, его объем и прочие характеристики.
Это метаданные – информация, которая сопутствует содержанию. У любого файла, телефонного разговора, публикации в Facebook, книги, водительских прав, медицинской карты или видеофильма есть метаданные. Мы часто не замечаем их. Наше внимание сфокусировано на содержании. Но метаданные содержат больше ценной информации, чем мы привыкли думать. Иногда по метаданным можно выследить человека, получить на него компромат, полностью изменить его жизнь.
Как метаданные меняют жизнь людей
С конца 70-х в штате Канзас орудовал жестокий убийца. Полицейские прозвали его BTK (bind, torture, kill – «связывать, пытать, убивать»). Жертвами маньяка становились одинокие женщины и семьи. Жажда славы подталкивала BTK отправлять сообщения в полицию, газеты, радиостанции. Убийца рассказывал о деталях своих жутких преступлений, прилагал доказательства-фотографии, писал безумные стихи. В 2005 году BTK подбросил коробку со своими сочинениями на автостоянку, и тут его машину зафиксировала дорожная камера. Увы, расстояние было слишком велико. Черный внедорожник Jeep Grand Cherokee – вот и все, что удалось установить следователям. Вскоре психопат сделал попытку перейти с бумажных сочинений в электронный формат. Он отправил в полицию файл.
Следователи принялись изучать диск с файлом. Помимо послания маньяка, они обнаружили удаленный файл Microsoft Word и восстановили его. Содержание файла ничего не дало. Но в информации о документе значилась местная лютеранская церковь, а последняя редакция принадлежала некоему Деннису. Следователи быстро вышли на Денниса Рейдера, председателя церковного совета. Когда полиция подъехала к его дому, то увидела припаркованный черный Grand Cherokee. Анализ ДНК сделал возможным арест преступника. Сейчас Деннис Линн Рейдер, он же BTK, отбывает 10 пожизненных сроков в тюрьме строгого режима Эль Дорадо в Канзасе.
Так метаданные помогли найти убийцу.
Летом 2014 года 24-летний российский сержант Андрей Соткин опубликовал серию простеньких селфи с места службы. Издание Buzzfeed опубликовало мини-расследование: Соткин отправил свои фотографии в Instagram, но позабыл о метках геолокации. Buzzfeed сообщила, что координаты, где были сделаны фото, находились на территории Украины. (Официальная Москва отрицала нахождение российских военнослужащих в Украине.) Одни блогеры подхватили эту информацию как доказательство военного присутствия. Другие утверждали, что погрешность велика, фотографии сняты в России, и вообще вся история – фейк. Так метаданные легли в основу эпизода информационной войны.
В апреле 2017 года московского математика Дмитрия Богатова обвинили в призывах к терроризму и попытках организации массовых беспорядков. По версии следствия, Богатов под псевдонимом «Айрат Баширов» публиковал на форуме sysadmins.ru провокационные материалы о подготовке к вооруженному восстанию. Правоохранительные органы «вычислили» Богатова по IP-адресу. Впоследствии оказалось, что молодой математик держал на своем компьютере так называемый выходной узел сети Tor, международного проекта, нацеленного на обеспечение анонимности гражданских активистов и защиту их от преследований. Трафик злоумышленника прошел через компьютер Богатова. Это дало следователям повод прийти к математику с обыском. Богатов на несколько месяцев попал в СИЗО, полгода провел под домашним арестом. В мае 2018 года уголовное дело против него прекратили. Вскоре после этого Богатов и его жена подобру-поздорову уехали за границу. За то, что произошло, никто не понес никакого наказания. Таким образом, метаданные (IP-адрес) послужили поводом для того, чтобы государственная машина проехалась катком по невиновному человеку.
Даже если у правительства или корпораций нет доступа к содержанию переписки или разговоров, метаданные способны сказать очень многое. Так считают эксперты американской организации Electronic Frontier Foundation. Представьте, что человек: а) получил электронное письмо от службы диагностики кожных заболеваний; б) позвонил дерматологу; в) провел час на сайте с медицинскими советами; г) присоединился к закрытой группе, объединяющей людей, больных псориазом. Кажется, мы уже знаем главное, и это информация самого деликатного характера. А ведь мы не читали письмо, не слышали советов доктора, не заглядывали в закрытую группу.
Данные фотографии (EXIF). Можно узнать, в частности, модель камеры, параметры объектива, выдержку, диафрагму, фокусное расстояние, размеры снимка и его разрешение, дату, время и точные координаты съемки. Скриншот с сайта www.pic2map.com
Какие бывают метаданные
В 2011 году молодой немецкий политик Мальте Шпитц (Malte Spitz) добился от телекоммуникационного гиганта «Deutsche Telecom» передачи ему всех данных… о самом себе. Информации, которую провайдер собирал не для правоохранительных органов, а просто как часть своей рутинной работы. Метаданные показали, где находился г-н Шпитц в разное время дня на протяжении полугода, сколько раз звонил и отправлял сообщения. Интерактивная карта позволит вам немножко ощутить себя «Большим Братом». История Мальте Шпитца, помимо прочего, показывает, что технически можно собирать сразу несколько типов метаданных.
Исследователи и эксперты часто делят метаданные на три категории.
Метаданные хранятся в самых разных местах. Например, в музыкальных файлах популярного формата MP3 метаданные (здесь их называют ID3-теги) в специальных «фреймах» внутри самого файла. Когда вы открываете MP3-файл в своем плеере, то можете видеть имя исполнителя, название композиции, а то и жанр. Эту информацию плеер узнал из метаданных. У электронного письма метаданные находятся в заголовке. Обычно отправитель и получатель видят лишь часть метаданных в своих почтовых программах. Хотите взглянуть на заголовок? Если вы, скажем, пользователь GMail, откройте какое-нибудь из писем, нажмите на кнопку с тремя точками в правом верхнем углу (рядом со стрелочкой «Ответить») и выберите в меню «Показать оригинал».
Доступ к вашим метаданным могут иметь самые разные люди и организации. Например, заголовки писем доступны не только отправителю и адресату, но и почтовым провайдерам, а в рамках СОРМ – и спецслужбам. Владелец сайта, на который вы заходите, может узнать не только ваш IP-адрес, но и версии вашего браузера и операционной системы. Очень часто метаданные доступны широкой публике и никак не защищены – по своей природе или по человеческой небрежности.
Метаданные можно централизованно обрабатывать. Бывает, что типы метаданных «смешиваются». Одна и та же информация может в этих условиях считаться метаданными, в других – собственно данными (контентом). Возьмите, к примеру, тот же заголовок электронного письма: он может оказаться весьма содержательным. Для решения профессиональных задач эксперты в разных областях нередко разрабатывают свои, более узкие категории метаданных. Вы можете найти уйму информации о метаданных в Интернете. Вот, например, целый сайт, посвященный метаданным в фотографии.
Едва ли не в каждом детективном сериале встречается сцена, когда полицейский говорит охранникам (отеля, аэропорта, больницы или торгового центра):
– Покажите мне камеру в восточном конце коридора на третьем этаже. Вчерашнюю запись в промежуток с 8:40 до 8:50, пожалуйста.
Детективу не нужно просматривать все имеющиеся записи со всех камер. Он использует метаданные (местоположение камеры и время происшествия), чтобы ускорить поиск.
Государство и метаданные
Как правило, объем метаданных гораздо меньше объема самих данных. Поиск по метаданным существенно проще, чем поиск по содержанию (просмотр всех видеозаписей в надежде рано или поздно увидеть злодея с пистолетом и в темных очках).
С другой стороны, люди часто воспринимают метаданные как «вторичный элемент». Особенно это касается приверженцев идеи «Мне нечего скрывать». Защитой метаданных попросту пренебрегают.
Правительства разных стран учитывают эти факторы, когда требуют от телекоммуникационных компаний хранить метаданные определенное (нередко весьма долгое!) время для нужд правоохранительных органов и спецслужб. Эта проблема является частью обширной темы хранения данных о пользователях (data retention).
Так, швейцарское законодательство предписывает операторам связи хранить метаданные в течение полугода. Для сотовой связи это номера абонентов, идентифицирующие номера SIM-карт и телефонов, местонахождение звонящего, дата, время и продолжительность разговора. Европейские правозащитники ведут мониторинг ситуации с хранением метаданных в разных странах мира. Нажим со стороны правительств и правоохранительных органов, ратующих за хранение метаданных, не ослабевает. Правозащитники не остаются в долгу, иногда выигрывая по-крупному, как это, например, удалось ирландской организации «DIgital Rights Ireland», в 2014 году добившейся (через обращение в верховный суд своей страны) отмены Европейской директивы о хранении данных 2006 года. Активисты утверждали, что безосновательный сбор данных о людях, ни в чем не подозреваемых, нарушает их гражданские права.
В России в 2016 году был принят, а с 1 июля 2018 года вступил в силу печально известный «пакет Яровой». Он предписывает компаниям хранить данные пользователей в пределах полугода. Конкретные сроки устанавливает правительство. Оно и установило: шесть месяцев для звонков и сообщений, 30 дней для интернет-трафика с постепенным наращиванием объема хранения. А вот метаданные хранить нужно целых три года. Аргументы правозащитников, представителей IT-индустрии, юристов-международников и экономистов о том, что подобная практика чрезмерна, посягает на права граждан и вызывает необоснованную и непропорциональную нагрузку на операторов связи, не оказали должного влияния на власти.
Классический пример использования метаданных для идентификации пользователей – привязка различных сервисов и аккаунтов к номеру мобильного телефона. Который, в свою очередь, на территории России можно законно получить лишь при предъявлении паспорта. Даже если вы придумали для нового аккаунта «ВКонтакте» классный псевдоним и не поддались искушению разместить свое лицо на аватарке, останутся метаданные – номер мобильного телефона.
«Метаданные – это данные слежки. Собирать метаданные о людях означает следить за ними». Брюс Шнайер, американский специалист по цифровой безопасности (из личного блога).
Что с этим делать
Очень часто метаданные бывают полезны, например, для поиска информации. Многие метаданные неотделимы от самих данных (трудно представить документ, у которого нет даты создания или редактирования). Но можно попробовать не упрощать жизнь тому, кто решил составить досье на вас. Вот лишь несколько советов.
Автор благодарит Олега Ткачева, директора Центра поддержки НКО г. Кирова, за ценные замечания при подготовке статьи.
Как невидимые данные электронных документов приводят к реальным проблемам
Самые опасные утечки конфиденциальных данных — это те, о которых люди даже не подозревают.
Минутка риторики. IT-угрозы какого типа опасны для корпораций и небольших компаний, правительств стран и отдельных людей? Утечки конфиденциальных данных. Какие утечки сложнее всего предотвратить? Те, о возможности которых жертвы даже не подозревают.
Не подозревают они, кроме всего прочего, о метаданных, легко превращающих обыкновенный электронный документ в ценный компрометирующий материал.
Метаданные в документах: какие они бывают
Начнем с теории. По классификации, используемой американской Фемидой, выделяют три категории метаданных:
1. Метаданные приложений. Они добавляются в файл приложением, в котором он создается, и хранят внесенные пользователем в документ изменения: журнал сделанных правок, комментарии.
2. Системные метаданные. Включают имя автора, название и размер файла, даты создания, изменения и так далее.
3. Внедренные метаданные. Сюда относятся формулы в ячейках электронных таблиц, гиперссылки, связанные файлы. К этой же категории причисляют и EXIF-метаданные графических файлов — о них мы уже рассказывали подробно.
Как написала по следам скандала BBC, в итоге правительство Великобритании для публикации документов вместо формата DOC предпочло использовать PDF, несущий меньше метаданных.
Любопытную историю разоблачения с помощью метаданных рассказали в 2015 году сотрудники американской юридической компании Venable. К ним обратилась некая компания, из которой уволился вице-президент. Вскоре у этой компании сорвался госконтракт — его с помощью уволившегося сотрудника получила конкурирующая организация.
Бывший работодатель заподозрил перебежчика в краже коммерческих секретов, которые и помогли конкуренту получить контракт с американским правительством. В защиту носитель тайны и его новая компания представили документ, содержащий аналогичное коммерческое предложение, но уже в адрес иностранного государства. По их утверждению, оно было подготовлено раньше, чем был объявлен конкурс в США, предназначалось для другого заказчика и потому не угрожало интересам «кинутой» компании.
Вывести злоумышленников на чистую воду позволила обнаруженная в предоставленном файле «временная аномалия». Согласно системным метаданным документа, последнее сохранение файла произошло раньше, чем последняя печать, чего, как признали эксперты с обеих сторон, не могло быть. (Дело в том, что дата последней печати относится к категории метаданных приложения и сохраняется в документе только при сохранении самого файла. Если документ напечатать, а файл после этого не сохранить, новая дата печати в него не запишется.)
Второе доказательство подделки файла заключалось в дате его создания на корпоративном сервере: он был создан уже после начала разбирательства. Кроме того, ответчиков уличили в манипуляции с датами последней модификации файлов формата OLM (файл почтовой базы Microsoft Outlook для Mac).
Скрытные файлы
Богатый выбор средств сбора конфиденциальной информации предоставляют приложения Microsoft Office. Например, в примечаниях к тексту могут быть записаны дополнительные сведения, не предназначенные для публикации. Встроенный в Word механизм учета изменений, который отмечает на полях вносимые в документ правки, тоже может быть полезен «шпиону». Если выбрать опцию «Показать измененный документ», то примечания и список изменений с экрана пропадут, но останутся в файле ждать наблюдательного читателя.
А еще есть заметки к слайдам презентаций, скрытые столбцы в электронных таблицах…
Кстати, попытки спрятать информацию без знания матчасти тоже чреваты. В качестве примера можно рассмотреть опубликованный на сайте CBSLocal документ судебной тяжбы между правительством США и бывшим губернатором Иллинойса Родом Благоевичем о вызове в качестве свидетеля Барака Обамы, датированный 2010 годом.
Часть текста скрыта от любопытствующих глаз черными прямоугольниками. Но можно выделить мышкой все строки, скопировать их в буфер обмена и вставить в текстовый редактор. Теперь можно прочитать весь текст.
Черные прямоугольники в PDF помогут спрятать информацию при печати, но в электронном виде обойти их проще простого
Файлы с двойным дном
Отдельная песня — внедренные в документ данные внешних файлов.
Скачиваем файл, отключаем защиту документа от редактирования (пароль не требуется). На странице 41 — обычная с виду диаграмма. В контекстном меню диаграммы выбираем команду «Изменить данные», и перед нами в первозданном виде открывается внедренный файл Microsoft Excel, содержащий исходные данные для диаграммы.
Файл Word с отчетом, а внутри — файл Excel с множеством исходных данных для этой и других диаграмм
Понятно, что в таких внедренных файлах может быть практически все что угодно, ведь тому, кто публиковал исходный документ, наверняка казалось, что это никто не увидит.
Урожай метаданных
«Выжимка» метаданных из документов интересующей организации может быть автоматизирована — например, с помощью программы FOCA (Fingerprinting Organizations with Collected Archives) компании ElevenPaths.
FOCA может найти и загрузить с исследуемого сайта документы нужных форматов (например, DOCX и PDF), проанализировать их метаданные, а также рассказать многое об организации: используемое серверное ПО, имена пользователей и так далее.
Предостережение: изучение сайтов с помощью подобных инструментов даже в исследовательских целях может не понравиться их владельцам, а то и вовсе сойти за киберпреступление.
Документированные странности
Предлагаем пару особенностей метаданных, о которых, по нашим наблюдениям, знает не каждый IT-специалист. Возьмем для примера файловую систему NTFS, используемую операционными системами Windows.
Первая неочевидная вещь. Если удалить какой-либо файл из папки и сразу сохранить новый файл с тем же именем в эту же папку, то дата создания нового файла останется от старого, удаленного файла. То есть файл мы создали только что, но система уверяет, что он существует уже давно.
Вторая неочевидная вещь. NTFS среди прочего хранит дату последнего доступа к файлу. Однако если открыть файл, а потом посмотреть дату доступа к нему в свойствах, то можно увидеть, что она осталась неизменной.
Может даже показаться, что это баги, но нет: обе странности являются документированными особенностями. В первом случае работает так называемый механизм туннелирования (англ. tunneling), который нужен для совместимости со старыми программами. По умолчанию эффект длится 15 секунд, в течение которых новый файл получает дату создания своего предшественника (настроить этот интервал или вовсе отключить туннелирование можно в реестре). Впрочем, этого хватило, чтобы я сам столкнулся с туннелированием дважды в течение недели при обычной офисной работе.
Второй случай тоже описан в документации: начиная с Windows 7, для повышения производительности Microsoft отключила автоматическую простановку даты последнего доступа к файлу. Включить эту функцию можно в реестре. Впрочем, ее активация не имеет обратной силы — файловая система правильную дату не хранит (проверено низкоуровневым редактором диска).
Надеемся, эксперты по цифровой криминалистике знают все подобные нюансы.
К слову, метаданные файлов могут быть легко изменены как штатными средствами ОС и «родных» приложений, так и с помощью специальных программ. Поэтому использовать их как решающее доказательство в суде вряд ли получится, разве что вместе с сопутствующими свидетельствами вроде журналов почтовых сервисов, файловых серверов и так далее.
Метаданные: защитные меры
В приложения Microsoft Office встроена функция «Инспектор документов» (меню Файл —> Поиск проблем), которая показывает, какие скрытые данные хранятся в файле. Часть из них «Инспектор» может по запросу пользователя удалить, но только не внедренные файлы (как в упомянутом отчете министерства образования США). Вообще же лучше вставлять диаграммы и другие материалы в итоговый документ в виде картинок.
Аналогичные функции удаления метаданных имеет и редактор Adobe Acrobat.
Кроме того, защита от утечек реализуется и в комплексных пакетах информационной безопасности. Так, модуль DLP (Data Loss Prevention) присутствует в Kaspersky Total Security для бизнеса, Kaspersky Security для почтовых серверов и Kaspersky Security для серверов совместной работы. Эти продукты умеют фильтровать такие нежелательные для попадания вовне вещи, как история изменения документа, комментарии и внедренные объекты.
Но идеальный (и, как это и положено идеалам, на все 100% недостижимый) способ побороть любые утечки — это обученные, думающие и ответственные сотрудники.