что такое выгрузка архива логов

Как мы работаем с логами (сбор, хранение, анализ при помощи Graylog)

Всем привет! В этой статье мы хотим поделиться нашим опытом использования полезной платформы Graylog, которая ежедневно помогает собирать, надежно хранить и анализировать логи с десятков серверов, окутанных заботой нашей поддержки 🙂

Это первая часть статьи, в которой мы собрали в одном месте информацию, которая поможет установить и настроить Graylog, плюс, расскажем почему мы остановились имено на этой платформе.

Вторая часть, которая появится совсем скоро, будет содержать примеры использования и их реализацию.

Какую задачу мы решали?

Можно долго рассуждать о важности серверных логов и привести много примеров ситуаций, в которых они жизненно необходимы, но так как речь пойдет именно о сторонней системе и ее особенностях, то выделим ряд важных моментов:

Удобно, когда все логи хранятся в одном месте.

Круто, когда есть отчеты и возможность автоматически их проанализировать.

Полезно, когда логи можно посмотреть даже при “упавшем” сервере или после того как злоумышленник “прибрался” за собой.

Бесценно, когда о возникшей ошибке в логах будет оповещение.

Сформулировали задачу так:

“Подобрать бесплатное open source решение для сбора и анализа логов, не перегруженное функционалом, производительное, простое в установке и использовании.”

Почему Graylog?

Это не единственная и, возможно, далеко не самая лучшая платформа, но она широко распространена, прошла проверку временем и все еще поддерживается разработчиками.

Но, начать мы решили с анализа “конкурентов”.

Альтернативы

Splunk

Классный, модный, современный Splunk соответствует подавляющему большинству потребностей и скорее всего, может даже больше.

Но есть три момента, которые не понравились:

В нужной конфигурации решение платное.

Это закрытое решение.

Компания, без объяснений причин покинула рынок РФ.

Но, если вас это не смущает, немного полезной информации по платформе:

С этим “претендентом” не получилось, идем дальше.

Например, тут и тут его часто сравнивают с ELK, который и рассмотрим.

Что же пошло не так?

Некоторые фишки все же платные, например, уведомления и контроль доступа (однако, после некоторых событий часть данного функционала стала бесплатной).

Систему сложно настроить, “из коробки” она работать не будет.

Еще нужно упомянуть Open Distro, которая развивается на базе ELK, но полностью бесплатная, что не отменяет ресурсоемкость и сложность в настройке.

Немного полезной информации:

Инструкция по установке и настройке (eng).

Остановились на Graylog

Это open source решение.

Бесплатная версия имеет все необходимое.

Функционал небольшой, что удобно, ничего лишнего (для наших задач).

“Из коробки” решение уже работает, нужны минимальные настройки.

По сравнению с ELK ресурсоемкость значительно ниже.

Далее, мы предлагаем лонгрид по настройке и установке Graylog.

Установка и базовые настройки Graylog

В примере используем CentOS 8.

Prerequisites

Обновления обязательны, также установим пакеты для удобства работы, top-ы, etc.

смотрим где лежат сертификаты (пока самоподписанные)

кладём crt и key файлы в /etc/cockpit/ws-certs.d/

Firewall

(настройки будут индивидуальными для вашей сети, все команды даны для примера)

Кокпит должен быть доступен только админам, снаружи ему делать нечего. Создадим зону для интранета и добавим нужные адреса подсетей:

После добавления/удаления перезагрузим сервис:

Проконтролируем, что все правила верные:

SELinux

(настраиваем, а не отключаем его. )

Устанавливаем пакеты, если ещё не установлены, разрешаем апачу подключения:

Проверяем порты 9000, 9200, 27017:

Elastic Search

Импортируем ключ репозитория, добавляем конфигурационный файл репозитория, устанавливаем (вместо vim можно использовать nano, mcedit или любой другой редактор по вашему выбору):

Чтобы Elasticsearch работал с Graylog, необходимо установим имя кластера “graylog”:

Запускается довольно долго, в зависимости от конфигурации сервера или виртуальной машины. Проверяем:

Файлы Elasticsearch расположены здесь:

MongoDB

Добавляем конфигурационный файл репозитория:

Файлы MongoDB расположены здесь:

Graylog

Ссылки на оригинальную документацию:

Graylog не запускается самостоятельно (об этом есть сообщение в процессе установки).

Сначала настраиваем, потом пробуем запускать.

Генерируем хеш пароля:

Параметры эластика только для первого запуска, дальше конфигурация будет производиться уже из веб-интерфейса грейлога:

Также полезно будет настроить Email transport:

Download files → В секции GeoLite2 City → Get Permalinks (1, 2)

В Services → Manage License Keys (3)

Нажимаем «Generate new license key» создастся новый License Key. На email придёт уведомление о создании ключа.

Лицензия активируется в течение 5 минут.

Подставляем в ссылки, полученные на первом шаге ключ, полученный на втором шаге, загружаем файл с базой и файл контрольной суммы:

Проверяем целостность архива:

Установка GeoLite2 Database выполнена.

Немного ждём, затем смотрим логи запуска:

Возникают из-за того что установлена версия Enterprise, но нет соответствующей лицензии.

Заходим браузером, проверяем что веб-интерфейс доступен, можем залогиниться в веб-интерфейс:

Нас встречает мини-учебник по настройке:

NGINX

Создаём конфиг nginx, размещаем файлы сертификатов в /etc/nginx/ssl (у нас будут в одном файле сертификат + ключ):

Если получили ошибку:

То это из-за SELinux. Исправляем:

Немного реконфигурим Graylog:

Теперь Graylog слушает только на локалхосте, если открывали порт 9000, то необходимости в нём больше нет:

Размер БД

Установим размер индекса, так как виртуальный сервер имеет ограниченный объём диска.

System → Indices → Default index set → Edit

В Index Rotation Configuration:

В Index Retention Configuration:

Итого общий размер индексов будет не более 32GiB

Подведем итоги

Если вы дочитали и все еще с нами, то на этом закончим первую часть, где мы разобрали чем нам приглянулся Graylog и как можно его установить / настроить.

Надеемся, что наш опыт будет вам полезен.

Вопросы в комментариях приветствуются 🙂

Во второй части мы расскажем, как используя Graylog можно собирать системные логи и логи веб-сервера.

Дата-центр ITSOFT — размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.

Источник

Логи терминала МТ4 – где их смотреть и зачем они нужны?

Добрый день, господа трейдеры!

Многие из вас уже попробовали себя в ручной торговле на форекс и, скорее всего, у большинства пока не получается. Ничего страшного, ведь любой навык, даже такой, как торговля на финансовых рынках, приходит с опытом. Но зарабатывать, конечно же, всем хочется уже сейчас. Именно этим и объясняется повышенный интерес к автоматизированным системам торговли или, по-простому, к ботам, или советникам.

Если вы уже участвовали каким-то образом в разработке торговых советников или читали соответствующий раздел нашего форума, где несколько программистов-энтузиастов разрабатывают экспертов, а остальные пользователи помогают им в этом по мере своих сил, вы наверняка обратили внимание, что, когда кто-то находит ошибку в работе советника, от него тут же требуют какие-то загадочные «логи». Что же это такое, как их у себя найти и зачем они нужны – мы с вами сегодня и узнаем.

Лаборатория ProfitFX

Как вы наверняка знаете, в этом разделе форума содержится довольно много тем, каждая из которых посвящена разработке того или иного советника. Кто их создает и зачем? Ответ прост – эти темы создают такие же пользователи, как и вы, которые изучили язык mql4 и научились программировать советники. И когда возникает интересная идея для нового форекс робота – форумчане делятся ей с общественностью.

Выгод тут несколько. Во-первых, есть немалый шанс получить дельные советы по доработке алгоритма от более опытных участников форума, подчас довольно неочевидные и эффективные. Во-вторых, сама оптимизация и подбор параметров занимает довольно длительное время, а распределив инструменты можно произвести оптимизацию намного быстрее. И в-третьих, другие пользователи помогают программисту с тестами на демо и реальных счетах, отлавливают ошибки и находят непредвиденные проблемы в процессе использования робота. Естественно, выгода для всех пользователей на поверхности – они получают в итоге рабочий и способный зарабатывать советник, программист получает интересные идеи и ускорение разработки.

Логи терминала

Все мы люди, и программисты в том числе. А люди, бывает, совершают ошибки. И советников это, конечно же, тоже касается. Бывают ошибки, которые не пропускает сам компилятор – программа, в которой пишутся советники. Такие баги легко устранимы – их очень легко найти. В конце концов, советник просто не скомпилируется, пока подобная ошибка не будет устранена. А бывают гораздо более коварные ошибки – на уровне логики. Их компилятор не считает за таковые и спокойно пропускает, поэтому они находятся в процессе эксплуатации советника.

При разработке программного обеспечения поиском ошибок занимаются тестировщики. У программистов форума, конечно же, таких людей нет, поэтому этой работой занимаются простые пользователи. И, как я уже говорил, у них есть стимул – в конце работы они получают качественного бота (или не получают, если идея себя не оправдала и заставить работать в прибыль конкретную систему так и не получилось).

Надо признать, ошибки в логике советников – не редкость и сообщений от пользователей об ошибках в работе советников немало. Но довольно часто эти сообщения носят примерно следующий характер: «Сегодня бот открыл по USDJPY продажу, хотя не должен был/должен был открыть покупку» или нечто подобное. Программисты хоть и не глупые люди, но даром телепатии не обладают (утверждать не берусь – просто догадки). Поэтому по таким сообщениям, даже снабженным скриншотами, что-либо понять трудно. Именно поэтому вы и видите после таких сообщений призывы к уважению чувств программистов и требования прикрепить логи терминала.

Типы лог файлов терминала

Так что же все-таки такое эти логи? Когда разбивается самолет, все сразу бросаются искать так называемый «черный ящик», который даст все ответы на причины произошедшей катастрофы. Это не значит, что в «черном ящике» имеется только эта информация – в него записывается абсолютно все данные, начиная со взлета и заканчивая посадкой. Логи – это что-то вроде «черного ящика» для терминала.

В самом терминале вы можете найти три источника для логирования. Первый из них – журнал тестера стратегий:

Сами файлы логов находятся в папке терминала /tester/logs. В них содержится вся информация по процессу тестирования советника и если ошибки возникают именно на этапе тестирования или оптимизации робота – смотреть нужно именно этот тип логов. Выглядит лог-файл так:

В этих логах вы найдете информацию о том, как протекало тестирование или оптимизация эксперта, какие данные были использованы и все ошибки, связанные с этим. Все сообщения об ошибках экспертов содержат специальный код, по которому можно определить причину ошибки. Например, те, у кого мало оперативной памяти на рабочей машине, могут увидеть следующее сообщение: “HistoryBase: not enough memory”. Дело в том, что тестер все котировки, необходимые для проведения тестов загружает в оперативную память. И если вы тестируете за длительный срок, объем данных вполне легко переваливает за 8 Гб. Поэтому, когда работает одновременно 4-6 терминалов, такое сообщение будет периодически появляться.

Все, что нужно сделать – закрыть терминал, очистить оперативную память и попробовать снова. Сообщение “optimization stopped” говорит о том, что оптимизация завершена. Также обычно указывается время, которое она заняла и количество проходов. Еще одно сообщение: “TestGenerator: spread set to 30” указывает на величину спреда, которая была выставлена для теста. Поэтому, если у вас сильно красивые результаты, обратите внимание, не поставили ли вы неадекватно маленький спред для вашего теста. Также в начале теста в журнал записываются все параметры эксперта (“inputs”). Ну и, конечно же, все операции с ордерами также будут отображены в этом логе. И последнее – в лог записываются и все ошибки, которые происходят при тестировании и оптимизации, по кодам которых можно определить причину их возникновения.

Когда ваши советники уже прикреплены к графикам и работают в режиме реального времени на вашем счете, всю информацию по их работе вы можете увидеть в окне «Терминал» на вкладке «Эксперты» (это второй источник логов):

Этим записям соответствуют логи, находящиеся в папке терминала /mql4/logs. Тут вы сможете найти всю информацию по работе экспертов, все ошибки и любые другие события и сообщения. Вот как выглядит этот лог:

Тут вы в основном увидите различные сообщения экспертов (отладочные и информационные), сообщения о запуске (initialized, loaded successfully) и остановке (removed, uninit) экспертов и сообщения об ошибках. Все сообщения об ошибках экспертов содержат специальный код, по которому можно определить причину ошибки. Основная часть сообщений появляется тут по вине самих экспертов – часто в коде советника авторы оставляют специальную функцию, которая выводит сообщения о различных событиях в лог-файл. В основном это необходимо для отладки, поэтому многие советники снабжены параметром, который отключает подробное логирование работы эксперта. Параметр этот, как правило, называется Debug или производные от этого слова и содержит только два значения: true/false.

И третий тип логов – общий для терминала:

На вкладке «Журнал» окна «Терминал» вы можете найти основные события, связанные с работой терминала и вообще все события, что были на этом счете. Это – открытия, закрытия, модификация ордеров (открытых как вручную, так и при помощи советников), а также различные ошибки вроде потери связи с сервером. Вот как выглядит этот лог:

Эти логи содержат также записи об обновлениях терминала (“LiveUpdate”), о смене паролей (“investor password changed”), смене счетов, обрывах связи, входе и выходе, установке (“loaded successfully”) и удалении с графика экспертов (“removed”) и прочую сервисную информацию.

Поэтому если вы пытаетесь понять, почему у всех, кто использует какой-либо советник ордер открылся, а у вас нет, в первую очередь причину нужно искать тут (возможно, был обрыв связи с сервером брокера). Найти эти логи проще простого. Они находятся в папке терминала /logs.

Заключение

Любой современный терминал, предназначенный для торговли на финансовом рынке – достаточно хорошо продуманный программный продукт. Это инструмент трейдера и от того, насколько хорошо вы знаете его функционал – зависит ваш успех в торговле. Знаний о том, что из себя представляют различные инструменты анализа рынка очень важны, но если вы не будете иметь представление о технической стороне работы на рынке – ваш взгляд на рынок будет не совсем полным.

Источник

Что такое логи logs файл(ы) сайта и зачем они нужны?

log file, лог-файл, логи, logs.

Возможно, вам встречались эти слова?

Хочу рассказать, что это такое и зачем они нужны.

Иногда бывает, нужно посмотреть:

1) ошибки, которые возникали при обращении к сайту;

2) Кто и сколько раз приходил на сайт;

3) Параметры посещений (каким браузером и откуда был выполнен переход и.т.д.);

В общем, нужна статистика сайта.

Конечно, есть современные системы статистики, такие как Google Analytics и Яндекс.Метрика, которые позволяют получать эти данные в удобном виде.

Но, бывают ситуации, что на некоторых сайтах эти системы не установлены, а получить статистику все равно нужно.

Например, произошла какая-то критическая ситуация с сайтом и вам нужно выяснить что произошло, а никаких систем статистики на сайте не было.

Практически на любом сайте, по умолчанию, существуют специальные текстовые файлы, в которые записывается вся информация о посещения и ошибках, которые были на вашем сайте.

Эти файлы и называются логами (log file, log-файлами, лог-файлы, логи).

В общем, логи – это текстовые файлы, в которых хранится информация о посещениях, параметрах посещений вашего сайта и ошибках, которые возникали на нем.

Имя файла логов, для наглядности и чтобы можно было понять их назначение, состоит из двух частей:

Т.е. указывается назначение файла и добавляется приставка «_log».

Данные о посещениях

Логи создаются серверным программным обеспечением. Этим они отличаются от систем Яндекс.Метрика и Google Аналитика, которые работают на основе Javascript-кода. Этот код встраивается на веб-страницы и передается браузером посетителя (клиентом) в базу данных систем статистики, которая хранится уже не на вашем сайте, а на сервере статистики.

Чтобы оставить сообщение, зарегистрируйтесь/войдите на сайт через:

Или зарегистрируйтесь через социальные сети:

Источник

Выбор архиватора для бэкапа логов

В этой статье я хочу рассказать о том, как выбирал архиватор для сжатия логов нашей фронт-офисной системы.

Подразделение, в котором я работаю, занимается разработкой и сопровождением единой фронт офисной системы Банка. Я отвечаю за ее сопровождение, мониторинг и DevOps.

Наша Система — это высоконагруженное приложение, ежедневно обслуживающее более 5 000 уникальных пользователей. На сегодняшний день — это «монолит» со всеми своими достоинствами и недостатками. Но сейчас активно идет процесс выноса функционала в микросервисы.

Ежедневно наша система генерирует более 130 ГБ «сырых» логов и, несмотря на то, что мы используем ENG стек (Elasticsearch Nxlog Graylog), файловые логи содержат гораздо больше информации (например, stack trace ошибок), поэтому требуют архивирования и хранения.

Так как место хранения ограничено, встаёт вопрос: «А какой архиватор лучше всего справится с этой задачей».

Для решения этого вопроса я написал скрипт на языке PowerShell, который произвел анализ за меня.

Задача скрипта вызвать архиваторы rar, 7z и zip с разными параметрами компрессии, посчитать скорость формирования архива, а также занимаемое место на диске.

Подготовительные работы:

Разбираем подробнее

Отлично, архиватор и степень сжатия выбраны, теперь давайте заархивируем логи!

Нам нужно решить следующие задачи:

Здесь я не буду расписывать каждую строчку скрипта(описано в комментариях), а остановлюсь лишь на функции Set-MMTCore, которая позволяет нам вычислить количество потоков для 7z, чтобы не грузить процессор на нашем сервере:

Без использования функции Set-MMTCore

Видно, что CPU упирается в 100%. Это значит, что мы неизбежно вызовем проблемы на сервере, а также получим алерт от системы мониторинга.

При использовании функции Set-MMTCore

Видно, что CPU равен 30-35%. Это значит, использование функции Set-MMTCore позволяет архивировать файлы без влияния на работу сервера.

Источник