что такое доля организаций охваченных мониторингом

С 2020 года налоговый мониторинг охватит 95 компаний

ФНС РФ сообщила, что с 2020 года налоговый мониторинг будет проводиться уже в отношении 95 компаний, которые обеспечивают 30% поступлений федерального бюджета. В частности, с 2020 года к налоговому мониторингу присоединятся четыре представителя черной и цветной металлургии: АО «Лебединский ГОК» (группа «Металлоинвест»), АО «Оленегорский ГОК» (группа «Северсталь»), АО «Кольская ГМК» (группа «Норильский никель»), АО «РУСАЛ Новокузнецк» (группа «РУСАЛ).

Налоговое ведомство напоминает, что в рамках налогового мониторинга компании предоставляют налоговым органам доступ к системе бухгалтерского и налогового учета, а также к информации о налоговых рисках и данным внутреннего контроля через аналитическую витрину данных.

Преимуществами налогового мониторинга являются:

Как отметил заместитель руководителя ФНС РФ Даниил Егоров, ежегодный прирост участников налогового мониторинга показывает высокий уровень доверия бизнеса к новой системе администрирования.

Мониторинг проводится налоговым органом по заявлению плательщика. Заявление о проведении налогового мониторинга нужно подать не позднее 1 июля года, предшествующего периоду, за который проводится мониторинг (ст. 105.27 НК РФ). Заявление подается по форме, утв. приказом ФНС России от 21.04.2017 № ММВ-7-15/323@.

К заявлению прилагается учетная политика организации, сведения об организациях и физлицах, которые прямо или косвенно участвуют в организации (при доле участия более 25%), а также документы, регламентирующие систему внутреннего контроля организации. Решение по заявлению принимается до 1 ноября текущего года. Сам же мониторинг начнется с 1 января следующего года.

Заявление о проведении мониторинга удовлетворят только при одновременном соблюдении следующих условий:

Длительность налогового мониторинга составляет 1 год и 9 месяцев. Продление мониторинга осуществляется в заявительном порядке. В этом случае заявление потребуется подать не позднее 1 сентября текущего года.

Источник

Что такое доля организаций охваченных мониторингом

от 8 июня 2018 года N 356-р

[Об определении Министерства сельского хозяйства и продовольствия Республики Ингушетия ответственным исполнительным органом государственной власти Республики Ингушетия за проведение мониторингов]

1. Определить Министерство сельского хозяйства и продовольствия Республики Ингушетия ответственным исполнительным органом государственной власти Республики Ингушетия за проведение мониторинга обеспеченности отдельных категорий граждан высококачественным сбалансированным питанием с учетом рациональных норм потребления пищевых продуктов и мониторинга состояния и объемов различных форм продовольственной помощи в субъектах Российской Федерации и оценки их влияния на производство отечественной сельскохозяйственной продукции.

2. Определить Министерство образования и науки Республики Ингушетия, Министерство здравоохранения Республики Ингушетия и Министерство труда, занятости и социальной защиты Республики Ингушетия соисполнителями мероприятий, указанных в пункте 1 настоящего Распоряжения.

3. Министерствам, указанным в пункте 2 настоящего Распоряжения, довести формы отчетности, прилагаемые к настоящему Распоряжению, до соответствующих учреждений и ежегодно до 30 июля направлять в Министерство сельского хозяйства и продовольствия Республики Ингушетия информацию для обобщения.

4. Министерству сельского хозяйства и продовольствия Республики Ингушетия ежегодно до 3 августа направлять в Министерство сельского хозяйства Российской Федерации сводную информацию.

И.о. Председателя Правительства
Республики Ингушетия
Б.ОЗДОЕВ

Наименование органа (организации), предоставившей отчет

Форма 1. Мониторинг объема поставок продовольствия в систему

внутренней продовольственной помощи по видам продуктов

Направления поставок продовольствия

доля организаций, охваченных мониторингом, %

объемы поставок ВСЕГО, тыс. тонн

доля в поставках продукции отечествен. пр-ва, %

из них местного пр-ва, %

объемы поставок ВСЕГО, млн. руб.

доля организаций, охваченных мониторингом, %

объемы поставок ВСЕГО, тыс. тонн

доля в поставках продукции отечествен. пр-ва, %

из них местного пр-ва, %

объемы поставок ВСЕГО, млн. руб.

доля организаций, охваченных мониторингом, %

объемы поставок ВСЕГО, тыс. тонн

доля в поставках продукции отечествен. пр-ва, %

Источник

Что такое доля организаций охваченных мониторингом

Об актуальных изменениях в КС узнаете, став участником программы, разработанной совместно с АО «Сбербанк-АСТ». Слушателям, успешно освоившим программу выдаются удостоверения установленного образца.

Программа разработана совместно с АО «Сбербанк-АСТ». Слушателям, успешно освоившим программу, выдаются удостоверения установленного образца.

Обзор документа

Методика расчета показателей мониторинга эффективности образовательных организаций высшего образования 2016 года (на основе данных формы № 1-Мониторинг за 2015 год) (утв. Министерством образования и науки РФ 21 марта 2016 г. № АК-6/05вн)

Целевые показатели эффективности деятельности образовательных организаций высшего образования

Формулы расчета целевых показателей эффективности деятельности образовательных организаций высшего образования

Р= ( 4.1.3.гр.[ставка] (ставка))

N= ( 4.1.3.гр.[ставка] (ставка))

S = 2.4.2.стр.04.гр.12_очное+1/4 2.4.2.стр.04.гр.12_вечернее + 1/10 2.4.2.стр.04.гр.12_заочное +

=( (2.4.1.гр.29_очн. (2.4.1.гр.18_очн.-2.4.1.гр.19_очн.))+ (2.4.1.г р.31_очн. 2.4.1.гр.19_очн.)+ (100 2.4.1.гр.22_очн.)+ (2.4.1.гр.34_очн. (2.4.1.гр.20_очн.-2.4.1.гр.21_очн.))+ (2.4.1.гр.35_очн. 2.4.1.гр.21_очн.))/ (2.4.1.гр.18_очн.+2.4.1.гр.20_очн.+2.4.1.гр.22_очн.)

E_5 = _____________________________________________________________________ х 100%

(6.2.стр.03.гр.3 + 6.2.стр.03.гр.4) х 12 х [Средн.з./n.региона]

— расчет по данным ПФР

Е_8.1 = ____________________________ х 100%

= ( 4.1.1.стр.14.гр.[ставка] х (ставка) + 4.1.2.стр.12.гр.[ставка] х (ставка) + 4.1.3.стр.19.гр.[ставка] х (ставка))/Р х 100%

Е_8.3 = _______________________________________________________________________________________ х 100%

= ( 4.1.1.стр.15.гр.[ставка] х (ставка) + 4.1.2.стр.13.гр.[ставка] х (ставка) + 4.1.3.стр.20.гр.[ставка] х (ставка))/Р х 100%

= ( 4.1.1.стр.16.гр.[ставка] х (ставка) + 4.1.2.стр.14.гр.[ставка] х (ставка) + 4.1.3.стр.21.гр.[ставка] х (ставка))/Р х 100%

гр. [ставка] — графа таблицы, соответствующая доле ставки

Показатели по направлениям деятельности образовательных организаций высшего образования

Формулы расчета показателей по направлениям деятельности образовательных организаций высшего образования

Р = ( 4.1.3.гр.[ставка] (ставка))

N = ( 4.1.3.гр.[ставка] (ставка))

S = 2.4.2.стр.04.гр.12_очное+1/4 2.4.2.стр.04.гр.12_вечернее+1/10 2.4.2.стр.04.гр.12_заочное+

V = 2.4.2.стр.04.гр.23_очное+1/4 х 2.4.2.стр.04.гр.23_вечернее+1/10 х 2.4.2.стр.04.гр.23_заочное+

Источник

Налоговый мониторинг. Стоит ли переходить и к чему готовиться

В первом квартале текущего года некоторые крупные компании получили от налоговых органов предложения о переходе на налоговый мониторинг.

В разъяснениях ФНС, как правило, содержится описание существенных выгод, которые получит налогоплательщик, применяющий данную систему.

Так ли это, что необходимо для перехода на налоговый мониторинг и существуют ли альтернативные варианты — попробуем разобраться.

Что такое налоговый мониторинг?

Налоговый мониторинг — это одна из форм осуществления налогового контроля за соблюдением налогоплательщиками законодательства о налогах и сборах со стороны налоговых органов. Данная форма контроля является в определенной степени новой — она введена и применяется лишь с 1 января 2015 года.

В большинстве своем она заменяет традиционные камеральные и выездные налоговые проверки на онлайн-взаимодействие на основе удаленного доступа (полного или ограниченного) к информационным системам налогоплательщика и его бухгалтерской и налоговой отчетности. Если говорить упрощенно, налоговый орган подключается к базе налогоплательщика или предоставленным налогоплательщиком данным и смотрит, как исчисляются и уплачиваются налоги практически в режиме реального времени.

Помимо этого, такой способ предоставления данных позволяет налогоплательщикам оперативно согласовывать с налоговым органом позицию по обложению планируемых и совершенных операций. В этой связи, такая форма налогового контроля обеспечивает превентивное выявление налоговых рисков и представляет возможность урегулирования спорных вопросов.

При всем этом, основное отличие налогового мониторинга от иных форм налогового контроля заключается в его применении сторонами исключительно на добровольной основе.

Кто может перейти на налоговый мониторинг?

Налоговый мониторинг проводится налоговым органом на основании соответствующего заявления организации и решения налогового органа о его проведении (пункты 1 и 2 ст. 105.26 НК РФ).

В настоящее время, чтобы перейти на налоговый мониторинг с 2021 года, организации необходимо подать заявление о его проведении не позднее 1 октября (срок был перенесен с 1 июля в связи с пандемией (Постановление Правительства РФ от 02.04.2020 No 409 «О мерах по обеспечению устойчивого развития экономики» (вместе с «Правилами предоставления отсрочки (рассрочки) по уплате налогов, авансовых платежей по налогам и страховых взносов»), п. 1 ст. 105.27 НК РФ)). Соответственно, при принятии налоговым органом положительного решения процедура начнет применяться с 1 января 2021 года, а закончится 1 октября 2021 года (п. 5 ст. 105.26 НК РФ).

Иными словами, действует следующее правило: если заявление подано в текущем году до установленной даты, то периодом мониторинга будет являться следующий год. Соответственно, процедура начнет применяться с 1 января следующего года, а закончится — 1 октября года, следующего за периодом проведения мониторинга.

Однако на налоговый мониторинг берут только крупных налогоплательщиков, чьи совокупные показатели деятельности должны соответствовать определенным суммовым критериям.

Расчеты показателей делаются по данным календарного года, предшествующего году, в котором представляется заявление о проведении налогового мониторинга. При этом, предусмотрено, что для перехода организация должна соответствовать всем приведенным ниже критериям единовременно.

Действующие в настоящее время критерии перехода на налоговый мониторинг

Вместе с тем необходимо отметить, что в скором времени налоговый мониторинг станет доступнее: утвержденная в начале года Концепция (Распоряжение Правительства РФ от 21.02.2020 No 381-р «Об утверждении концепции развития и функционирования в РФ системы налогового мониторинга»), предполагает существенное снижение установленных для перехода значений для применения налогового мониторинга.

Цель Концепции увеличить в разы количество участников налогового мониторинга:

— к 2022 году — до не менее 3879 плательщиков;

— к 2024 году — до не менее 7827 плательщиков;

Планируемые критерии перехода на налоговый мониторинг

Кроме этого, планируется установить возможность соответствия лишь одному из перечисленных выше критериев. Расширению круга потенциальных участников будет способствовать также включение сумм НДФЛ и страховых взносов в совокупную сумму исчисленных налогов и страховых взносов.

Практика показала, налоговые органы с удовольствием выходят на общение с самими налогоплательщиками по вопросам, возникающим у них при вступлении в налоговый мониторинг, помогают сориентироваться в законодательстве.

Помимо этого, ФНС проводит вебинары с практическими рекомендациями по вступлению в налоговый мониторинг (осуществляется через Главный научный инновационный внедренческий центр ФНС России).

Положительные стороны перехода на налоговый мониторинг

По замыслу создателей данной системы следствием ее функционирования и вовлечения в применение расширенного круга организаций должно привести к следующим положительным, в первую очередь для самих налогоплательщиков моментам:

Как следствие, указанная совокупность призвана способствовать снижению налоговых рисков и, соответственно, доначислений по результатам проверок,что позитивно скажется на возможности планировать налоговую нагрузку по организации. Кроме того, применение данной системы в обозримом будущем приведет к снижению затрат, связанных с налоговым администрированием (временных, трудовых, материальных). Более того, сам по себе факт применения налогового мониторинга способен сформировать и подтвердить применительно к конкретной организации репутацию добросовестного налогоплательщика.

«Минусы» налогового мониторинга

Несмотря на довольно большое число положительных сторон перехода на режим налогового мониторинга, безусловно, существуют и моменты, сдерживающие переход на применение данной системы.

К числу таковых можно отнести:

В этой связи, в настоящее время число организаций, применяющих режим налогового мониторинга, невелико и составляло по информации на конец 2019 года 44 единицы, причем большая их часть приходилась на компании с государственным участием.

Документы для проведения налогового мониторинга

Можно выделить следующие этапы подготовки к применению налогового мониторинга:

Итак, если организация соответствует критериям для перехода на налоговый мониторинг и приняла решение о переходе с 1 января 2021 года, то не позднее 1 октября 2020 г. необходимо представить в налоговый органследующие документы:

Приведенный перечень документов является исчерпывающим и расширительному толкованию не подлежит. На первый взгляд, ничего сложного в составлении приведенных документов нет. Однако, их подготовка производится при участии и тесном взаимодействии с налоговыми органами и имеет много специфических требований, что может оказать не только положительное влияние, но и в некоторых случаях создать определенные сложности. Поэтому подготовкой документов для налогового мониторинга нужно заняться заранее.

Остановимся более подробно на некоторых из них, имеющих определяющее значение для принятия налоговым органом положительного решения о вступлении организации в данную процедуру.

Регламент информационного взаимодействия (РИВ): подготовка и согласование («дорожная карта»)

Форма РИВ и предъявляемые к нему требования утверждены Приказом ФНС России от 21.04.2017 No ММВ-7-15/323@, в связи с чем, наличие каких-либо несоответствий является основанием для отказа в проведении налогового мониторинга. В частности, в РИВ должны быть отражены способы и порядок взаимодействия организации и налогового органа по следующим разделам.

1. Порядок представления налоговому органу документов(информации), включающий в себя достаточно объемный блок информации, где принципиальным моментом является разрешение вопроса о способеинформационного взаимодействия между сторонами, в качестве которых насегодняшний применяются:

2. Порядок отражения организацией в регистрах бухгалтерского и налогового учета доходов, расходов, объектов налогообложения, сведения о регистрах бухгалтерского учета, об аналитических регистрах налогового учета, где основными являются следующие моменты:

При этом структура раскрытия показателей налоговой отчетности представляет собой многоуровневую систему, включающую в себя, в том числе:

3. Информация о системе внутреннего контроля организации за совершаемыми фактами хозяйственной жизни и правильностью исчисления (удержания), полнотой и своевременностью уплаты (перечисления) налогов, сборов, страховых взносов, которая включает:

Подготовка и согласование данного раздела РИВ как наиболее объемного и наименее урегулированного нормативно на уровне действующего налогового законодательства представляется наиболее сложным и трудоемким для исполнения процессом, в связи с чем требует отдельного раскрытия.

Система внутреннего контроля должна быть идеальна

Согласно пункту 7 ст.105.26 НК РФ для целей проведения налогового мониторинга система внутреннего контроля за совершаемыми фактами хозяйственной жизни и правильностью исчисления (удержания), полнотой и своевременностью уплаты (перечисления) налогов, сборов, страховых взносов (далее — СВК) — это совокупность организационной структуры, методик и процедур, утвержденных организацией для упорядоченного и эффективного ведения финансово-хозяйственной деятельности (в том числе достижения финансовых и операционных показателей, сохранности активов), выявления, исправления и предотвращения ошибок и искажения информации при исчислении (удержании) налогов, сборов, страховых взносов, полноты и своевременности их уплаты (перечисления), а также для своевременной подготовки бухгалтерской (финансовой), налоговой и иной отчетности организации.

СВК организаций, принявших решение о вступлении в режим налогового мониторинга, должна удовлетворять требованиям приказа ФНС России от 16.06.2017 No ММВ 7 15/509 @.

Согласно приказу СВК должна обеспечивать:

При этом предполагается, что СВК является единым, комплексным инструментом, который охватывает все структурные подразделения организации и влияет на все происходящие бизнес процессы, вместе с тем, представление информации об СВК компании различно в зависимости от потребителя информации.

Организации, которые могут перейти на налоговый мониторинг по своим финансовым показателям попадают под обязательный аудит, а значит, они, как минимум, обязаны организовать и осуществлять внутренний контроль ведения бухгалтерского учета и составления бухгалтерской (финансовой) отчетности (ст. 19 Федерального закона от No 402-ФЗ 06.12.2011 «О бухгалтерском учете»). Соответственно, при проведении обязательного аудита аудиторы сопоставляют применяемую организацией СВК с предусмотренной Международным стандартом аудита 315 (пересмотренный) «Выявление и оценка рисков существенного искажения посредством изучения организации и ее окружения» моделью. И не секрет, что не всегда СВК организации соответствует всем требованиям.

Перед переходом на налоговый мониторинг организации необходимо привести свою СВК и регламентирующие ее документы в идеальное состояние. И в этом могут помочь аудиторские компании.

К примеру, СВК можно адаптировать к требованиям налогового мониторинга самостоятельно, учитывая замечания и рекомендации аудиторов, указанные в аудиторском заключении.

При выявлении недочетов и уязвимостей в СВК, способных оказать негативное влияние на функционирование организации, аудитором могут быть даны соответствующие рекомендации по их устранению, а также при необходимости разработаны недостающие составляющие и компоненты применяемой организацией СВК.

Что после представления документов?

После получения всех необходимых документов налоговый орган проводит проверку их соответствия рекомендованным требованиям (Письмо ФНС России от 28.06.2017 No ЕД-4-15/12378 «О направлении порядка оценки полноты сведений, указанных организацией в заявлении о проведении налогового мониторинга и документах(информации)»), следовательно, организации остается лишь дождаться ответаналоговой, и, если он положительный, то с 1 января следующего года начать жить по-новому.

Комплексный аудит — как альтернатива налоговому мониторингу

Как уже говорилось, одно из преимуществ налогового мониторинга — это минимизация ошибок в учете и отчетности и, как следствие, — низкий риск привлечения к налоговой ответственности. Но не все компании подходят по критериям под налоговый мониторинг, а некоторые компании просто не хотят быть «под лупой» ФНС или пока не готовы к подготовке соответствующих документов.

Есть ли альтернатива налоговому мониторингу, позволяющая добросовестным организациям чувствовать себя защищенными от налоговых претензий? — Да — это системный комплексный аудит.

В рамках проведения комплексного аудита, помимо предоставления аудиторского заключения, мы системно в течение года отслеживаем корректность налогового учета и формирование налоговой базы. Однако, помимо этого, — ищем законные финансовые резервы, позволяющие скорректировать налоговую нагрузку в сторону уменьшения. А главное, — даем расширенные гарантии и защиту от претензий налоговых органов, в том числе в судебном порядке в течение 3-х лет, следующих за проверенным нами периодом.

Источник

Мониторинг мёртв? — Да здравствует мониторинг

Наша компания с 2008 года занимается преимущественно управлением инфраструктурами и круглосуточной технической поддержкой веб-проектов: у нас более 400 клиентов, это порядка 15% электронной коммерции России. Соответственно, на поддержке очень разнообразная архитектура. Если что-то падает, мы обязаны в течение 15 минут это починить. Но чтобы понять, что авария произошла, нужно мониторить проект и реагировать на инциденты. А как это делать?

Я считаю, что в организации правильной системы мониторинга происходит беда. Если бы беды не было, то мой спич состоял из одного тезиса: «Установите, пожалуйста, Prometheus + Grafana и плагины 1, 2, 3». К сожалению, теперь так не работает. И главная проблема заключается в том, что все продолжают верить во что-то такое, что существовало в 2008 году, с точки зрения программных компонентов.

В отношении организации системы мониторинга я рискну сказать, что… проектов с грамотным мониторингом не существует. И ситуация настолько плохая, если что-то упадёт, есть риск, что это останется незамеченным — все ведь уверены, что «всё мониторится».
Возможно, всё мониторится. Но как?

Все мы сталкивались с историей наподобие следующей: работает некий девопс, некий админ, к ним приходит команда разработчиков и говорит — «мы зарелизились, теперь замониторь». Что замониторь? Как это работает?

Ок. Мониторим по старинке. А оно уже изменяется, и выясняется, что ты мониторил сервис А, который стал сервисом B, который взаимодействует с сервисом C. Но команда разработчиков тебе говорит: «Поставь софт, он же должен все замониторить!»

Так что изменилось? — Всё изменилось!

2008 год. Всё прекрасно

Есть пара разработчиков, один сервер, один сервер БД. Отсюда всё и идет. У нас есть некая инфа, мы ставим zabbix, Nagios, cacti. И дальше выставляем понятные алерты на ЦПУ, на работу дисков, на место на дисках. Ещё делаем пару ручных проверок, что сайт отвечает, что заказы в базу приходят. И всё – мы более-менее защищены.

Если сравнивать объем работы, которую тогда делал админ для обеспечения мониторинга, то на 98% она была автоматической: человек, который занимается мониторингом, должен понять, как поставить Zabbix, как его настроить и настроить алерты. И 2% — на внешние проверки: что сайт отвечает и делает запрос в базу, что новые заказы пришли.

2010 год. Растёт нагрузка

Мы начинаем скейлить вебы, добавляем поисковый движок. Мы хотим быть уверены, что каталог товаров содержит все товары. И что поиск товаров работает. Что база работает, что заказы делаются, что сайт отвечает внешне и отвечает с двух серверов и пользователя не выкидывает с сайта, пока он перебалансируется на другой сервер, и т.д. Сущностей становится больше.

Причем сущность, связанная с инфраструктурой, по-прежнему остается самой большой в голове менеджера. По-прежнему в голове сидит идея, что человек, занимающийся мониторингом, — это человек, который поставит zabbix и сможет его конфигурировать.

Но при этом появляются работы по проведению внешних проверок, по созданию набора скриптов запросов индексатора поиска, набора скриптов для проверки того, что поиск меняется в процессе индексации, набора скриптов, которые проверяют, что службе доставке передаются товары, и т.д. и т.п.

Заметьте: я 3 раза написал «набор скриптов». То есть ответственный за мониторинг — больше не тот, кто просто устанавливает zabbix. Это человек, который начинает кодить. Но в головах у команды пока ничего не меняется.

Зато меняется мир, усложняясь всё больше. Добавляются слой виртуализации, несколько новых систем. Они начинают взаимодействовать между собой. Кто сказал «попахивает микросервисами?» Но каждый сервис всё ещё по отдельности выглядит как сайт. Мы можем к нему обратиться и понять, что он выдаёт необходимую информацию и сам по себе работает. И если ты админ, постоянно занимающийся проектом, который развивается 5-7-10 лет, у тебя эти знания накапливаются: появляется новый уровень — ты его осознал, появляется еще один уровень — ты его осознал…

Но редко кто сопровождает проект 10 лет.

Резюме мониторингмэна

Предположим, вы пришли в новый стартап, который сразу набрал 20 разработчиков, написал 15 микросервисов, а вы — админ, которому говорят: «Построй CI/CD. Пожаааалуйста». Вы построили CI/CD и вдруг слышите: «Нам сложно работать с продакшном в «кубике», не понимая, как в нём будет работать приложение. Сделай нам песочницу в этом же «кубике».
Вы делаете песочницу в этом кубике. Вам тут же говорят: «Мы хотим stage базу данных, которая обновляется каждый день с продакшна, чтобы понимать, что это работает на базе данных, но при этом не испортить продакшн базу данных».

Вы в этом всем живете. Остается 2 недели до релиза, вам говорят: «Теперь бы это всё замониторить…» Т.е. замониторить кластерную инфраструктуру, замониторить микросервисную архитектуру, замониторить работу с внешними сервисами…

А коллеги достают такие из головы привычную схему и говорят: «Так здесь же всё понятно! Поставь программу, которая это все замониторит». Да-да: Prometheus + Grafana + плагины.
И добавляют при этом: «У тебя недельки две, сделай так, чтобы все было надёжно».

В куче проектов, которые мы видим, на мониторинг выделяют одного человека. Представьте, что мы хотим на 2 недели нанять человека, который займется мониторингом, и мы составляем ему резюме. Какими навыками должен обладать этот человек — если учитывать все сказанное нами прежде?

Зато её надо как-то замониторить…

Что в итоге? В итоге есть один человек, которому в голову входит всё, что не может понять целая команда разработчиков, и при этом он ещё должен знать и уметь то, что мы указали выше — железную инфраструктуру, инфраструктуру Kubernetes и т.д.

Что тут сказать… Хьюстон, у нас проблемы.

Мониторинг современного программного проекта — это сам по себе программный проект

Из ложной уверенности, что мониторинг — это софт, у нас появляется вера в чудеса. А чудес, увы, не бывает. Нельзя поставить zabbix и ждать, что всё заработает. Нет смысла поставить Grafana и надеяться, что все будет ок. Большая часть времени уйдет на организацию проверок работы сервисов и их взаимодействия между собой, проверок, как работают внешние системы. Фактически 90% времени уйдет не на написание скриптов, а на разработку программного обеспечения. И заниматься ею должна команда, которая понимает работу проекта.
Если в этой ситуации одного человека кинуть на мониторинг, то случится беда. Что и происходит повсеместно.

Например, есть несколько сервисов, которые общаются между собой через Kafka. Пришел заказ, мы сообщение о заказе отправили в Kafka. Есть сервис, который слушает информацию о заказе и проводит отгрузку товара. Есть сервис, который слушает информацию о заказе и присылает письмо юзеру. А затем появляется еще куча сервисов, и мы начинаем путаться.

А если вы ещё отдадите это админу и разработчикам на этапе, когда до релиза осталось короткое время, человеку нужно будет понять весь этот протокол. Т.е. проект подобного масштаба занимает значительное время, и в разработке системы это должно быть заложено.
Но очень часто, особенно в горении, в стартапах, мы видим, как мониторинг откладывают на потом. «Сейчас мы сделаем Proof of Concept, с ним запустимся, пусть он падает – мы готовы жертвовать. А потом мы все это замониторим». Когда (или если) проект начинает приносить деньги, бизнес хочет пилить ещё больше фич — потому что оно же начало работать, значит нужно накручивать дальше! А вы находитесь в точке, где вначале нужно замониторить всё предыдущее, что занимает не 1% времени, а значительно больше. И кстати для мониторинга нужны будут разработчики, а их проще пустить на новые фичи. В итоге пишутся новые фичи, всё накручивается, и вы в бесконечном deadlock.

Так как же замониторить проект, начиная с начала, и что делать, если вам достался проект, который нужно замониторить, а вы не знаете, с чего начинать?

Во-первых, нужно планировать.

Лирическое отступление: очень часто начинают с мониторинга инфраструктуры. Например, у нас Kubernetes. Начнем с того, что поставим Prometheus с Grafana, поставим плагины под мониторинг «кубика». Не только у разрабов, но и у админов есть прискорбная практика: «Мы поставим вот этот плагин, а плагин наверное знает как это сделать». Люди любят начинать с простых и понятных, а не с важных действий. И мониторинг инфраструктуры — это просто.

Для начала решите, что и как хотите замониторить, а потом подбирайте инструмент, потому что другие люди не могут за вас подумать. Да и должны ли? Другие люди думали про себя, про универсальную систему — или вообще не думали, когда этот плагин писали. И то, что у этого плагина 5 тысяч пользователей, не означает, что он несёт какую-то пользу. Возможно, вы станете 5001-ым просто потому, что там до этого уже было 5000 человек.

Если вы начали мониторить инфраструктуру и backend вашего приложения перестал отвечать, все пользователи потеряют связь с мобильным приложением. Вылетит ошибочка. К вам придут и скажут «Приложение не работает, чем вы тут занимаетесь?» — «Мы мониторим». — «Как вы мониторите, если не видите, что приложение не работает?!»

Всё по уровням

Вот как я вижу организацию системы мониторинга.

Уровень приложения — мониторинг бизнес-логики

Здесь речь идет о проверках самого факта того, что приложение работает для пользователя.

Этот уровень должен быть сделан на этапе разработки. Например, у нас есть условный Prometheus: он лезет к серверу, который занимается проверками, дёргает endpoint, и endpoint идет и проверяет API.

Когда часто просят замониторить главную страницу чтобы убедиться, что сайт работает, программисты дают ручку, которую можно дёргать каждый раз, когда надо убедиться, что API работает. А программисты в этот момент еще берут и пишут /api/test/helloworld
Единственный способ убедиться, что все работает? — Нет!

Уровень приложения — мониторинг health-метрик

Теперь речь идет о внешних health-метриках сервисов.

Мы решили, что все “ручки” приложения мониторим с помощью внешних проверок, которые мы вызываем из внешней системы мониторинга. Но это именно “ручки”, которые “видит” пользователь. Мы же хотим быть уверены, что у нас работают сами сервисы. Здесь история получше: в K8s есть health-чеки, чтобы хотя бы сам «кубик» убеждался, что сервис работает. Но половина чеков, которые я видел, — это тот же самый print “hello world”. Т.е. вот он дергает один раз после деплоя, ему тот ответил, что все хорошо — и всё. А у сервиса, если он rest-ом выдает свой API, есть огромное количество точек входа того самого API, который тоже нужно мониторить, потому что мы хотим знать, что он работает. И мы его мониторим уже внутри.

Как это правильно реализовать технически: каждый сервис выставляет endpoint о своей текущей работоспособности, а в графиках Grafana (или любого другого приложения) мы видим статус всех сервисов.

Уровень приложения — Интеграционный мониторинг

Интеграционный мониторинг фокусируется на мониторинге коммуникации между критическими для бизнеса системами.

Например, есть 15 сервисов, которые коммуницируют между собой. Это больше не отдельные сайты. Т.е. мы не можем дернуть сервис сам по себе, получить /helloworld и понять, что сервис работает. Потому что веб-сервис оформления заказа должен отправить информацию о заказе в шину — из шины служба работы со складом должна получить это сообщение и работать с ним дальше. А служба рассылки e-mail-ов должна обработать это как-то дальше, и т.д.

Соответственно, мы не можем понять, тыкаясь в каждый отдельный сервис, что это все работает. Потому что у нас есть некая шина, через которую все общается и взаимодействует.
Поэтому этот этап должен обозначать собой этап тестирования сервисов по взаимодействию с другими сервисами. Нельзя, замониторив брокер сообщений, организовать мониторинг коммуникации. Если есть сервис, который выдает данные, и сервис, который их принимает, при мониторинге брокера мы увидим только данные, которые летают из стороны в сторону. Если даже мы как-то умудрились замониторить взаимодействие этих данных внутри — что некий продюсер постит данные, кто-то их читает, этот поток продолжает идти в Kafka— это всё равно не даст нам информацию, если один сервис отдал сообщение в одной версии, а другой сервис не ожидал этой версии и пропустил его. Мы об этом не узнаем, так как нам сервисы скажут, что все работает.

Как я рекомендую делать:

Очень часто мы слышим вопрос “как мы можем это тестировать на боевых данных?” Например, речь идет про ту же службу заказов. Заказ отправляет сообщения в склад, где списываются товары: мы же не можем протестировать это на боевых данных, потому что «у меня товары будут списываться!» Выход: на начальном этапе запланировать весь этот тест. У вас же есть unit-тесты, которые делают mock-и. Так вот, сделайте это на более глубоком уровне, где у вас будет проходить канал коммуникации, который не повредит работе бизнеса.

Уровень инфраструктуры

Мониторинг инфраструктуры – то, что давно считается самим мониторингом.

Уровень приложения как бизнес-единицы

Алертинг

Технологический стек

Давайте представим, что стек у нас следующий:

Выбор вариантов некритичен. Потому что, если вы в начале поняли, как замониторить систему и расписали план, дальше вы уже начинаете выбирать инструментарий под свои требования. Вопрос в том, что вы выбрали мониторить вначале. Потому что, возможно, инструмент, который вы выбрали вначале — он вообще не подходит под ваши требования.

Несколько технических моментов, которые я вижу везде в последнее время:

Prometheus пихают внутрь Kubernetes — кто это придумал?! Если у вас упадет кластер, что вы будете делать? Если у вас сложный кластер внутри, то должна работать некая система мониторинга внутри кластера, и некая — снаружи, которая будет собирать данные изнутри кластера.

Внутри кластера мы собираем логи и все остальное. Но система мониторинга должны быть снаружи. Очень часто в кластере, где есть Promtheus, который поставили внутрь, там же стоят системы, которые делают внешние проверки работы сайта. А если у вас соединения во внешний мир упали и приложение не работает? Получается, внутри у вас все хорошо, но пользователям от этого не легче.

Выводы

UPD (по итогам бесед в комментах и не только):

1. Может показаться, что целью статьи, среди прочего, является тезис «админы, не парьтесь, мониторинг не ваша забота, пусть программисты мучаются». Разумеется, это не так: как DevOps объединил программистов и админов, так и цель статьи — как раз показать, что, прежде всего, совместная работа.
2. Я не пытаюсь намекнуть, мол «везде все плохо, а вот мы сможем сделать вам мониторинг — приходите в ITSumma». Нет, если проект запущен — мониторинг сторонней компанией не сделать. Конечно, у нас есть и бизнес-цели, и что мы действительно думаем сделать, так это внедрить консалтинг по сопровождению проекта в процессе его разработки, чтобы донести, как правильно со стороны разработки вести часть, связанную с мониторингом.

Если вам интересны мои идеи и размышления на it и около-того-темы, то вот можно почитать канал 🙂

Источник