что такое кластер в торговле
Кластерный анализ объемов в торговле
Этот метод анализа финансовых рынков сравнительно новый, появился в середине нулевых. По сравнению с вертикальными объемами позволяет глубже понять происходящее на рынке и не торговать против крупных игроков. Сегодня разберемся в том, где лучше выполнять кластерный анализ и что этот метод может дать трейдеру.
Под кластерным анализом понимается изучение горизонтальных объемов по уровням. С определенным шагом собирается статистика и в торговом терминале напротив каждого ценового уровня трейдер видит числа, обозначающие проторгованные по Биду и Аску объемы.
В отличие от обычных горизонтальных объемов, которые можно получить в МТ4 через бесплатные индикаторы в кластерном анализе имеем дело с реальными объемами. Все числа – реальное количество контрактов, а не статистика по тикам на ценовых уровнях.
В МТ4 стандартными методами кластерный анализ выполнить нельзя. Но есть масса платформ, обладающих нужным функционалом, из них выделю:
Данные берутся из одних и тех же источников. Так что не имеет значения, с каким терминалом будете работать, данные будут совпадать. При выборе учитывайте удобство работы с платформой, наличие демо-доступа.
Как использовать кластерный анализ в торговле
Для примера поработает с терминалом ATAS. После запуска и настройки графика увидите такую картину.
На графике:
Настроек очень много, можно откорректировать вид графика под себя.
Конкретные числа по объемам на уровнях нас не интересуют. Куда важнее поведение толпы при подходе графика к важным уровням и трендовым линиям.
Пример:
Как видите, даже на М5-М15 можно брать неплохой профит. Положение тейк-профитов кластерный анализ графиков не дает, при фиксации профита ориентируйтесь на положение уровней поддержки/сопротивления, используйте трейлинг-стоп.
Заключение
Кластерный анализ не решит все проблемы трейдера. Это лишь один из инструментов для фильтрации потенциальных точек входа. Информация по реальным объемам позволяет понять настрой рынка, ложным был пробой уровня или идет подготовка к новому рывку. Это серьезное преимущество, так что трейдеры, овладевшие кластерным анализом, имеют больше шансов на успех в торговле.
Кластеризация: расскажи мне, что ты покупаешь, и я скажу кто ты
Задача Datawiz.io: провести кластеризацию клиентов программы лояльности в ритейле.
Кластеризация — это метод поиска закономерностей, предназначенный для разбиения совокупности объектов на однородные группы (кластеры) или поиска существующих структур в данных.
Целью кластеризации является получение новых знаний. Это как “найти клад в собственном подвале”.
Для чего это нужно компаниям? Чтобы лучше узнать своих клиентов. Чтобы найти индивидуальный подход к каждому клиенту, а не работать со всеми одинаково.
Несмотря на то, что многие компании используют программы лояльности и обладают колоссальными данными, их аналитики сначала определяют персону покупателя, а уже потом анализируют ее поведение.
Решение: Machine Learning позволяет пойти от обратного, от личных предпочтений — к персоне. Мы в Datawiz.io используем кластеризацию как метод группирования клиентов по данным о их поведении – покупках, банковских транзакциях, кредитных историях.
Для кластеризации массива данных (чеки, данные по программах лояльности) мы используем алгоритм K-means. Он хорошо масштабируется и оптимизируется под Hadoop.
Также как альтернативу можно использовать алгоритм Affinity Propagation. Конечно, у него есть ряд существенных минусов: он медленный и плохо масштабируется. Но в частных случаях, при желании и наличии свободного времени, можно использовать его для кластеризации на коротких промежутках времени.
1. Clean Datа.
Прежде, чем формировать матрицу — в обязательном порядке чистим информацию. Убираем то, что не влияет на поведение покупателей и является информационным шумом. Для ритейлеров, например, можно исключить рекламную продукцию, выданные дисконтные карты, скретч-карты, тару и пакеты, покупаемые на кассе. После того как данные очищены приступаем к формированию матрицы.
2. Формируем матрицу с входными данными.
Важно: Результаты кластеризации очень зависят от периода времени, по которому она проводится. Если выберем кроткий период — увидим текущие тренды.
Например, проведя кластеризацию перед Новым годом, увидим кластеры, которые не видны на длительном промежутке времени. (Скажем, кластер “Любители “Оливье” и “Селедки под шубой”). Кластеризация за длительный период позволит увидеть картину в целом, то есть клиентов со стабильным поведением (“лайфстайл”). “Студенты”, “Домохозяйки”, “Пенсионеры” и т.д.
Например, ритейлер хочет провести кластеризацию по программе лояльности за полгода.
У магазина есть чеки Васи, который за полгода купил 1 хлеб, 2 молока и 1 батон; и чеки Оли — она купила 3 хлеба, 5 молока и 2 батона за полгода и т.д.
Значит матрица для этого ритейлера будет выглядеть так: 
Для ритейлера в среднем, features = 15 тыс. SKU, а samples = 60 тыс. клиентов.
Возьмем каждого отдельно клиента, например Васю со всеми его чеками за полгода. В зависимости от количества вхождений всех товаров по всех его чеках, разместим Васю (и других) на графике, где:
количество осей = количеству товаров (features),
количество точек = количеству клиентов (samples), участвующих в программе лояльности.
Наглядное (и очень схематичное:) изображение: 
Но выглядеть результат кластеризации алгоритмом k-means будет так: 
Также можно проводить кластеризацию по разных уровнях категоризации товаров (feature reduction), тогда матрица будет выглядеть так: 
После того, как матрица сформирована, можно переходить к выбору количества кластеров.
3. Выбираем оптимальное количество кластеров.
Количество кластеров мы выбираем экспериментальным путем, исходя из собственного опыта. Малое количество кластеров будет малоэффективно и не информативно, потому что в таком случае мы получаем один-два “мегакластера”, куда будет входить 98% клиентов и несколько бесполезных маленьких кластеров.
При большом количестве кластеров получится слишком много маленьких групп. К тому же никто не хочет анализировать 5000 отдельных мелких кластеров. Для каждого отдельного случая должен быть свой индивидуальный подход.
Для длительных периодов и большого количества кластеров используем K-means.
4. Проводим кластеризацию.
Выбираем алгоритм K-means (или Affinity Propagation), используем Python библиотеку scikit-learn, на вход даем получившуюся матрицу, запускаем кластеризацию.
5. Анализируем результаты кластеризации.
Результатом работы алгоритма является маркировка всех клиентов программы лояльности, в зависимости от их поведения/покупки. Клиенты с одинаковыми поведенческими характеристиками попадают в один кластер.
Если вы проводите кластеризацию за весь период работы, то в ней участвуют все клиенты программы лояльности. Если за определенный период (год, месяц), то в кластеризации участвуют только те клиенты, которые совершили покупки в заданный период.
Итак, мы провели кластеризацию по программе лояльности для ритейлера за полгода, с количеством кластеров 75. Рассмотрим, как распределились по кластерам покупатели, и какие товары предпочитают в тех или иных кластерах: 
— В “Кластер 1” попало 45% клиентов за этот период. Лидерами продаж по товарам здесь стали: масло, бананы, яйца, молоко, батон, сметана.
— В “Кластере 2” оказалось 12% клиентов. Здесь популярнее остальных уже несколько видов хлеба и сметаны, бананы и непродовольственные товары.
— Пять последующих кластеров уже не такие большие, в каждый из них входят лишь по 2-3% клиентов. (В общей сложности в эти кластеры попали 12% клиентов за выбранный период). Здесь предпочтения клиентов весьма интересны, например: молочные продукты+фрукты, печенье+йогурты\сырки, йогурты\десерты+хлопья, курица+пиво+корм для кошек.
— Оставшиеся 31% покупателей рассеяны по 68 кластерам. в которые входят 0,1-2% клиентов. Также кластер может быть очень маленьким и состоять из 1-2 человек. Чем может быть интересен такой кластер? Читайте в кейсах в конце статьи.
При кластеризации алгоритм выявляет нестандартное поведение клиента. Выявить такое поведение поможет анализ отдельных “фич”(характеристик и особенностей) каждого отдельного кластера.
6. Анализируем характеристики каждого кластера.
7. Проводим персонализированную рассылку по каждому кластеру.
Используя кластеризацию клиентов, можно получить четкую систему рекомендаций для персонала — какой товар, какому клиенту и в какое время предлагать.
Зная, что и какой группе людей предлагать, компании смогут избежать метода “ковровой бомбардировки” при sms или e-mail рассылке. Предлагая клиентам только нужные им товары (не забывая про сопутствующие), можно добиться гораздо большего отклика и конверсии в покупку.
Рассмотрим несколько кейсов от Datawiz.io.
Повышение эффективности промо-рассылок с помощью кластеризации.
В результате кластеризации клиентов одной из сети магазинов мы получили 75 кластеров. Для примера рассмотрим три из них: “молодая семья”, “студент” и “пенсионер”.
— Клиенты кластера “молодая семья” были наиболее восприимчивы к предложениям по покупке подгузников, детского питания, фруктов и молока;
— “студентам” предложили скидки на продукты группы фастфуд и пиво;
— а “пенсионерам” на крупы и овощи.
В следствии такой рассылки конверсия в покупку увеличилась на 14,5 %.
Продвижение нового продукта.
Вариант 1. Чтобы узнать кому будет интересен новый продукт, мы сделали рассылку по всех клиентах программы лояльности. По результатах отклика узнали персону покупателя, которой необходимо маркетировать новый продукт. Далее, отследили нужных нам покупателей в кластерах. Провели рассылку уже только по интересующих нас кластерах.
Вариант 2. Компания не захотела проводить рассылку по всех клиентах, так как база весьма обширна. Поэтому мы создали гипотезу, каким кластерам клиентов этот продукт интересен. Из всех интересующих нас кластеров мы взяли рандомно по 1% клиентов и провели по ним тестовую рассылку. С теми кластерами, которые показали наивысшую конверсию в покупку после тестовой рассылки, и работали в дальнейшем, предлагая новый продукт всему кластеру.
Нестандартное поведение клиента.
Мы провели кластеризацию для магазина одной из сети. Алгоритм выдал кластер, в котором было всего 2 клиента. Но внимание привлекла сумма оборота по этому кластеру за небольшой период. Казалось бы, ну покупают люди много разнообразных продуктов и товаров.
Еще одной интересной деталью было то, что много чеков проводились с разницей в несколько минут. Когда же отследили этих клиентов в базе программы лояльности, оказалось, что владельцами двух дисконтных карт были сотрудники магазина.
Вопрос: может сотрудники таким образом склоняли клиентов к покупке? или зарабатывали себе дисконтные баллы? или продавали товар по полной стоимости, а разницу присваивали, то есть, мошенничали?
Кластерный анализ на Forex или Как вычислить Кукла
Доброго времени суток.
Форекс трейдеры, как правило, используют классическое отображение графиков в виде свечей или баров. Благодаря такому виду данных, можно посмотреть общую информацию о свече (баре), такую как, например, цены открытия и закрытия, а также максимум и минимум. Но является ли данная информация полной? Как нам узнать, что происходило внутри свечи и спровоцировало ее образование. Какое количество контрактов было продано и куплено по каждой из ценовых котировок? Ведь эти данные могут существенно помочь нам понять ценовое движение и прогнозировать его дальнейшее движение. Такое метод графического отображения и анализа существует и называется он Кластерный Анализ. Об этом мы сегодня и поговорим.
Что такое Кластерный анализ
Кластерный анализ – это сравнительно молодое направление анализа графика ицены. Как известно, до 2004 года информация об объемах на горизонтальных ценовых уровнях была недоступна для трейдеров. С появлением такой возможности были разработаны специализированные компьютерные программы, позволяющие трейдеру оценивать формирование торговых объемов, а также разницу между ордерами на покупку и продажу внутри баров и использовать эту информацию в торговле. Сделать кластерный анализ объема за определенный период времени, значит заглянуть внутрь свечи определенного временного интервала и посмотреть, как в ней формировался объем. Т.е. заглянув вовнутрь свечи, мы можем определить, какое количество объема было куплено или продано по конкретной цене.
График отображает детальную информацию о покупателях и продавцах. На рынке всегда есть покупатели и продавцы, и торговый процесс — это столкновение противоположных интересов: продавец хочет продать дороже, а покупатель — купить как можно дешевле. И когда они сходятся на определенном ценовом уровне, устраивающем обе стороны, они заключают сделку по текущей цене — другими словами, создают тик, который мы привыкли видеть на графике. Кластер — это ценовой бар, только не в привычном для трейдера формате. Он отображает ценовые уровни, на которых виден объем сделок.
Мы можем наблюдать на кластерном графике следующую информацию:
Где смотреть данные?
В отличии от Форекс, все данные по инструментам, торгуемым на бирже, могут исходить только от одного источника, соответственно эти данные (цена/объем) не могут различаться независимо от того, как и где они были получены, при условии конечно, что получены они были с биржи и не фильтровались.
Существует много разных платформ, в которых можно представить график в виде кластеров. Сегодня мы рассмотрим одну из самых популярных платформ, к тому же еще и бесплатную, которая называется Ninja Trader.
Установка и настройки
http://ninjatrader.com/ru/ – тут можно зарегистрироваться и скачать платформу. Для этого следует указать e-mail, фамилию и имя, номер телефона (латиницей). Я указываю настоящие данные, на мобильный номер не звонят, не спамят. На почту приходят логин и пароль, требуемые для настройки подключения.
Также вы можете ускорить процесс регистрации с помощью сайта http://getanyplatform.com/
По настройке подключения Ninja Trader 7 инструкция тут
Необходимые дополнительные индикаторы для программы вы можете скачать в конце этого поста.
Индикаторы добавляем через Control Center->File->Utilities->Import Ninja Script
Далее нажимаем Да в выпавшем окне и добавляем архивом скачанные индикаторы.
Шаблон нужно скопировать с расширением XML в папку Библиотеки->Документы->Ninja Trader 7->templates->Chart.
Шаблон рабочего графика скачиваем по ссылке в конце поста.
Тут есть различные настройки графиков и индикаторов, по ним будет отдельная тема. Ну а кластерный график в Ninja Trader тоже имеет ряд настроек, у меня он выглядит как на скрине ниже – это общая картинка, если приближать ее, то будет видно кластера по каждой цене.
Подсветки клеток выставляются отдельно, т.е к примеру >200 контрактов красный цвет, >100 контрактов – розовый и т.д. Это делается для наглядности, чтобы не держать график в увеличенном размере и отслеживать кластера, а так по цвету, можно сразу определять, что там объемы больше заданного количества, а уж если надо конкретнее, тогда уже приближаем и смотрим, сколько конкретно контрактов прошло в этом кластере. Для каждого таймфрейма нужно подбирать, какое значение кластеров будет подсвечиваться цветом, так если значения для м5 посмотреть на м60, то график просто будет одного сплошного цвета.
Применение в торговле
Рассмотрим очень хороший рабочий классический графический паттерн – слом тенденции и вход на коррекции, при тесте с учетом крупных пробойных объёмов (крупных кластеров) схематично он выглядит так:
На каких валютах возможно использовать кластерный анализ?
Сразу хочу заметить, что не на все валюты есть фьючи для анализа, так что те, кто любят торговать экзотику, не смогут найти все требуемые котировки. Ниже список и кодировка фьючерсных контрактов на валюты, доступные в ниндзе:
Также стоит отметить, что на фьючах все валюты являются базовыми в котировке, и в данном случае доллар рассматривается по отношению к другим валютам. Поэтому при анализе фьючерсов на валюты следует это учитывать. Вот пример:
Это доллар/канадец на форексе и канадец/доллар на фьючерсах. Аналогичное явление и с японской йеной.
Примеры торговли
Как мы видим на скрине ниже (6E-фьючерс евро), был слом тенденции с формированием объемного накопления после пробоя, далее идет движение вниз и последующий возврат к объемной зоне, где начинают появляться крупные кластера. Здесь мы ищем вход с довольно небольшим стоп-лоссом. Конечно же, нужно использовать частичное закрытие позиции на ближайшем уровне, а остальную часть позиции переводить в безубыток. Далее стоит наблюдать за дальнейшим развитием трейда.
Ниже то же самое место в МТ4. Мы видим, что данный вход обоснован имеющимися объемами, и стоп поставлен не просто, а спрятан за объемные зоны, и если там находится действующий продавец, то он будет защищать зону своего входа, что дает нам статистическое преимущество более чем 50/50.
Вот паттерн на покупку:
Еще один пример отработки сигнала на продажу:
Дополнительная информация
Еще хочу обратить внимание, что если при возврате цены к пробойному месту, где были крупные кластера, нет нужной реакции, не появляются объемы и цена довольно легко проходит это место, то скорее всего это был ложный вынос для сбора стопов и получения необходимой ликвидности.
На схеме это выглядит так, обычно это может появляться на значимых и исторических уровнях и возле хороших уровневых наторговок:
Вот пример из ниндзи:
Ниже мы видим, что можно провести уровни, подтвержденные объемом, и получить зону сопротивления, которая впоследствии была пробита. При возврате цены нет ни крупных кластеров, ни остановки цены в месте пробоя. Поэтому можно предположить, что произошел захват ликвидности на стопах покупателей и тех, кто входил на пробой уровня.
Вот еще пример, где захват произошел буквально одной свечой:
После данного ложного движения мы могли наблюдать очень хорошее внутридневное движение с хорошим соотношением sl/tp.
Не стоит забывать, что анализ входа в данном случае делается по фьючерсу евро (6E), а фьючерс – это производный финансовый инструмент, стандартный срочный биржевой контракт купли-продажи базового актива, при заключении которого стороны (продавец и покупатель) договариваются только об уровне цены и сроке поставки. Остальные параметры актива (количество, качество, упаковка, маркировка и т. п.) оговорены заранее в спецификации биржевого контракта. Стороны несут обязательства перед биржей вплоть до исполнения фьючерса. Контракты евро имеют статус расчетные, с поставками в марте, в июне, в сентябре и в декабре. Котировки фьючерса и форекс спота всегда отличаются. Особенно когда осуществляется переход на новый контракт, то разница в котировках может составлять до 50п., она со временем уменьшается до 10-15 п. Хочу обратить внимание, что при анализе входа нужно обращать внимание не на конкретный ценовой уровень, а на структуру движения инструмента в целом, потому что она, как правило, повторяется.
Заключение
Как видно из приведенных примеров, кластерный анализ дает нам возможность входить более осмысленно от уровней поддержки и сопротивления, т.к. это не просто мифические линии, который каждый может нарисовать немного по-своему, а зоны, которые подтверждены объемом.
Разумеется, кластерный анализ рынка достаточно сложен, в нем существует множество тонкостей, которые трейдеру следует научиться замечать и учитывать, так сказать, невооруженным глазом. Однако при правильном подходе, кластерный анализ может стать отличным инструментом, позволяющим понимать рыночную ситуацию и принимать взвешенные и наиболее верные торговые решения.
Кластерный подход в розничной торговле
Или искусство найти «хвост», на который можно сесть
Концептуальная заметка
Кластер – это группа географически соседствующих взаимосвязанных компаний, действующих в определенной сфере и взаимодополняющих друг друга
Жизнь уплотняется. Болезнь под названием «Некогда!» становится хронической. И все, что позволяет сэкономить нам время — особо привлекательно. Если это торговые операторы на рынке, то они становятся носителями важного конкурентного преимущества. Понимая это или действуя интуитивно, они соединяются в подобия кластеров. Таким образом, логичен успех супермаркетов, где в одном строении собраны товары и услуги самых разных назначений – и продукты питания, и одежда, и лекарства, и бытовая химия, и химчистка, и пункт приема оплаты чего угодно…
Но мы сейчас не о крупных торговых операторах. Им кластеризация не нужна. Как видно из определения кластера, данного Портером, там должен быть принцип взаимодополнения. Чем должен дополниться магазин, в котором все есть?
Речь наша пойдет о небольших торговых предприятиях – салонах красоты, магазинах, кафе и ресторанах, пунктах бытовых услуг и т. д.
Думаю, кластер – прекрасный способ выживания малых предприятий и в условиях кризиса, и в условиях конкуренции с гигантами.
Перед тем, как перейти к основному содержанию заметки, коротко остановимся на трех самых важных для торговли признаках кластера, выведенных М. Портером.
Во-вторых, это действия в определенной сфере. Под этим будем понимать направленность интересов клиентского трафика на соответствие одной из его жизненных «озабоченностей», как например:
В-третьих, это принцип взаимодополнения. Именно он и экономит время клиента, позволяя собрать в одном месте максимальное количество операторов, удовлетворяющих спрос представителя одной из жизненных ролей, примеры которых приведены выше.
Если понять все возможности кластера и начать его осознанно формировать, то, как и в любом осознанном действии, надо начать с целеполагания. Думаю, достойной целью в нашем случае может быть обеспечение высоких темпов развития предприятий, образующих кластер, за счет повышения их конкурентоспособности.
Если быть конкретной, то приведу те основные выгоды, из которых складывается эта самая конкурентоспособность:
Справедливости ради надо привести и возможные риски участия в кластере:
Структура кластера обычно такова: один специализированный якорный участник, который и генерит трафик клиентов конкретной жизненной роли (за счет своей специализированности). Остальные – садятся ему «на хвост». Например, в непосредственной близости с большим магазином «Ткани» на Ленинском проспекте в Москве в свое время в 2005 году я насчитала 12 торговых палаток, торгующих фурнитурой, шерстью для вязания, а также товарами для рукоделия.
Даже если якорный участник и некоммерческое предприятие, ничего не меняется. На «хвост» ЗАГСа могут «сесть»: ювелирные салоны, рестораны и кафе, цветочные салоны и флористические мастерские, ателье, магазины косметики и парфюмерии, салоны красоты и свадебных платьев, СПА, магазины подарков, пункты проката лимузинов…
В качестве примеров
Возможные участники кластеров:
для владельцев домашних питомцев:
для озабоченных своим автомобилем:
Думаю, что кластер совершенно логично рассматривать как форму кросс-промоушн. И тогда принципы выбора соседей будут те же, что в партнерском продвижении:
В качестве заключения
И даже если вы не планируете участвовать ни в каком трафикоообразующем соседстве с другими торговыми предприятиями шаговой доступности, не забудьте посмотреть на соседей, чтоб не получилось как здесь: