что такое закрытый бета тест
говориМ о тестировании
простым языком
Виды тестирования по времени проведения
Кроме того, он может быть в принципе готов “выйти в свет”, но было бы неплохо посмотреть на него глазами конечных потребителей.
Именно это и послужило причиной деления тестирования на альфа и бета тестирование. По тому же принципу делятся и пользователи, которые проводят данные виды тестирования. Подробнее обо всем в статье.
Альфа и бета тестирование являются одной из форм приемочного тестирования. То есть ошибок на этом этапе тестирования уже быть не должно. Скорее наоборот, программа должна быть максимально рабочей и пригодной для использования.
Про уровни тестирования подробно говорили тут.
Альфа-тестирование
После подготовки отдельных модулей продукта, они объединяются в единое целое. Это еще не готовая версия, но она уже способна работать и выполняет свои основные задачи (иногда частично). Этот вариант программы и называют альфа-версией.
Альфа-тестирование (alpha testing) – это вид приемочного тестирования, которое обычно проводится на поздней стадии разработки продукта и включает имитацию реального использования продукта штатными разработчиками либо командой тестировщиков.
Обычно альфа тестирование заключается в систематической проверке всех функций программы с использованием техник тестирования «белого ящика» и «черного ящика» (подробнее о них тут).
Альфа-тестирование является методологией оценки качества и стабильности тестируемого продукта в тестовой среде.
На этом этапе основное внимание уделяется:
— Обнаружению ошибок,
— Вопросам по юзабилити,
— Различию в характеристиках,
— Проблемам совместимости/взаимодействия.
Фазы альфа-тестирования:
Альфа-тест обычно происходит в циклах, каждый из которых будет составлять примерно 1-2 недели. Количество циклов зависит от функций, включенных для тестирования, и количества проблем, обнаруженных на этом этапе тестирования.
Критерии входа:
Критерии выхода:
Преимущества альфа-тестирования:
Недостатки альфа-тестирования:
Бета-тестирование
По окончании работы с альфа-версией выпускается бета-версия. Она представляет собой реально работающую версию программы с полным функционалом.
Бета-тестирование (beta testing) – интенсивное использование почти готовой версии продукта с целью выявления максимального числа ошибок в его работе для их последующего устранения перед окончательным выходом (релизом) продукта на рынок, к массовому потребителю.
Бета-тестирование представляет собой реально работающую версию программы с полным функционалом.
Задача бета-тестов – оценить возможности и стабильность работы программы с точки зрения ее будущих пользователей. Поэтому, в отличие от альфа-тестирования, бета-тестирование предполагает привлечение добровольцев из числа обычных будущих пользователей продукта.
Такими добровольцами ( бета-тестерами) часто движет любопытство к новому продукту. Они вполне согласны мириться с возможностью столкнуться с ошибками. Кроме любопытства, мотивация может быть обусловлена желанием повлиять на процесс разработки и получить более подходящий им продукт.
Будет плюсом, если это люди, которые уже имеют опыт работы с программами такого типа, а еще лучше – с предыдущей версией этой же программы. Обычно у компаний уже есть определенный круг лиц, с которыми они постоянно сотрудничают.
Надо сказать, что разработчики не испытывают недостатка в желающих принять участие в такой работе. Многие люди хотят попасть в закрытую группу, первыми узнать о новых функциях продукта, пользоваться тем, чего нет в свободном доступе.
Наглядный пример набора бета-тестировщиков — социальная сеть Яндекс.Аура. Создатели сделали ограниченный доступ по ссылкам. Таким образом, в первые дни они набрали достаточное количество пользователей для первых тестов и закрыли набор. То есть каждый пользователь чувствовал себя там уникальным и с радостью помогал тестировать новый продукт. Продукт, к которому нет доступа больше ни у кого.
Кстати, этим пользователям еще присвоили особенные “метки”, которые говорят о том, что они первопроходцы. Это тоже отличный стимул быть тем самым первым пользователем.
Разные компании выполняют бета-тестирование по-разному. Есть 2 вида бета-тестирования:
Преимущества бета-тестирования:
Недостатки бета-тестирования:
Гамма-тестирование
Часть авторов (например, Святослав Куликов в своем учебнике “Тестирование программного обеспечения.Базовый курс”) еще выделяют третий вид тестирования — гамма-тестирование.
Гамма-тестирование (gamma testing) — финальная стадия тестирования перед выпуском продукта, направленная на исправление незначительных дефектов, обнаруженных в бета-тестировании.
Как правило, также выполняется с максимальным привлечением конечных пользователей/заказчиков. Суть этого вида вкратце: продукт уже почти готов, и сейчас обратная связь от реальных пользователей используется для устранения последних недоработок.
Стоит отметить, что, обычно, тестирование все же делят на альфа и бета без упоминания о гамма-тестировании.
Альфа и бета. В чем отличия?
Как видите, альфа и бета тестирование имеют разные цели и задачи. У каждого из них есть свои плюсы и минусы. Конечно, будет неплохо использовать оба этих метода, так как они приносят свои «плоды». Но это не всегда возможно и финансово обосновано.
Очень часто бета-тестирование практикуется в игровой сфере. Все же один из основных плюсов бета-тестирования — понимание того, нужен ли аудитории наш продукт и стоит ли его выпускать в релиз.
Кейс: закрытое бета-тестирование продукта с привлечением более 100 компаний
Опыт сервиса для электронного подписания документов KeepSolid Sign.
Меня зовут Юля, я маркетолог в KeepSolid. Мы разрабатываем security-&-productivity-решения для бизнес-клиентов и конечных пользователей. Наши продукты-флагманы — VPN Unlimited, Roadmap Planner и другие с общей базой в более чем 6 миллионов пользователей.
Новый продукт KeepSolid Sign — это кроссплатформенное приложение для электронной подписи и документооборота. На момент проведения беты он уже был больше, чем MVP, поэтому мы решили, что пора отдать его на растерзание пользователям.
Круто, когда при разработке собственного продукта ты можешь позволить себе провести бета-тестирование, как это сделал Hotjar (60 тысяч бета-пользователей за шесть месяцев).
Но у нас не было столько времени, ресурсов и бюджета. Продукт выходит на достаточно конкурентный рынок, и было необходимо понять заранее, что скажут наши первые пользователи. Более того, нам нужно было найти людей определенного рода деятельности и сфер бизнеса: тех, кто постоянно подписывает или отправляет документы на подпись.
В реальности на закрытую бету у нас было всего два месяца (на самом деле заняла она у нас полтора месяца), так как на сентябрь мы запланировали публичную бету приложения на четырёх платформах (iOS, Mac, Android, Windows) и выпуск веб-версии.
Сразу скажу, что мы проводили бету не ради массового нахождения багов или нагрузочного тестирования — для этого есть другие способы. Наши цели были следующие:
Определившись с целями, мы составили план тестирования: продумали этапы беты, создали лендинг для регистрации участников и разработали стратегию коммуникации с пользователями. Об этом расскажу дальше.
Вначале мы решили сделать бету закрытой, потому что хотели сами отбирать пользователей по конкретным критериями (в первую очередь нас интересовали определенные сферы бизнеса и страны).
Доступ к приложению давался эксклюзивно, что сыграло важную роль в дальнейшем общении с пользователями. Они были намного ответственнее, когда осознавали свою значимость.
Подготовив все необходимое, мы начали приглашать пользователей подать заявку для участия в бете. Для этого выбрали следующие ресурсы:
В результате мы получили 232 заявки (конверсия более 62% из тех, кто подал заявку, в тех, кто заполнил наш первый ознакомительный опрос). Конверсия 50% и больше в прохождении любого опроса — это уже неплохой результат по сравнению со средним benchmark.
Про Reddit стоит рассказать отдельно. Так как нам не нужны были просто пользователи, а необходимо было найти определенную ЦА (владельцев малого и среднего бизнеса (SMB), риелторов, HR-специалистов, финансистов и риск-менеджеров), мы выбрали сабреддиты по этим профессиональным интересам. Для сообществ мы подготовили питч заранее, ниже один из примеров наших публикаций:
Очень важно читать и следовать правилам сабредитта и этикету Reddit в целом, поэтому, если вы не уверены, соответствует ваша запись требованиям или нет, то лучше написать и спросить модераторов. Они отвечают очень быстро, и в девяти случаях из десяти мы получили разрешения на публикацию без угрозы бана, минуса в карме и прочего.
Также мы разместили оффер на тестирование приложения и в специализированных сабреддитах, собравших большое количество как профессиональных, так и начинающих тестировщиков и просто любителей. Но такими сабреддитами мы не увлекались — в приоритете была обратная связь от «наших» пользователей.
Несмотря на то, что Reddit принес нам меньше всего заявок (может намного больше, если работать с ним системно), он обеспечил нескольких пользователей с интересными кейсами, среди которых и потенциальный партнер в construction-индустрии США.
Мы начали с отправки приглашений стать участником бета-тестирования. Для этого все желающие должны были оставить заявку, заполнив первый ознакомительный опрос, включающий в себя общие вопросы: сфера работы участника, должность, возраст и так далее.
Также необходимо было понять, на каких платформах участник хотел бы использовать KeepSolid Sign. Так как для закрытой беты приложение было готово только на macOS, iOS и Android, пользователей Windows мы просили подождать до следующего релиза.
Мы обрабатывали заявки в реальном времени и отбирали подходящих участников. Сразу после этого отправляли письмо с подтверждением об участии, в котором были инструкции, как загрузить и начать пользоваться приложением.
У нас не было жестких инструкций для тестирования, так как целью было максимально приблизить сценарии использования к реальным. Для этого мы кратко описали, с чего следует начать (на то время наш onboarding-сценарий еще не был реализован).
Забегая вперёд, скажу, что нам удалось достичь желаемого результата: участники полноценно использовали приложение для своего документооборота, отправляя инвойсы, контракты подрядчикам и партнерам.
Спустя полторы недели мы связались с пользователями и предложили им выбор: заполнить наш онлайн-опрос (второй из трех) или пообщаться с менеджером по Skype. Естественно, хотелось как можно больше людей склонить к устному интервью (качество такого общения и полученных ответов намного лучше, чем при заполнении опроса).
Мы планировали провести минимум 10-15 таких интервью, даже выделили отдельного менеджера для выполнения этой задачи. Несмотря на подробное описание преимуществ живого общения перед заполнением опроса, нам удалось провести всего пять интервью.
Реализация идеи с интервью была провальной, поскольку участники еще мало знали про нас и наш продукт, чтобы комфортно общаться. Осознав это, мы предложили им все-таки заполнить опрос, и реакция последовала незамедлительно. Конверсия была выше, чем у тех, кому изначально мы предоставили возможность только онлайн-опроса.
Если вы хотите, чтобы пользователь совершил какое-то действие (например, заполнил опрос), то предложите ему худшую альтернативу (допустим, пообщаться с вами вживую).
Если вам все-таки удастся заманить клиента на звонок, делайте фоллоу-ап после разговора. Вы можете записывать диалог с клиентом, предварительно спросив его разрешения, и в фоллоу-апах отправлять эту запись. Это удобно, если вам нужно будет потом воспроизвести весь разговор или оформить отзыв пользователя о продукте как цитату на сайте.
Целью нашего опроса было понять, как участники удовлетворяют свои потребности в электронном документообороте и какие решения, инструменты для этого используют. Опрос состоял примерно из 15 вопросов, и конверсия из заявок на бету в заполнение этого опроса составила 25%.
Мы обрабатывали ответы в реальном времени и писали пользователям лично для уточнения или получения дополнительной информации. Почти все наши вопросы были закрыты.
После второго опроса мы оставили пользователей наедине с приложением еще на полторы недели, потом отправили им последний, третий опрос (конверсия к количеству заявок — более 23%). Он фокусировался непосредственно на нашем приложении и опыте работы с ним.
Все наши опросы содержали в себе определенное количество полей, обязательных к заполнению, хотя это и не лучшая практика. В нашем случае пользователи ответственно подошли к процессу, и показатель оконченных опросов был выше среднего. Некоторые вопросы мы задавали несколько раз, формулируя их по-разному, чтобы покрыть все интересующие нас аспекты. Среднее время на заполнение одного опроса составило 11-12 минут.
После окончания беты мы записали и отправили короткое благодарственное видео с менеджером, который общался с пользователем, а также заодно просили оставить отзыв о продукте через специальную форму.
Этот небольшой трюк принес нам волну положительных отзывов, которые появились на сайте. Кроме того, изначально мы обещали пользователям безлимитную подписку на продукт на год и активировали её сразу после окончания беты.
Мы смогли достичь тех целей, которые ставили себе до начала тестирования. Однако есть вещи, которые стоит учесть заранее:
В целом мы получили много инсайтов о том, как пользователи подписывают и работают с документами. Например, более 30% компаний-участников в развитых странах всё ещё печатают, подписывают и сканируют документы. Хотя это во многом зависит от индустрии и законодательного регулирования на уровне штата и государства. Процент использования электронных подписей в США и Великобритании выше, чем, например, в Польше.
Более того, пользователи помогли нам определиться, что стоит протестировать в качестве основного УТП — кроссплатформенность продукта, которая влияет на скорость приложений и позволяет работать с документами в офлайне.
Данные не говорят нам ни о чем, и в целом этот вопрос можно убрать или перефразировать в открытый, который принесет больше инсайтов. Например, «Каково ваше первое впечатление о продукте?» или «Какое главное преимущество приложения, на ваш взгляд?». Вопрос на скриншоте целесообразен, если вам нужно определить самое узкое место в продукте и в дальнейшем углубиться в проблему.
Если вам нужно понять, как лучше монетизировать продукт, или вы хотите пересмотреть текущую монетизацию, то логично спросить об этом пользователей. Только не стоит задавать вопрос «Готовы ли вы были платить за продукт, если бы он уже был на рынке?» или «Сколько вы готовы заплатить за такой продукт?» (мы задали оба вопроса).
Многие пользователи скажут вам, что они готовы платить и даже назовут сумму, но клиенты далеко не всегда прогнозируют свои действия правильно. Лучше задать вопрос о том, какой бюджет выделен на решение той или иной проблемы или сколько компания уже платит за её решение.
Для составления портрета клиента рекомендую воспользоваться специальным бесплатным шаблоном от Hubspot.
Шаблон поможет организовать все данные о пользователе, которые у вас есть, в несколько слайдов: от соцдем-характеристик, задач и проблем клиента до типичных возражений и страхов при покупке продукта.
Используя такой структурированный подход для каждой персоны, вы сможете расписать месседж, elevator pitch и подготовить ответы на основные возражения. Начните с определения критериев, по которым вы будете разделять клиентов. Например, для нас такими ключевыми моментами были размер компании, должность и индустрия.
Далее подготовьте список необходимых вопросов и задайте их клиентам: с помощью небольшого опросника по почте, в соцсетях или непосредственно в интерфейсе продукта, в устном интервью или даже при личной встрече.
Во время обработки полученных данных, скорее всего, вы столкнетесь с тем, что персон у вас будет больше, чем вы предполагали, поэтому стоит их дробить. Например, изначально мы не думали, что индустрия, в которой работает клиент, будет сильно влиять на особенности документооборота и требования к электронными подписям.
Собрав данные и пообщавшись с пользователями, оказалось, что это один из важных критериев, и почти под каждую из индустрий был создан отдельный портрет клиента. Аналогично будет и с основными странами, где мы будем работать, но данных для этого у нас ещё недостаточно.
Пожалуй, самый важный вывод, который мы сделали — продукт конкурентоспособен и коммерчески перспективен. Следующая задача — сделать его коммерчески успешным.
Закрытый бета-тест (ЗБТ)
Как в киберспорте понять: закрытый бета-тест?
Где используется термин ЗБТ (закрытый бета-тест)?
Закрытый бета–тест или ЗБТ – это испытание практически готовой вариации нового игрового проекта тестерами и авторами. Выражение ЗБТ применяется разработчиками «Танков онлайн», а также геймерами по отношению к обновленному проекту «Танки Х».
Турнир:
Лига Европы. Групповой этап
Все большую популярность наряду с традиционными видами спорта набирают ставки на.
Реальная возможность заработка на виртуальных играх – это ставки в Dota 2. Играть можно по.
Несмотря на то, что опыт работы с реальными видами спорта прогнозисту в.
Киберспорт бешеными темпами набирает популярность, растет уровень технической и.
Что такое в киберспорте Bs? Как переводиться полная версия данной аббревиатуры? Bs – это сленговое выражение, применяемое в.
Как понять выражение «не пугайте страусов» в киберспорте? Какова полная версия термина «не пугайте страусов»? Где.
Omgwtfbbq, что это в киберспорте? Откуда пошло это выражение? Термин omgwtfbbq – непереводимый киберспортивный термин.
Что такое трипла в киберспорте? Что дает трипла в игровом процессе? Кем популяризировалось ведение игры в рассматриваемом.
Скорость развития индустрии нередко приводит к тому, что букмекеры и игроки.
В теннис можно играть один на один (одиночный разряд) и парами (парный разряд). Чаще.
В футболе, хоккее, баскетболе, теннисе и других видах спорта существует вид ставок на тотал, который называется.
Как любая активная игра, волейбол нуждается в специальной одежде и экипировке. В первую очередь это.
MMORPG Календарь БЕТА-тестов
Закрытое бета-тестирование (ЗБТ)
Главную цель, которую ставят разработчики и издатели, проводя закрытый тест — выявление всех ошибок и неточностей, которые они могли упустить. Если вам удастся попасть на Бету, то возможно вы заметите: ошибки в переводе, нерабочее умение или NPC, плохо работающий квест и прочее. В таком случае, обязательно сообщите об этом администрации через форму обратной связи.
Есть и второстепенные причины, почему игрокам стоит стремиться на закрытый бета-тест. Это, конечно же, шанс изучить новую игру раньше других игроков. Представьте, у вас будет время (обычно сроки продолжительности ЗБТ составляют от 3 до 14 дней) научиться играть в новую онлайн игру еще до её официального выхода (ОБТ).
Как правило, проходит несколько этапов ЗБТ, куда попасть сможет не каждый. Чтобы стать тестером необходимо: выиграть ключ в конкурсах, приобрести набор раннего доступа или просто подать заявку на участие на официальном сайте игры и надеяться на удачу. Количество игроков на подобных тестах может варьироваться от нескольких сотен до десятков тысяч. После всех закрытых этапов тестирования происходит полное обнуление (вайп) и через некоторое время игра переходит в режим ОБТ.
Открытое бета-тестирование (ОБТ)
Финальная стадия тестирования игры. В современном мире MMORPG в России, ОБТ — это и есть релиз игры. То есть открытое бета-тестирование приравнивается к полноценному запуску. Обычно попасть на открытое бета-тестирование может любой желающий бесплатно, либо, если игра платная, то оплатив подписку.
Что такое закрытый бета тест
Участие в бета-тесте предлагает возможность попробовать обновления, прежде чем они официально будут выпущены, с целью обеспечения обратной связи с разработчиками. Некоторые бета-релизы могут содержать ошибки или отличия от стандартного функционала. Всегда читайте журнал изменений, прежде чем решиться на участие в бета – тестировании.
Чтобы принять участие или отказаться от бета-теста клиента, нужно открыть клиент Steam и нажать на кнопку Steam расположенную в меню в левом верхнем углу, затем выберите Настройки.
Если открытое бета-тестирование уже доступно или вы уже принимаете участие, это будет отображено в разделе Бета тестирование на странице Настройки. Для изменения вашего статуса участника бета-теста нажмите кнопку Сменить..
После того как вы нажали Сменить появится окно с выпадающим меню. В меню вы
сможете выбрать один из доступных бета-тестов. Вы также сможете выбрать отказ от всех бета-тестов выбрав соответствующий пункт меню.
Когда вы сделали свой выбор, нажмите кнопку ОК.
Вам необходимо перезагрузить Steam. После перезапуска, клиент начнёт обновление.
Если вы решили принять участие в бета-тесте, вы будете получать обновления беты пока период тестирования не закончится или пока вы не откажетесь от участия. Список изменений для бета-обновления можно найти в разделе «Обьявления» группы Steam Client Beta, также здесь можно оставить ваши отзывы или отчеты об ошибках.
На странице настроек выберите опцию Система.
Установите флажок Участие в бета-тестировании клиента на странице Система меню настройки, чтобы принять участие в последнем бета-тесте. Вы можете отказаться от бета-теста в любое время, удалив флажок.
После того как вы установили флажок, клиент нужно перезапустить. Будут скачаны и установлены последние обновления доступные в бета-тесте.
Иногда разработчики выпускают бета-обновления для своих игр или программного обеспечения, для получения которых требуется участие пользователя в бета-тесте. Вы можете принять участие в бета-тесте продукта, щелкнув правой кнопкой мыши по названию игры или программного обеспечения в вашей библиотеке и выбрав строку Свойства.
В окне свойств выберите вкладку под названием БЕТА-ВЕРСИИ. На этой странице выберите в выпадающем меню один из доступных бета-тестов. Если вы уже принимаете участие в тестировании, вы можете отказаться, выбрав соответствующий пункт меню.
Если вы выбрали закрытый бета-тест, который требует код доступа, вам нужно ввести его в поле кода доступа под выпадающем меню. При нажатии кнопки Проверить код появиться сообщение, если вы не ввели код или ввели правильный код.
Как только вы сделаете свой выбор, закройте окно свойств, нажав кнопку Закрыть. После закрытия окна, начнется обновление до последней доступной версии, если вы отвечаете требованиям.
Если вы используете Steam Big Picture, то для входа в бета-тест продукта необходимо выбрать продукт из вашей библиотеки, в модуле ССЫЛКИ И ПРОЧЕЕ выберать пункт Выбрать бета-версию.
Выберите соответствующий бета-тест в выпадающем меню и нажмите кнопку Закрыть. Если вы уже принимаете участие в бета-тесте, вы можете отказаться от участия, выбрав соответствующий пункт меню.
После закрытия окна, начнётся обновление до последней доступной версии бета-теста, если вы отвечаете требованиям.