Онлайн курс Симулятор А/В тестов от Karpov Courses

Курс понравился
Экономист по образованию, работал 8 лет в одном и том же банке, как окончил универ. Изначально работал кредитным инспектором, андеррайтером, оценивал всякие дорогие машины и дома в залогах, выезжал на бизнес клиента — лесопилки, молочные фермы… В общем такая неинтересная банковская специфика. Ещё писал роботов на RPA, чего только не делал :)
Потом постепенно перешёл в аналитику (от VBA/Excel до ML/PySpark), так как хотелось автоматизации и ухода от рутины + благодаря прошлому опыту неплохо понимал устройство банковской сферы и слабости/возможности наших продуктов. Считаю прикладной опыт в области более важным, чем хард скиллы (с оговорками, конечно). Последние полтора года работал лидом небольшой команды аналитики в том же банке.
Проводил A/B-тесты на работе, но больше со стороны бизнес-заказчика, без возможности технической реализации. При этом по своей инициативе писал Python скрипты для проверки «соседей», пытался разобраться в специфике. Много всего смотрел, читал даже «Trustworthy Online Controlled Experiment», но почти не понимал, как это применить в жизни. Теперь после симулятора — думаю, что понимаю. Конечно, в реальности всё гораздо сложнее :)
Недавно пришлось покинуть организацию, появилось свободное время + зарубежные компании требуют этот навык. В wait листе на курс был давно, но продвинутую, к сожалению, так и не дождался. Теперь думаю и её приобрести, когда появится.
Самое главное — это структура! На этом уже можно закончить :)
Десятки ранее просмотренных видео, сотни часов контента (без преувеличения) не давали такого ощущения, что всё по полочкам. Примерно до 12-го урока я прямо «преисполнялся в знании», что всё получается, всё могу. Писал бывшим коллегам в стиле «вон оно как!», советовал. Два предпоследних урока немного тяжелее пошли, планирую вернуться к ним, закрепить. Старался каждое занятие переводить формулы из таблиц в Python скрипты, что вызывало эйфорию, когда все сходилось. И это даже лучше, чем если бы дали готовое решение.
Получается, что прошёл симулятор за 5 дней (я и отдыхал, если что). Но оговорюсь, что до этого очень много смотрел ваши видео и читал прочих хаброписцев. Был западающий момент, когда на конференции показывают, например, ту же CUPED, но тяжело продраться через формулы, перематываешь обратно туда-сюда, вроде бы понял, а как проверить? А у вас посмотрел формулы и понимаешь, что абсолютно ничего сложного в этом нет (кстати, хотелось бы понять разницу между курсом и жизнью).
Планирую дать посмотреть курс супруге (она что-то около продакта/проджекта). Она «с нуля», и очень интересно, что она скажет.
Спасибо преподавателям, не было желания Вас перематывать (sic!) :)
Александр показался очень компетентным и, я бы сказал, человечным, говоришь с ним на одном языке. Боялся математики, а там так все разжёвано, очень доволен! Все недостатки расписал ранее в отзывах к урокам.

Интересный опыт
В IT и в разработке я давно. Больше 10 лет опыта в 1С. В последние 2 года переключился в Data Science. Сейчас работаю в роли DS над созданием рекомендательных систем в ритейле.
A/B-тесты давно не давали мне покоя. Коллеги в индустрии говорят об их важности. В вакансиях отмечают пунктом «должен уметь». Но в сети практически нет последовательных материалов как разобраться в этой теме. Читал статьи, смотрел видео, а картинка «как именно делать по шагам 1-2-3» так и не складывалась.
Симулятор как раз закрыл этот пробел. Буквально на пальцах объясняется «что делать», «как делать» и «почему делать». Без лишнего углубления в математику. После симулятора у меня сложился пазл в голове. Прочитанные раньше статьи и просмотренные видео встали на свои места.
Как делать дизайн эксперимента, на что обращать внимание
Как правильно делить пользователей на группы
Как проводить А/А и А/B симуляции перед самим тестом, и почему этот шаг нельзя пропускать.
Как контролировать ошибки I и II рода, и как убедиться, что мы их контролируем
Как правильно оценить время и размер групп для эксперимента
Как статистически обосновано принять решение, что группа B лучше, чем группа A, или не лучше.
Как правильно тестировать конверсии, средний чек и в чем там подвох И еще много других «Как».
Прикольно, что сначала очередную идею доносят без кода на Python в простых табличках. Меня это даже сначала оттолкнуло. Зачем? Я же не буду в Excel считать?! Даже часть заданий я все равно сделал, написав код :) #Яжепрограммист.
Но это оказалось интересно. Не отвлекаясь на код, я понял суть и порядок шагов. А дальше уже докинули и шаблоны кода на Python, и задания попрактиковаться. Так что к пазлу в голове у меня добавились и шаблоны кода для внедрения.
Сейчас работаю над тем, чтобы применять эти навыки у себя на работе и привнести культуру правильных A/B-тестов в наши проекты.

Хороший разбор и удобная собственная платформа для тестов
Я закончила НИУ ВШЭ 2,5 раза: прервала свой университетский путь посреди аспирантуры :) Сейчас работаю там же на исследовательской позиции, мы занимаемся экспериментами.
Коллега нашла этот курс и посоветовала мне. Все мы когда-то слушали лекции Анатолия на Степике :) На тот момент я планировала подавать резюме на продуктовые вакансии, поэтому для меня программа оказалась актуальной.
Хороший разбор на пицце, удобная собственная платформа для тестов. Объяснения в тексте понятные, я много конспектировала. Я получала удовольствие даже от решения простых задач. Как ни странно, понравился финальный тест — было ощущение прохождения босса.
Теперь могу написать в резюме, что разбираюсь в А/В-тестах на базовом уровне. Планирую перепройти курс ещё пару раз, когда будут конкретные задачи на работе, поэтому благодарна, что доступ к нему не закрывается.