SimAB: возможности и ограничения инструмента для симуляции A/B-тестов
SimAB: возможности и ограничения инструмента для симуляции A/B-тестов Рон Кохави обсудил скептическое отношение к синтетическим пользователям в контексте использования инструмента SimAB. Система позволяет проводить симуляцию A/B-тестов с помощью AI-агентов, обученных на исторических данных. Точность модели достигает 67% на исторических экспериментах, а в случаях с высокой достоверностью — 83%. SimAB может быстро оценить дизайн и выявить явные недостатки, например, проблемы с юзабилити или запутанные тексты. Однако инструмент не подходит для оценки радикальных идей и не может заменить полноценные A/B-тесты. Его основная сила — в возможности отсеивать неудачные концепции на ранних этапах разработки. Модель предсказывает победителя варианта, но не определяет размер эффекта с доверительным интервалом. Кроме того, генерируемые персонажи не являются независимыми, поэтому мера «значимости» должна быть переименована в «синтетический консенсус». Ссылки из исходного поста: В дискуссию врывается Рон Кохави | SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation. Материалы по ссылкам: 1. #abtesting #syntheticusers #siliconsamples #causation | Ron Kohavi SimAB — инструмент для быстрой оценки дизайна с помощью AI-агентов, обученных на исторических данных A/B-тестов. Точность модели составляет 67% на исторических экспериментах, но она может быть ограничена для радикальных идей. Инструмент не заменяет полноценные A/B-тесты, но может служить для отсеивания неудачных концепций на ранних этапах разработки. Модель предсказывает победителя варианта, но не размер эффекта с доверительным интервалом. Персонажи, генерируемые в пакетах, не являются независимыми, поэтому мера «значимости» должна быть переименована в «синтетический консенсус». https://www.linkedin.com/posts/ronnyk_abtesting-syntheticusers-siliconsamples-share-7475431218621124608-3kKl?rcm=ACoAAA9Lh7gBb2UDk5uyWZfDLrQ7ZPt8KVolZCs 2. SimAB: Simulating A/B Tests with Persona-Conditioned AI Agents for Rapid Design Evaluation SimAB — система, которая позволяет проводить симуляцию A/B тестов с помощью AI-агентов, обусловленных персонами. Система использует скриншоты дизайна и цель конверсии для генерации пользовательских персон, которые выражают свои предпочтения. Система оценивается на 47 исторических A/B тестах с известными результатами, достигая 67% общей точности и 83% для случаев с высокой достоверностью. SimAB поддерживает более быстрые циклы оценки и быстрый скрининг дизайнов, которые трудно оценить с помощью традиционных A/B тестов. https://arxiv.org/abs/2603.01024 Источник: оригинальный пост