Что такое АБ-тест и как его правильно провести
A/Б-тестирование — это эксперимент для выбора из нескольких (чаще — двух) вариантов более эффективного. Например, из двух вариантов рассылки, страницы сайта, карточки товара в интернет-магазине. Тест помогает принять решение, основываясь на цифрах. Полезен когда:
- Коллеги не договорились: владелец продукта за одно, дизайнер за другое, маркетолог за третье.
- Нужно принять решение относительно дорогостоящего изменения.
- Выбирается алгоритм товарных рекомендаций среди разных сервисов.
- Страшно менять что-то сразу, «а вдруг не пойдет».
В статье поделимся историями успеха и расскажем, как поэтапно провести A/Б-тест, без чего он бесполезен, как исключить погрешность, какие инструменты помогут анализировать результат и как ошибку поможет найти А/А-тест.
Примеры A/Б-тестов с пользой для бизнеса
Результат успешного теста — выбор варианта-победителя и улучшение конверсии.
- Маркетолог сети винных супермаркетов «Ароматный мир» убедился, что промокоды увеличивают выручку, но размер промокода не имеет значения.
- Интернет-магазин «Первый мебельный» улучшил показатели рассылок на 25%.
- Обувной ритейлер kari сэкономил 19% бюджета на SMS-рассылках.
Ссылки на материалы дублирую в конце статьи.
Этапы проведения эксперимента
Выделим этапы проведения A/Б-тестирования и подробно остановимся на каждом:
- Определение точки роста и выбор метрик.
- Составление гипотезы.
- Определение размера тестовой выборки.
- Проверка сбора данных по метрике.
- Запуск теста и снятие результатов.
Определение точки роста и выбор метрики
Для определения точки роста важно понять, что хочется улучшить и с помощью какой метрики измеряется улучшение. Например, вы обратили внимание, что транзакционное письмо об оформлении заказа редко открывают.
- Доход
- Количество заказов
- Средний чек
- Процент открытия писем
- Повторные покупки
- Количество линий чека в заказе
Составление гипотезы
Определив точку роста, выберем, что улучшать. Без гипотезы тест бесполезен. В идеале гипотеза содержит ожидаемое увеличение. Тестировать можно дополнительные блоки, обращения, цвета, размеры текста, формы и дизайны. Ниже примеры гипотез наших клиентов.
Гипотеза | Варианты | Метрика |
---|---|---|
Эмодзи в теме письма увеличивают открытия на 2% | С эмодзи и без эмодзи | Открываемость |
Блок сопутствующих товаров в карточке товара увеличит средний чек на ~10% | С блоком сопутствующих товаров в карточке и без | |
Попап на сайте с бесплатной доставкой увеличит конверсию в заказ на 4% | С попапом и без попапа | Количество заказов и выручка |
Определение размера тестовой выборки
Для каждого тестирования нужен определенный размер выборки, чтобы получить статистически значимый результат. Статистическая значимость — это оцененная мера уверенности в том, что полученный результат не случайность. Это важно, потому что без статистической значимости случайное совпадение можно ошибочно принять за успех варианта. Результат — неверное бизнес-решение.
Например, доля открытых писем в рассылках составляет 20%. Если хотите увеличить показатель на 25% с помощью изменения, понадобится выборка минимум из 2000 человек. Необходимый размер выборки рассчитывается с помощью калькулятора A/Б-тестов. Подробнее — в блоке «Инструменты для тестов».
Проверка сбора данных по метрике
Перед запуском теста убедитесь, что нужная метрика собирается. Например, настроена цель в Google Analytics, или запущен эксперимент в Google Optimize, или собирается информация о выручке в сводном отчете по рассылкам Mindbox.
Если предполагаете, что возникла погрешность и результаты связаны не с тестируемыми вариантами, а с особенностями выборки, попробуйте А/А-тестирование.
А/А-тест как способ проверить правильность деления на группы
А/А-тест — это разновидность эксперимента, когда варианты одинаковы. Если, несмотря на идентичность, показатели вариантов отличаются, значит где-то ошибка.
Например, ошибка может быть в распределении участников эксперимента. В одной группе участники покупают товары чаще, чем в другой. Ошибка может быть в сборе данных: на каком-то этапе передачи информация теряется. Есть сомнения — используйте А/А-тестирование.
Снятие результатов
По окончанию тестирования снимите результаты и посчитайте статистическую значимость теста. Вариант, который статистически значим и отличается в лучшую сторону (например, заработал больше денег), считается победителем. Чтобы рассчитать результат, воспользуйтесь калькулятором A/Б-тестирований, о нем ниже.
Инструменты для настройки тестов
Рассмотрим инструменты для A/Б-тестирования:
Калькулятор A/Б-тестирований
Бесплатный сервис «Калькулятор достоверности A/Б-тестирований» помогает высчитать нужный размер выборки для статистически достоверного эксперимента и подвести итоги. Введите цифры своего эксперимента — и увидите результат.
Google Optimize
Google Optimize — бесплатный инструмент Google для тестирования сайтов. Настраиваете несколько вариантов сайта и запускаете тестирование. Инструмент используется в связке с Google Analytics: оттуда Optimize берет информацию по показателям, таким как доход, количество транзакций и так далее.
Как настраивается A/Б-тестирование в Mindbox
В Mindbox можно тестировать между собой рассылки, акции и алгоритмы рекомендаций. Тестирование настраивается через интерфейс. Для этого определяется целевое действие, размер выборки и желаемый рост конверсии. Подробнее в статье «Как настроить Контрольную Группу и A/Б-тестирование в рассылке».
Резюме
Чтобы доказать эффективность изменений и провести классный A/Б-тест, нужно:
- Определить точку роста и метрику.
- Составить гипотезу. В идеале — с ожидаемым приростом нужной метрики.
- Определить размер выборки для тестирования.
- Убедиться, что нужные данные собираются. Если сомневаетесь, попробуйте А/А-тестирование.
- Снять результаты спустя время. Проверить статистическую значимость калькулятором достоверности.
Полезные ссылки
Ab incunabulis — это… Что такое Ab incunabulis?
ab incunabulis — лат. (аб инкунабулис) с колыбели; с самого начала. Толковый словарь иностранных слов Л. П. Крысина. М: Русский язык, 1998 … Словарь иностранных слов русского языка
ab incunabulis — foreign term Etymology: Latin from the cradle ; from infancy … New Collegiate Dictionary
ab incunabulis — (Lat.) From the cradle … Bryson’s dictionary for writers and editors
CUNABULA Graecorum — Postquam materfamilias partu viri familiam fundavit, ut loquitur Apuleius, Metam. l. 10. i. e. postquam masculum enixa est, quales δόμων κίονας, domuum columnas, vocant Lycophron et Pindarus, nec immerito, Στύλοι γὰρ οἴκων εἱσὶ παῖδες ἄρσενες. … … Hofmann J. Lexicon universale
PANNI Infantiae Latinis — quae Graeci σπάργανα, δεσμὰ, ράκη, Latini iterum Cunabula et Incunabula dixêre, i. e. fasciolae, quibus infantes involvi soliti. Sicut enim Cunae lectuli erant illi mobiles, in quibus pueri cubabant; ita cunabula vel incunabula vincula dicta sunt … Hofmann J. Lexicon universale
Гецель, Вильгельм Фридрих — (Johann Wilhelm Friedrich Hezel) доктор философии, профессор экзегетики и восточных языков в Дерптском университете, родился в Кенигсберге 16 мая н. с. 1734 г. Сын кенигсбергского пастора, он 18 лет поступил в Йенский университет, где посвятил… … Большая биографическая энциклопедия
Nicolaus Taurellus — (Latin, from German: Nikolaus Öchslin[1][2]) (November 26, 1547 September 28, 1606) was a German philosopher and theologian. He was born in the County of Mömpelgard, then part of the Duchy of Württemberg. With support from Duke Georg I. of… … Wikipedia
Richard Gibbons — (born at Winchester, 1550 or 1549; died at Douai, 23 June1632) was an English Jesuit scholar. LifeAfter making his early studies in England, and completing a two years course in philosophy at Louvain and in the German College at Rome, he entered… … Wikipedia
Бандтке — (Георгий Самуил) польский историк и библиограф; род. в 1769 г. в Люблине, воспитывался в Германии, посещал Университет в Галле и в Иене. Возвратившись в 1790 г. на родину, занимался сначала частными уроками, а в 1798 г. назначен учителем… … Энциклопедический словарь Ф.А. Брокгауза и И.А. Ефрона
Библиография — Содержание статьи: Понятие библиографии. I. Библиография всеобщая. II. Обозрение би6лиографии по государствам и национальностям. Франция. Италия. Испания и Португалия. Германия. Австро Венгрия. Швейцария. Бельгия и Голландия. Англия. Дания,… … Энциклопедический словарь Ф.А. Брокгауза и И.
Брукер Иоанн-Яков — (Brucker) историк философии, родился в 1696 г. в Аугсбурге; в 1715 г. поступил в Иенский университет и здесь под влиянием знаменитого тогда богослова и философа Франца Буддея посвятил себя изучению истории философии; в 1723 г. издал в Аугсбурге… … Энциклопедический словарь Ф.А. Брокгауза и И.А. Ефрона
Не всем AB-тестам можно доверять: чек-лист проверки с примерами
Не всем AB-тестам можно доверять: чек-лист проверки с примерами | Блог Mindbox об автоматизации маркетинга- Маркетинг
Чек-лист хорошей статьи об AB-тестах Во время чтения любой статьи про АВ-тест мысленно проверьте ее по чек-листу. Если по итогу несколько пунктов не выполнено — это признак возможной манипуляции и некачественно проведенного исследования. Итак, в хорошем исследовании: Явно указан показатель, который измеряли в АВ-тесте Разные показатели измеряются по-разному.
1 июля 2019
АВ-тестирование — хороший метод, чтобы понять, сработала гипотеза или нет. Поэтому у кейсов, где результаты подтверждены АВ-тестированием, больше кредит доверия. Бывает, что в кейсе не описывают методологию тестов и статические выкладки. Это может говорить о том, что автор пытается слишком вольно интерпретировать результаты.
Чек-лист хорошей статьи об AB-тестах
Во время чтения любой статьи про АВ-тест мысленно проверьте ее по чек-листу. Если по итогу несколько пунктов не выполнено — это признак возможной манипуляции и некачественно проведенного исследования.
Итак, в хорошем исследовании:
Явно указан показатель, который измеряли в АВ-тесте
Разные показатели измеряются по-разному. Сравнить конверсию в двух группах просто, а средний чек и выручку — сложнее. Чем более явно в статье указано, что измеряли, тем больше ей доверия. Если речь идет о конверсии, то обязательно нужно указать из чего эта конверсия и куда.
Вызывает вопросы Мы провели серию АВ-тестов дизайна email-рассылки. Тестировали пять разных вариантов. В конце эксперимента выяснили, что покупателям нравятся анимации. | Лучше Мы провели серию АВ-тестов дизайна email-рассылки. Тестировали пять разных вариантов. По показателю Click Rate кнопки «Перейти на сайт» выиграл пятый вариант. Так мы выяснили, что покупателям нравятся анимации. Click Rate считался как отношение количества пользователей, совершивших клик по письму к количеству доставленных писем. |
Указан уровень доверия для каждого показателя, относительно которого делается вывод АВ-теста
Уровень доверия в результате — важнейший показатель теста; он показывает, на сколько мы можем доверять результату. Как правило, больше 95% — круто, больше 90% — достаточно. Если уровень доверия вообще не указан, возможно что-то не так.
Например, уровень доверия 95% говорит о том, что в 95% экспериментов (если бы мы делали не 1, а 1000 тестов) мы обнаружим, что разница есть, и это будет правдой. Соответственно, в 5% случаях мы решим, что разница есть и ошибемся.
Если вариантов теста больше двух, их сравнивают попарно
АВ-тесты с тремя и более вариантами — это сложно. Нужно правильно организовать тест и подвести итоги. Для таких тестов нужна большая выборка, а каждый вариант нужно сравнить друг с другом. Если варианта три, то A нужно сравнить c B, B c C, C c A. Если проигнорировать это правило, результат тестирования может оказаться неправдой. А чтобы его не игнорировать, у компании должен быть большой трафик.
Общий вывод статьи касается только проведенных АВ-тестов
Если в статье есть обобщения на основании небольшого количества тестов — скорее всего что-то приукрашено.
Вызывает вопросы Разрушаем мифы: имя клиента в теме email не работает. Мы провели три АВ-теста тем рассылок и убедились в этом на своем опыте. | Лучше Мы провели три АВ-теста тем рассылок и поняли, что для нас имя клиента в теме письма не работает. Проверьте у себя! |
Как использовать чек-лист
Разберем на примерах.
Пример №1: «В магазине косметики письмо с блоком преимуществ в виде списка увеличивает Сlick Rate»
Уральский интернет-магазин посуды провел мультивариантный тест шаблона email-письма для посетителей сайта за последний месяц:
- Вариант А: стандартный шаблон
- Вариант В: стандартный с добавлением блока преимуществ плиткой
- Вариант C: стандартный с добавлением блока преимуществ списком
- Вариант D: стандартный с добавлением блока преимуществ плиткой + кнопка
- Вариант E: стандартный с добавлением блока преимуществ списком + кнопка
Тест показал, что по показателю Click Rate победил вариант D с уровнем доверия в 95%. Общий вывод статьи: теперь в нашем письме мы используем блок преимуществ плиткой и добавляем кнопку. Использовать мультивариантное тестирование оказалось очень удобно, так как мы можем сравнить сразу много вариантов.
Проверим тест чек-листом
- Явно указан показатель, который измеряли в АВ-тесте. Есть — это Click Rate. В идеале стоит указывать, каким образом рассчитывался показатель.
- Указан уровень доверия результату – 95%.
- Если вариантов теста больше двух, они сравнены попарно. В этом тесте аналитики не описали, как сравнивали варианты между собой. Это вызывает первое сомнение в корректности теста. Действительно ли вариант D настолько хорош, что оказался значимо лучше в сравнении со всеми остальными вариантами?
Есть и второе сомнение. Посмотрите, сколько человек потребуется для проведения АВ-теста с 2 вариантами и мультивариантного теста на 5 вариантов (рассчитано с помощью калькулятора АВ-тестов). В 5 раз больше на каждый вариант:
Такие тесты могут позволить себе компании с большим трафиком. Если вы подозреваете, что в кейсе описан не такой бизнес или выборка явна узкая, возможно, исследование проведено неверно.
- Общий вывод статьи касается только проведенных АВ-тестов. Общий вывод статьи касается только проведенного теста. Все в порядке.
Несмотря на то, что три пункта из чеклиста выполнены, корректность исследования вызывает сомнения. Выборка для теста кажется маленькой (только посетители сайта за последний месяц для интернет-магазина косметики). Достаточна ли она для проведения теста или аналитик совершил распространенную ошибку при снятии результата? Также в статье нет попарного сравнения вариантов.
Пример №2: «Хиты продаж снижают выручку рассылки»
Мы провели тест рассылки Next best offer (следующее лучшее предложение покупки):
- Вариант А: отправили хиты продаж.
- Вариант B: отправили персональные рекомендации.
- Вариант С: письмо не отправлялось. Сегмент выступал в качестве контрольной группы.
Результаты:
Сегмент | Прирост конверсии | Изменение среднего чека | Оценка увеличения выручки |
Хиты продаж | -9,1% | -10% | -20% |
Персональные рекомендации | +30,9% | -5,2% | +4% |
Контрольная группа | — | — | — |
Общий вывод статьи: персональные рекомендации показали увеличение конверсии в заказы на 30,9% с уровнем доверия 95%. Вместе с небольшим снижением среднего чека, это дает увеличение выручки на 4%. Использование блока рекомендаций «Хиты продаж» приводит к снижению выручки на 20%.
Проверим тест чек-листом:
Казалось бы, все очевидно — персональные рекомендации приводят к увеличению выручки, хиты продаж выручку уменьшают. Сильный вывод. Нужно проверять.
- Явно указан показатель, который измеряли в АВ-тесте. Из таблицы можно сделать вывод, что измеряли сразу три показателя: конверсию, средний чек и выручку. По вступлению не ясно, на основе какого из них будет сделан вывод кейса.
- Указана статистическая значимость результата для каждого показателя, относительно которого делается вывод АВ-теста. В данном примере можно выделить три вывода о показателях:
- Персональные рекомендации увеличивают конверсию на 30,9%.
Показатель: конверсия в заказы. Уровень доверия — 95% - Хиты продаж уменьшают выручку на 20%, средний чек на 10%, конверсию на 9,1% — (статистическая значимость не указана ни для одного показателя).
Показатель: выручка, конверсия, средний чек. Уровень доверия не указан. - Персональные рекомендации увеличивают выручку на 4%. Выручка измеряется гораздо сложнее, чем конверсии, и часто значимой разницы выручки не видно. В примере значимость выручки никак не исследовалась.
Показатель: выручка. Уровень доверия не указан.
Итого, из трех выводов кейса, верить можно только первому — «Персональные рекомендации увеличивают конверсию на 30,9%, уровень доверия измерений — 95%». Остальные два не имеют под собой достаточных оснований.
- Персональные рекомендации увеличивают конверсию на 30,9%.
- Если вариантов теста больше двух, они сравнены попарно. В тесте исследовали три варианта: «Хиты продаж», «Персональные рекомендации» и «Контрольная группа». Однако мы видим только сравнение варианта «Персональные рекомендации» с двумя другими:«Персональные рекомендации показали увеличение конверсии в заказы на 30,9%, уровень доверия измерений 95%».
Вариант с хитами продаж представляется как занижающий конверсию и выручку, хотя значимость по сравнению с контрольной группой не оценивается. Давайте представим, что мы знаем размеры каждого сегмента и количество купивших клиентов в этом кейсе, а не только % прироста:
Сегмент | Прирост конверсии | Размер сегмента | Количество купивших посетителей |
Хиты продаж | -9,1% | 995 | 10000 |
Персональные рекомендации | +30,9% | 1445 | 10000 |
Контрольная группа | — | 1100 | 10000 |
Оказывается, что варианты B (контрольная группа) и С (хиты продаж) могут значимо не различаться. То есть, вывод «Хиты продаж уменьшают конверсию на 9,1%» не верен. Про выручку и средний чек не говорим, так как они не проверены на значимость в кейсе вовсе.
- Общий вывод статьи касается только проведенных АВ-тестов. Субъективный пункт. В данном примере основным выводом можно считать тот, который в заголовке —«Хиты продаж снижают выручку от рассылок». Такой вывод звучит очень обобщающе, и может сложиться впечатление, что такое происходит всегда, хотя приведен пример только одного теста, который содержит неточности.
Вывод, который можно сделать из такого теста, — «Персональные рекомендации на 30,9% лучше конвертируют получателей письма в заказы, по сравнению с контрольной группой и хитами продаж». Но если верить описанию теста, то напрашивается вывод, что рекомендации «Хиты продаж» занижают выручку, что не подтверждается.
Призываем всех делать тесты прозрачно
AB-тесты — лучший из известных нам инструментов оценки эффективности маркетинговых механик. Их нужно делать как можно больше, проверять гипотезы и анализировать результаты. Но обратная сторона AB-тестов — требования к соблюдению определенных правил и методологии, чтобы их результатам можно было доверять.
Наверное, любой аналитик или маркетолог, хотя бы раз испытывал соблазн подогнать выводы теста под желаемый результат. Но мы призываем всех и, в первую очередь, себя быть честными и делать тесты прозрачно.
Надеемся, этот чек-лист позволит авторам статей улучшать качество материалов, а читателям более критично относиться к результатам и сделанным выводам.
Что означает аббревиатура A.C.A.B. и почему футбольные фанаты носят такие майки
Аббревиатура ACAB («All cops are bastards») впервые была публично использована в качестве лозунга во время забастовки шахтеров 1984-1985 годов в Британии.
Затем ее подхватили футбольные болельщики, мелкие хулиганы и другие противоправно настроенные личности. Аббревиатуру часто можно увидеть в виде граффити, татуировки или принта на одежде.
Надпись ACAB можно было встретить и раньше – на стенах тюремных камер, как писал британский журналист 1970-х годов, хотя есть свидетельства о том, что подобная фраза известна в Великобритании еще с 20-х годов прошлого века. Она неизменно выражает ненависть к работникам правопорядка, также известна как символ большого стажа в культуре скинхедов, причем используется как расистскими, так и антирасистскими скинхедами, правыми экстремистами и крайне левыми против полиции.
Аббревиатура часто встречается среди тюремных татуировок в Великобритании: обычно по одной букве на пальце или в виде символических маленьких точек на каждом суставе.
Футбольные болельщики не раз получали штрафы за свою одежду. Надписи ACAB неизменно привлекают внимание полиции, причем не только британской. Но все судебные преследования подтверждают отсутствие свободы слова в полном ее смысле, особенно в тех странах, где она официально провозглашена.
В 2011 году три фаната «Аякса» были оштрафованы на 330 евро каждый за то, что носили футболки с цифрами 1312 во время матча с Heracles Almelo. Полиция Амстердама посчитала, что цифры соответствуют буквам ACAB. По словам пресс-секретаря Амстердамского окружного суда Рут Гориссен, решение прокурора о преследовании болельщиков привело к явному сокращению «криминальных футболок» на трибунах. Клуб сторонников «Аякса» посчитал, что ответная реакция была преувеличена. «Запрещать подобные символы довольно бессмысленно. Мы против футбольного насилия, но немного дерзкие футболки должны быть разрешены».
В Германии и «ACAB», и «1312» признаны государственными судами оскорблениями. В 2015 году Федеральный конституционный суд постановил, ссылаясь на термин «FCK CPS» (читается как Fuck Cops), что такое оскорбление наказуемо, только если оно направлено на конкретную идентифицируемую группу, но оставило толкование отдельных дел уголовным судам. В этом же году девушка в Аликанте была оштрафована за то, что на ней была надета футболка с надписью «ACAB».
В 2017 году мужчина из хорватского Карловаца разместил фото с подписью «Fuck da Police A. C.A.B.» в Facebook, за что был обвинен в нарушении общественного порядка и оштрафован на 100 евро.
В прошлом году в Индонезии группа футбольных фанатов «Персия Джакарта» была арестована за использование баннера с надписью «All Cops Are Bastards» в день матча лиги.
4 апреля в Белоруссии хоккейный фанат был арестован за то, что носил футболку с надписью 1312, а летом того же года был задержан футбольный болельщик в Орше. И аббревиатура «ACAB», и 1312 считаются экстремистской информацией в Беларуси, а эксперты считают, что они направлены на разжигание розни по социальному признаку – в частности, против сотрудников правоохранительных структур.
В России такие прецеденты неизвестны, однако подобные надписи, например, на майках, могут привлечь внимание полиции. Но что именно может стать официальной причиной задержания, зависит от других обстоятельств. Например, в прошлом году полиция Санкт-Петербурга задержала молодого человека, нарисовавшего граффити в виде надписи «АСАВ», и открыла уголовное дело по статье «Вандализм». ))))
Известно о задержании футбольных болельщиков в футболках с аббревиатурой, объясненным их нахождением в состоянии опьянения.
В 2016 году испанка Белен Лобето была оштрафована на 100 евро за то, что несла сумочку с надписью «ACAB» (ниже на сумке была расшифровка «All cats are beautiful»/ «Все кошки прекрасны»), потому что полиция прочитала только крупный шрифт и ошибочно приняла инициалы ACAB за уничижительный термин.
Это произошло после финального матча между Барселоной и Севильей, когда полиция вела наблюдение за футбольными болельщиками и заметила ничего не подозревающую даму, возвращающуюся домой мимо стадиона. Впрочем, обвинения через несколько дней были сняты. Сегодня при желании найти толстовку или футболку с надписью ACAB или 1312 довольно легко. Существует даже финский бренд ACAB (www.acab.fi), специализирующийся на одежде с подобными надписями и предоставляющий доставку по всему миру.
Технические средства позволяют изготовить подобную футболку даже в домашних условиях – если вы готовы объяснить себе и окружающим ее необходимость.
ab — Викисловарь
Морфологические и синтаксические свойства
ab, ā, abs
Предлог, неизменяемый, употребляется с аблативом.
Корень: —.
Произношение
Классическое произношение Экклезиастское произношение
Семантические свойства
Значение
- от, из окрестностей, из ◆ Legati ab Ardea Romam venerunt. — Послы пришли в Рим из Ардеи. Тит Ливий, «Ab Urbe Condita» (цитата из Викитеки)
- от (в значении отделения, разделения) ◆ Gallos ab Aquitanis Garumna flumen dividit. — Галлов от аквитанов отделяет река Гарумна. Гай Юлий Цезарь, «Commentarii de bello Gallico» (цитата из Викитеки)
- с, у, со стороны, на, в, к ◆ Eorum una pars, quam Gallos obtinere dictum est, initium capit a flumine Rhodano, continetur Garumna flumine, Oceano, finibus Belgarum, attingit etiam ab Sequanis et Helvetiis flumen Rhenum, vergit ad septentriones. — Та часть, которую, как мы сказали, занимают галлы, начинается у реки Родана, её границами служат река Гарумна, Океан и страна бельгов, со стороны секванов и гельветов она простирается до реки Рейна, далее она тянется к северу.
Гай Юлий Цезарь, «Commentarii de bello Gallico» (цитата из Викитеки)
- вслед за, после ◆ Отсутствует пример употребления (см. рекомендации).
- от, с, начиная с (по времени) ◆ Отсутствует пример употребления (см. рекомендации).
- указывает действующее лицо, на русский язык переводиться творительным падежом ◆ Отсутствует пример употребления (см. рекомендации).
Синонимы
Антонимы
Гиперонимы
Родственные слова
Ближайшее родство | |
Этимология
Происходит от ??
Фразеологизмы и устойчивые сочетания
ab (предлог)
Морфологические и синтаксические свойства
ab
Предлог, неизм.
Произношение
Семантические свойства
Значение
- (c D, указывает на отправную точку) от, из, с ◆ ab Berlin — от (из) Берлина
- (c D, разг.
A, указывает на начальный момент времени) с ◆ ab erstem März — c первого марта
Синонимы
- —
- —
Антонимы
- —
- —
Гиперонимы
- —
- —
Гипонимы
- —
- —
Родственные слова
Этимология
Происходит от ??
Фразеологизмы и устойчивые сочетания
ab (наречие)
Морфологические и синтаксические свойства
ab
Наречие, неизменяемое.
Произношение
Семантические свойства
Значение
- вниз (направление сверху вниз) ◆ den Berg ab — вниз с горы, по горе вниз
- (указывает на исчезание какого-либо объекта) ◆ Wir sind vom Weg ab. — Мы отклонились от дороги. ◆ Hut ab! — Шапки долой!
Синонимы
Антонимы
Гиперонимы
Гипонимы
Родственные слова
Этимология
Происходит от ??
Фразеологизмы и устойчивые сочетания
Морфологические и синтаксические свойства
ab
Предлог, неизменяемый.
Корень: —.
Произношение
Семантические свойства
Значение
- от, из, с, у, со стороны ◆ Отсутствует пример употребления (см. рекомендации).
Синонимы
Антонимы
Гиперонимы
Родственные слова
Ближайшее родство | |
Этимология
Происходит от ??
Фразеологизмы и устойчивые сочетания
Сорта древесины — Экстра, Прима, AB, BC
Основные сорта древесины
На современном рынке пиломатериалов представлен огромный выбор древесины, что может вызвать некоторые проблемы с подбором качественного материала, отвечающего вашим индивидуальным требованиям. Как правило, все характеристики и стандарты качества указываются в документации, приложенной к товару. Одним из главных критериев выбора пиломатериала является его сорт. В зависимости от классификации приобретаемые заготовки из древесины будут отличаться стоимостью и качеством. Заготовкой называют изделие из бруса или доски с характеристиками определенных сортов.
Учитывая оторцовку, строгание и припуски на усушку можно выделить четыре группы сортов:
- Экстра;
- Прима;
- Сорт AB;
- Сорт BC.
Главные отличия сортов
Разделение на такие группы производят среди готового к использованию материала, а это значит, что все изделия производились и сушились одинаково, к тому же они были выработаны из общей партии древесины. Распределение происходит на основании каждого стандарта, чтобы понимать все различия сортов мы опишем особенности каждого из них.
Экстра – первое место всех стандартов, поэтому отличается высокой ценой. Выбирая этот сорт Вы получаете материал абсолютно без дефектов, с однородной структурой и однородным цветом, который имеет самую высокую плотность. Изготавливается из комлевой части деревьев.
Прима – этот сорт максимально близок к идеальной структуре, по цене выходит дешевле чем «Экстра». Допускается минимум дефектов. Такой вид используют в производстве автомобилей, техники, отделочных панелей.
AB – недорогой сорт, но поверхность материала отличается наличием сучков, маленьких трещин, смоляных кармашков (выбоин).
BC – самый дешевый из сортов, но экономия отражается на качестве. Встречаются серьезные трещины, большое количество сучков, может присутствовать непрострог и даже червоточины. Используется под малоответственные детали.
A/B тест — это просто / Хабр
A/B тестирование — это мощный маркетинговый инструмент для повышения эффективности работы вашего интернет-ресурса. С помощью A/B тестов повышают конверсию посадочных страниц, подбирают оптимальные заголовки объявлений в рекламных сетях, улучшают качество поиска.
Мне часто приходится сталкиваться с задачами организации A/B тестирования в различных интернет-проектах. В этой статье хочу поделиться необходимыми базовыми знаниями для проведения тестов и анализа результатов.
Зачем нужны А/B тесты?
Итак, представим ситуацию, наш проект запущен в жизнь, на нем собирается трафик, пользователи активно используют ресурс. И в один прекрасный день мы решили что-то поменять, например, разместить всплывающий виджет для удобства подписки на новости.
Наше решение — это интуитивное предположение о том, что пользователям ресурса станет проще подписываться на новые материалы, мы ожидаем повышения числа подписчиков.
Наши предположения и гипотезы строятся на основе личного опыта и наших взглядов, которые совсем не обязательно совпадают со взглядами аудитории нашего ресурса. Другими словами, наше предположение вовсе не означает, что после внесения изменений мы получим желаемый эффект. Для проверки таких гипотез мы и проводим A/B тесты.
Как проводим тесты?
Идея A/B тестирования очень проста. Пользователи ресурса случайным образом делятся на сегменты.

Чтобы получить статистически значимый результат, очень важно исключить влияние сегментов друг на друга, т.е. пользователь должен быть отнесен строго к одному сегменту. Это можно сделать, например, записав метку сегмента в cookies браузера.
Для снижения влияния внешних факторов, таких как рекламные кампании, день недели, погода или сезонность, замеры в сегментах важно делать параллельно, т.е. в один и тот же период времени.
Кроме того, очень важно исключить и внутренние факторы, которые также могут существенно исказить результаты теста. Таким факторами могут быть действия операторов call-центра, служба поддержки, работа редакции, разработчики или администраторы ресурса. В Google Analytics для этого можно воспользоваться фильтрами.
Число пользователей в сегментах не всегда удается сделать равным, в связи с этим метрики, как правило, выбираются относительные, т. е. без привязки к абсолютным значениям аудитории в сегменте. Нормирование осуществляется либо на число посетителей, либо на число просмотров страниц. Например, такими метриками могут быть средний чек или CTR ссылки.
Одной из причин делить аудиторию непропорционально может быть существенное изменение в интерфейсе. Например, полное обновление устаревшего дизайна сайта, изменение системы навигации или добавление всплывающей формы для сбора контактной информации. Такие изменения могут привести как к положительным, так и к отрицательным эффектам в работе ресурса.
Если есть опасение, что изменение может иметь сильное негативное влияние, например, привести к резкому оттоку аудитории, то, на первом этапе, имеет смысл тестовый сегмент делать не очень большим. В случае отсутствия негативного эффекта, размер тестового сегмента можно постепенно увеличить.
Что улучшаем?
Если вы собираетесь провести A/B тестирование на своем ресурсе, то наверняка у вашего проекта уже сформированы основные показатели, которые необходимо улучшить.

Показатели прежде всего определяются целями проекта. Ниже приведу несколько популярных метрик, которые используются в интернет-проектах.
Конверсия
Конверсия вычисляется как доля от общего числа посетителей, совершивших какое-либо действие. Действием может быть заполнение формы на посадочной странице, совершение покупки в интернет-магазине, регистрация, подписка на новости, клик на ссылку или блок.
Экономические метрики
Как правило, эти метрики применимы для интернет-магазинов: величина среднего чека, объем выручки, отнесенный на число посетителей интернет-магазина.
Поведенческие факторы
К поведенческим факторам относят оценку заинтересованности посетителей в ресурсе. Ключевыми метриками являются: глубина просмотра страниц — число просмотренных страниц, отнесенное к числу посетителей на сайте, средняя продолжительность сессии, показатель отказов — доля пользователей, покинувших сайт сразу после первого захода, коэффициент удержания (можно считать, как 1 минус % новых пользователей).

Одного показателя не всегда достаточно для оценки эффекта от вносимых изменений. Например, после изменений на сайте интернет-магазина средний чек может уменьшиться, но общая выручка вырасти за счет повышения конверсии посетителя в покупателя. В связи с этим, важно контролировать несколько ключевых показателей.
Анализ результатов
Отлично, ключевые показатели определены, тест запущен и мы получили первые данные. В этот момент, особенно если данные соответствуют нашим ожиданиям, возникает соблазн сделать поспешные выводы о результатах тестирования.
Торопиться не стоит, значения наших ключевых показателей могут меняться день ото дня — это значит, что мы имеем дело со случайными величинами. Для сравнения случайных величин оценивают средние значения, а для оценки среднего значения требуется некоторое время, чтобы накопить историю.
Эффект от внесения изменения определяют как разность между средними значениями ключевого показателя в сегментах. Тут возникает следующий вопрос, насколько мы уверены в достоверности полученного результата? Если мы еще раз проведем тест, то какова вероятность того, что мы сможем повторить результат?
Ниже на картинках приведены примеры распределения значений показателя в сегментах.
Графики распределения характеризуют частоту появления того или иного значения случайной величины в выборке. В данном случае все значения распределены вокруг среднего.
На обеих картинках средние значения показателя в соответствующих сегментах одинаковы, картинки отличаются только разбросом значений.
Данный пример хорошо иллюстрирует, что разности средних значений недостаточно для того, чтобы считать результат достоверным, необходимо также оценить площадь пересечения распределений.
Чем меньше пересечение, тем с большей уверенностью мы можем сказать, что эффект действительно значим. Эта “уверенность” в статистике называется значимостью результата.
Как правило, для принятия положительного решения об эффективности изменений уровень значимости выбирают равным 90%, 95% или 99%. Пересечение распределений при этом равно соответственно 10%, 5% или 1%. При невысоком уровне значимости существует опасность сделать ошибочные выводы об эффекте, полученном в результате изменения.
Несмотря на важность этой характеристики, в отчетах по A/B тестам, к сожалению, часто забывают указать уровень значимости, при котором был получен результат.
Кстати, на практике примерно 8 из 10 A/B тестов не являются статистически значимыми.
Стоит отметить, что чем больше объем трафика в сегментах, тем меньше разброс среднесуточных значений показателя. При небольшом трафике из-за большего разброса значений случайной величины потребуется больше времени для проведения эксперимента, но в любом случае это лучше, чем вовсе не проводить эксперимент.
Оценить значимость результатов
Для сравнения случайных величин математики придумали целый раздел под названием проверка статистических гипотез. Гипотез всего две: “нулевая” и “альтернативная”. Нулевая гипотеза предполагает, что разница между средними значениями показателя в сегментах незначительна. Альтернативная гипотеза предполагает наличие существенной разницы между средними значениями показателя в сегментах.

Для проверки гипотез существует несколько статистических тестов. Тесты зависят от характера измеряемого показателя. В общем случае, если мы считаем среднесуточные значения, можно воспользоваться тестом Стьюдента. Этот тест хорошо зарекомендовал себя для небольших объемов данных, т.к. учитывает размер выборки при оценке значимости.
В качестве примера приведу сравнение средней длительности сессии в сегментах на одном из ресурсов, для которых я проводил эксперимент: studentttest.xls.
Тест Стьюдента — универсален, его можно применять как для измерений конверсии, так и для таких количественных показателей как средний чек, средняя глубина просмотра или время, проведенное пользователем на сайте.
В случае, если вы измеряете только конверсию, то вы имеете дело с бинарной слуайной величиной, которая принимает только два значения: посетитель “сконвертировался” и “не сконвертировался”. Для оценки статистической значимости в этом случае можно воспользоваться он-лайн калькулятором.
Инструменты
Для организации теста необходим инструмент, позволяющий разметить аудиторию по сегментам и посчитать значения ключевых показателей отдельно в каждом сегменте.
Если ваши ресурсы позволяют, то такой инструмент можно реализовать самостоятельно на основе анализа логов действий пользователей. Если ресурсы ограничены, то стоит воспользоваться сторонним инструментом. Например, в Google Analytics есть возможность задавать пользовательские сегменты.
Существует ряд сервисов, которые позволяют полностью автоматизировать процесс тестирования, например, тотже Google Analytics Experiements, примеры других сервисов можно найти в обзоре.
А дальше?
В статье приведены базовые знания, необходимые для проведения A/B тестов и анализа результатов. Следующий шаг — это продуктовая аналитика. В завершении хочу поделиться ссылкой на отличную презентацию по продуктовой аналитике с примерами A/B тестирования от Курышева Евгения.
Сокращение | Определение | |
---|---|---|
AB | Группа крови | |
AB | Alberta | |
AB | Алкогольные напитки | |
AB | Airman Basic | |
AB | ||
AB | Живот | |
AB | Счет за сборку | |
AB | Абонемент (подписка на филателистический каталог) | |
AB | О | |
AB | Air Base | |
AB | Способность выполнять (Общая функция; интеграция модели зрелости возможностей) | |
AB | Взрослый ребенок | |
AB | Абердин (почтовый индекс, Великобритания) | |
AB | Аборт | |
AB | Адресная книга | |
AB | Angry Birds (игровой) | |
AB | At Bat (бейсбол, софтбол) | |
AB | Action By (Интернет-сленг) | |
AB | Прервать (ITU-T) | |
AB | Abbot | |
AB | Похищение | |
AB | Ancienne Belgique (Брюссель, культурный центр Бельгии) | |
AB | Anrufbeantworter (немецкий: автоответчик) | |
Applied Biosystems | ||
AB | All Blacks (национальный ковер Новой Зеландии командой) | |
AB | В воздухе | |
AB | Антибактериальный | |
AB | Подушка безопасности | |
AB | Aftonbladet (шведская газета) | |
AB | Авиабаза (Министерство обороны США) | |
AB | American Beauty (фильм) | |
AB | Антитела | |
AB | Able-Bodied | |
AB | Антибиотик | |
AB | Плавки Apple (линия одежды) | |
AB | Alter Bridge (ремешок) | |
AB | Able Seaman | |
AB | Apple Bloom (My Little Пони) | |
AB | Altbau (нем.![]() | |
Добавленная льгота | ||
AB | Aktiebolag (шведский: компания с ограниченной ответственностью на долях) | |
AB | Anheuser-Busch (пивоварня) | |
AB | Апелляционный орган ( различные организации) | |
AB | Alec Baldwin | |
AB | Agriculture Biologique (французский национальный логотип органических продуктов) | |
AB | Андреа Бочелли (итальянский оперный тенор) | |
AB | Amitabh Bachchan (индийский актер) | |
AB | Algemeen Bestuur (голландский: General Board) | |
AB | на основе агента | |
AB | Доступный баланс (банковское дело) | |
AB | Alton Brown (Good Eats TV show h ost) | |
AB | Атомная бомба | |
AB | Achtung Baby (альбом U2) | |
AB | All Before | |
AB | Asha Bhosle (индийский певец) | |
AB | Кнопка действия | |
AB | Кислотная ванна (лента) | |
AB | Связывание антигенов | |
AB | Able Bodied Seaman | |
AB | Через границы (центр психического здоровья; Канада) | |
AB | American Bandstand | |
AB | Anchor Bay (поставщик DVD) | |
AB | Форсажная камера | |
AB | Административный совет | |
AB | Art Bell | |
AB | Arcane Brilliance (игры World of Warcraft) | |
AB | Расширенная Библия | |
AB | Адаптивное поведение | |
AB | Absidia (грибки) | |
AB | Аарон Брукс (футболист) | |
AB | Доска для приобретения | |
AB | Анкерный болт | |
AB | Активный значок | |
AB | Aimbot | |
AB | Ответить | 90 010|
AB | Andhra Bank | |
AB | Access Burst | |
AB | Апикально-базолатеральный (микробиология) | |
AB | Анджелина Балерина (кукла American Girl) | |
AB | Доп.![]() | |
AB | Алгебраическая биология | |
AB | Air Blast | |
AB | After-Burner (game) | |
AB | Aryan Brotherhood ( white power group) | |
AB | Aquabats (группа) | |
AB | Air Berlin GmbH (Германия) | |
AB | Клейкое соединение | |
AB | Archie Бункер (телевизионный персонаж) | |
AB | сигнальная земля | |
AB | Art Building (университет) | |
AB | Alcian Blue | |
AB | Appenzeller Bahnen ( Немецкий; Швейцарская железнодорожная компания) | |
AB | Бассейн Арати (Мир Warcraft Gaming) | |
AB | Сборочный корпус | |
AB | Помощь слепым | |
AB | Счетный филиал | |
AB | Внешний вид Обязательства (уголовное правосудие) | |
AB | Адресная шина | |
AB | After Body | |
AB | Anchor Blue (розничный магазин одежды) | |
AB | Ашаффенбург, Германия (номерной знак) | |
AB | Агрегатная база (строительство) | |
AB | Продавцы антикварных книг | |
AB | Армейская бригада | |
AB | Воздушный взрыв | |
AB | Развлекательный бизнес ( журнал) | |
AB | Arab Bank PLC | |
AB | Alpha Blue (Star Wars Intelligence Group) | |
AB | Помощник авиационного боцмана (рейтинг USN) | |
AB | Барометр-анероид | |
AB | Asthmatic Бронхит | |
AB | Attentional Blink | |
AB | Старшина авиационного боцмана (военно-морской ранг США) | |
AB | Artium Baccalaureus | |
AB | Atomic Bom )||
AB | Air Break | |
AB | Ящик для золы | |
AB | Крановоз | |
AB | Основа авторизации | |
AB | Адресный буфер | |
AB | Alliance Battle (видеоигра) 9005 8 | |
AB | Административный бюллетень | |
AB | Applix Builder (расширение файла) | |
AB | У причала (корабли) | |
AB | Отсек авионики | |
AB | Assez Beau (французский: от удовлетворительного до хорошего; филателия) | |
AB | На основе Ada | |
AB | Асбестовое тело | |
AB | Apex Beat | |
AB | Avrupa Birliði (Турецкий: Европейский Союз) | |
AB | Арчибальд Браун (филателистический знак колонии Британской Восточной Африки) | |
AB | Advanced Bus | |
AB | Alliance of Baptists | |
AB | Apical-to-Basal | |
AB | Asesores Bursátiles (испанская компания) | |
AB | Avropa Birliyi (Азербайджан: Европейский Союз) | |
AB | Ускоренный бюджет | |
AB | Почти изогнутый (функция) | |
AB | Arctic Brotherhood | AB | Akbar & Birbal (сериал на хинди) |
AB | Предполагаемое пособие (тип квалифицированного пенсионного плана) | |
AB | Распределенный базовый план | |
AB | Алхоголик Напиток | |
AB | Дуговая пайка | |
AB | Asker and Bærum (Норвежская больница) | |
AB | Ayan Baqur (игра Asheron’s Call) | |
AB | После Blackout | |
AB | Assault Breaker | |
AB | Alabaster Blue (группа a-capella Университета Нью-Гэмпшира) | |
AB | Асимметричный баланс | |
AB | Осевое одеяло (тест) | |
AB | AcmlmBoard (доска сообщений s ystem) | |
AB | Адиабатический изгиб | |
AB | Altered Beasts (игра) | |
AB | Axiobuccal | |
AB | Allen Bradley Corporation | |
AB | Artis Baccularatum (латинское: бакалавр гуманитарных наук) Университетская степень | |
AB | Array Bending | |
AB | Arbeidsvoorwaarden en Beroepskwaliteit | |
AB | Воздушные бомбардировки | |
ABropic | ||
AB | Amstelbrigade | |
AB | Auntbrenda.![]() | |
AB | Armeé Brittanique (британская филателистическая ручная марка 1748) |
Определение Ab на Dictionary.com
1
[ahb, ahv] SHOW IPA
/ ɑb, ɑv / ТЕЛЕФОННЫЙ ПЕРЕСПЕЛЛЕНИЕ
существительное
ВИКТОРИНЫ
УЗНАЙТЕ СЕБЯ НА «САМЫЙ САМЫЙ» И «САМОСТОЯТЕЛЬНЫЙ»!
Все, о чем мы просим, - это постараться как можно лучше в этой викторине, которая подтолкнет ваши навыки к использованию «максимума» и «максимума» до предела!
Вопрос 1 из 6
«Самый высокий» и «максимальный» в большинстве случаев могут использоваться как взаимозаменяемые.
Слова рядом с Ab
AAU, AAUP, AAUW, AAVE, ось A, Ab, aba, abac, abaca, abaciscus, abacistОпределение для Ab (2 из 8)
Определение для Ab (3 из 8)
аббревиатура
ВВС США. Летчик Базовый.
Альберта, Канада (разрешено для использования в почте).
баллистический; противоракетная ракета.
Определение Ab (4 из 8)
Symbol, Physiology.
основная группа крови, обычно позволяющая человеку, чья кровь относится к этому типу, сдавать кровь людям типа AB и получать кровь от людей типа O, A, B или AB.
Определение для Ab (5 из 8)
формальный элемент, встречающийся в заимствованных словах из латыни, где он означает «прочь от»: отречься; отмена.
Происхождение ab-
ab (предлог и префикс) от, далеко, родственное с греческим apó, санскрит ápa, немецкий ab, английский 1 , offОпределение для Ab (6 из 8)
аббревиатура
о.
Бейсбол. (раз) в летучей мыши.
Определение Ab (7 из 8)
Происхождение A.B.
1<Новая латынь, средневековая латынь Artium Baccalaureus
Определение для Ab (8 из 8)
аббревиатура
Бейсбол. (раз) на летучей мыши. Также a. b.
Dictionary.com Несокращенный На основе Несокращенного словаря Random House, © Random House, Inc. 2021
Примеры предложений из Интернета для Ab
.expandable-content {display: none;}. Css-12x6sdt.expandable.content-extended> .expandable-content {display: block;}]]>«Аб Уэлш, бывший нападающий квакеров Саскатуна, был первым, — сказал Хоу.
Руководили полетом капитан Захари Ахмад Шах, 50-летний пилот, и его 27-летний первый помощник офицер Фарик Аб Хамид.
27 июля 2013 г. А.Б. Нойбауэр сообщила, что накануне вечером подверглась сексуальному насилию.
AB — это мышца, которую можно найти на обложках журналов, говорится в объявлении журнала «Вирджиния для влюбленных».
Внутри ABT есть поговорка: «Если вы когда-нибудь проявите неуважение к AB, мы позаботимся о том, чтобы вы оставили его в сумке для трупов.
Тетя Роза усадила его на стол и сказала, что A B означает ab.
Ab eo igitur tpore Patres nostros perhumaniter habuit, очень почетный в омнибусе, мужской доброжелательный прием.
Я не думаю, что Ланселот изначально был героем одного из вариантов этой популярной и широко распространенной народной сказки.
Et idem Johannes nullam partem artium prædictarum ab apprenticio suo conclabit.
Такие рабы в общих чертах назывались librri, точнее serv ab epistols, servman или manunss.
Изучить Dictionary.com
li {-webkit-flex-based: 49%; — ms-flex-предпочтительный размер: 49%; flex-base : 49%;} @ экран только мультимедиа и (max-width: 769px) {. Css-2jtp0r> li {-webkit-flex-base: 49%; — ms-flex-предпочтительный-размер: 49%; гибкая основа : 49%;}} @ экран только мультимедиа и (max-width: 480px) {. Css-2jtp0r> li {-webkit-flex-base: 100%; — ms-flex-предпочтительный-размер: 100%; flex- база: 100%;}}]]>Определения в Британском словаре для Ab (1 из 4)
Определения в Британском словаре для Ab (2 из 4)
сокращение для
Также: a. б. трудоспособный моряк
(в США) Бакалавр гуманитарных наук
(особенно по почтовым адресам) Альберта (Канада)
символ для
группа крови человека группы ABO, содержащая как антиген A, так и антиген B.
Британский словарь определений для Ab (3 из 4)
префикс
от; выключенный; снаружи; противоположно ненормальному; абаксиальный; aboral
Слово происхождение для ab-
от латинского ab от
Британский словарь определений для Ab (4 из 4)
префикс
, обозначающий единицу измерения cgs в электромагнитной системеabvolt
Слово Origin для ab-
извлечено из абсолютного
Словарь английского языка Коллинза — Полное и несокращенное издание 2012 г., цифровое издание © William Collins Sons & Co.Ltd. 1979, 1986 © HarperCollins Издатели 1998, 2000, 2003, 2005, 2006, 2007, 2009, 2012
Медицинские определения для Ab (1 из 3)
прив.
Используется для обозначения электромагнитной единицы в системе сантиметр-грамм-секунда: абкулон.
Медицинские определения для Ab (2 из 3)
Медицинские определения для Ab (3 из 3)
Медицинский словарь American Heritage® Stedman Авторское право © 2002, 2001, 1995 компанией Houghton Mifflin. Опубликовано компанией Houghton Mifflin.
Прочие — это Readingli {-webkit-flex-base: 100%; — ms-flex-предпочтительный размер: 100%; flex-base: 100%;} @ media only screen и (max-width: 769px) {. Css -1uttx60> li {-webkit-flex-базис: 100%; — ms-flex-предпочтительный-размер: 100%; гибкий-базис: 100%;}} @ экран только мультимедиа и (max-width: 480px) {. css-1uttx60> li {-webkit-flex-base: 100%; — ms-flex-предпочтительный размер: 100%; flex-base: 100%;}}]]>AB | Альберта Региональный »Канадский — и другие … | Оцените: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
AB | Антитела Медицинская» Физиология — и больше. | Оцените: | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
AB | AnrufBeantworter Международный »немецкий |
|