Double Blind Test позволяет на слух сравнивать Pipeline A и Pipeline B, не зная, какой из них сейчас звучит. Эта функция нужна, чтобы без предвзятых ожиданий проверить, действительно ли вы различаете отличие, которое кажется слышимым, и какой вариант вам на самом деле нравится больше.

Доступны два типа тестов:

ABX Test - Проверяет, можете ли вы надежно отличить два pipeline друг от друга.
A/B Preference Test - Позволяет выбрать, какой pipeline вам нравится больше, не зная, где какой.

В обоих случаях EffeTune записывает ваши ответы и показывает p-значение, чтобы вы могли увидеть, является ли результат статистически значимым.

Подготовка двух конвейеров

Тест сравнивает два pipeline, описанные в разделе Использование функций AB Pipeline:

В Pipeline A и Pipeline B должен быть хотя бы один эффект.
Поместите одну из сравниваемых настроек в Pipeline A, а другую в Pipeline B. Оставьте все остальное одинаковым, кроме проверяемого отличия (например, с EQ и без EQ), чтобы тестировалась только эта разница.
В A/B Preference Test не важно, какую из двух настроек поместить в Pipeline A, а какую в Pipeline B. Во время теста назначение образцов A и B заново случайно перемешивается в каждом испытании, поэтому ни одна позиция не имеет преимущества. Если поменять настройки местами, метка pipeline-победителя в результате тоже поменяется, но статистическая интерпретация останется той же. Важно помнить, какая настройка находится в каком pipeline: результат сообщает, получил ли Pipeline A или Pipeline B статистически значимое предпочтение, а вы сопоставляете это со своей настройкой и понимаете, какой звук выбрали. Четкий результат обычно означает, что вы последовательно выбирали различие, которое действительно влияет на ваше предпочтение. Если оба варианта звучат одинаково или ответы разбросаны, тест обычно не покажет значимого предпочтения.
Панель теста можно открыть в любой момент, но кнопки запуска остаются неактивными, пока не подготовлены оба pipeline. Если Pipeline B отсутствует, вместо запуска будет показано уведомление.

Открытие теста

Веб-приложение: нажмите кнопку ▼ сразу справа от кнопки переключения A/B (кнопки, на которой показано “A” или “B” в зависимости от текущего pipeline) в заголовке Effect Pipeline, затем выберите Double Blind Test в открывшемся меню.
Настольное приложение: доступно то же меню ▼, а также запуск из меню Файл > Double Blind Test.

Пока тест открыт, отображение pipeline эффектов скрывается, чтобы вы не видели, какие эффекты активны, и сохранялся слепой режим. В любой момент можно закрыть тест кнопкой × и вернуться к обычному экрану.

Настройка теста

На экране настройки доступны следующие элементы:

Test name - Описывает проверяемое отличие (например, с EQ и без EQ). Поле со списком работает как Effect Presets: можно сохранить, загрузить и удалить именованные тесты. Сохраненный тест включает оба pipeline и число испытаний, поэтому ту же самую пару настроек можно загрузить позже. Для общего доступа к тесту требуется заполнить Test name.
Your name - Необязательно. Отображается в результате; если оставить поле пустым, будет Anonymous.
Number of tests - Сколько испытаний выполнить, задается в поле ввода или ползунком. Чем больше испытаний, тем надежнее результат, но тем больше времени занимает тест. Значение по умолчанию: 20.

Нажмите Start ABX Test или Start A/B Preference Test, чтобы начать.

Примечание: A и B внутри теста не то же самое, что Pipeline A и Pipeline B в Effect Pipeline. В каждом испытании заново случайно определяется, звук какого pipeline будет назначен A, а какого B, и это соответствие не показывается на экране. Поэтому вы не знаете, какой реальный pipeline сейчас слышите как A, и не можете предположить, что “A” это Pipeline A. Так сохраняется слепой режим.

Воспроизведение аудио

Тест только переключает pipeline; музыку вы подаете как обычно:

перетащите музыкальный файл (или откройте его через меню Файл), или
подайте аудио в EffeTune с физического источника.

Для справки на экране теста отображается частота дискретизации аудиоустройства.

Проведение ABX Test

Используйте кнопки Switch to A, Switch to B и Switch to X, чтобы переключать воспроизводимый звук между образцами. X совпадает либо с A, либо с B; выбор выполняется случайно в каждом испытании.
Переключайтесь сколько угодно раз, пока не поймете, с каким образцом совпадает X.
Нажмите X matches A или X matches B, чтобы записать ответ; после этого начнется следующее испытание.

Переключаться можно и с клавиатуры: нажмите A, B или X, либо 1, 2 или 3 (верхний ряд или цифровая клавиатура), чтобы переключить активный образец так же, как при нажатии соответствующей кнопки. Для ответа нажмите Q для X matches A или W для X matches B.

Проведение A/B Preference Test

Используйте кнопки Switch to A и Switch to B, чтобы сравнить два образца (в этом режиме X нет).
Когда решите, какой вариант предпочитаете, нажмите Prefer A или Prefer B.

Переключаться можно и с клавиатуры: нажмите A или B, либо 1 или 2 (верхний ряд или цифровая клавиатура), чтобы переключить активный образец. Для ответа нажмите Q для Prefer A или W для Prefer B.

Чтение результата

Когда все испытания завершены, EffeTune показывает результат:

ABX Test - Показываются ваш результат (процент и правильные ответы / всего) и p-значение одностороннего биномиального критерия. Если p < 0.05, результат статистически значим: ваши ответы трудно объяснить одной лишь случайностью, и можно сказать, что вы смогли отличить pipeline друг от друга. В противном случае нельзя утверждать, что вы смогли их различить.
A/B Preference Test - Показывается pipeline, выбранный чаще (при равенстве отображается Pipeline A), сколько раз он был выбран (число / всего), а также p-значение двустороннего биномиального критерия. Отображаемый процент всегда равен 50% или больше, потому что он относится к выигравшей стороне; высокий процент сам по себе не означает реального предпочтения. Решение принимается по p-значению: если p < 0.05, предпочтение статистически значимо. В противном случае нельзя утверждать, что у вас было значимое предпочтение (результат около 50% находится в пределах случайности).

Также показывается общее время, затраченное на тест.

Общий доступ к тесту

Нажмите Share this test, чтобы скопировать URL в буфер обмена. Этот URL восстанавливает оба pipeline эффектов и открывает слепой тест, поэтому получатель сможет выполнить то же сравнение pipeline. Поделиться можно в любой момент: на экране настройки перед запуском или после завершения. Если вы делитесь до запуска, главным объектом общего доступа является сравнение двух pipeline; перед началом проверьте число испытаний. Если вы делитесь после завершения теста, ваш результат тоже включается, и получатель увидит его перед тем, как пройти тот же тест самостоятельно.

Для общего доступа нужны оба pipeline и Test name. Благодаря этому передаваемое сравнение имеет смысл и может быть воспроизведено на другой стороне.

Как использовать URL общего теста:

Веб-приложение: откройте общий URL в браузере. EffeTune восстановит оба pipeline и автоматически откроет Double Blind Test.
Настольное приложение: скопируйте общий URL, переключитесь в EffeTune и вставьте его через Правка > Вставить, Ctrl+V (в macOS Command+V) или кнопку Вставить эффекты на панели инструментов. EffeTune прочитает URL из буфера обмена, восстановит оба pipeline и откроет Double Blind Test. Вставляйте URL, когда панель Double Blind Test еще не открыта.

← Назад к README

Как использовать Double Blind Test