Frieve EffeTune
Документация

Как использовать двойной слепой тест

Двойной слепой тест позволяет на слух сравнить Pipeline A и Pipeline B. Это контролируемый способ проверить, действительно ли различимо отличие, которое вам кажется слышимым, и действительно ли вы предпочитаете одну цепочку другой.

Доступны два типа тестов:

  • Тест ABX – проверяет, можете ли вы уверенно отличить две цепочки друг от друга.
  • Тест предпочтения A/B – позволяет выбрать, какая цепочка вам нравится больше, не зная, где какая.

В обоих случаях EffeTune записывает ваши ответы и показывает p-значение, чтобы вы могли увидеть, является ли результат статистически значимым.

Подготовка двух цепочек

Тест сравнивает две цепочки, описанные в разделе Использование функций AB Pipeline:

  • В Pipeline A и Pipeline B должно быть хотя бы по одному эффекту.
  • Поместите одну настройку в Pipeline A, а другую в Pipeline B, оставив всё остальное одинаковым (например, с EQ и без EQ), чтобы проверялось только нужное отличие.
  • Запомните, какую настройку вы поместили в Pipeline A, а какую в Pipeline B. В тесте предпочтения A/B результат показывает, было ли значимое предпочтение у Pipeline A или у Pipeline B.
  • Пункт меню «Двойной слепой тест» и кнопки запуска остаются неактивными, пока в Pipeline A и Pipeline B не будет хотя бы по одному эффекту.

Открытие теста

  • Веб-приложение: нажмите кнопку ▼ сразу справа от кнопки переключения A/B (кнопки, на которой показано “A” или “B” в зависимости от текущей цепочки) в заголовке Effect Pipeline, затем выберите Двойной слепой тест в открывшемся меню.
  • Настольное приложение: доступно то же меню ▼, а также тест можно открыть из меню Файл.

Пока тест открыт, отображение цепочки эффектов скрыто, чтобы вы не видели, какие эффекты активны, и тест оставался слепым. Тест можно закрыть в любой момент кнопкой ×, чтобы вернуться к обычному виду.

Настройка теста

На экране настройки доступны следующие элементы:

  • Название теста – описывает проверяемое отличие (например, с EQ и без EQ). Поле со списком работает так же, как пресеты эффектов: именованные тесты можно сохранять, загружать и удалять. Сохранённый тест содержит обе цепочки и число попыток, поэтому то же сравнение можно загрузить позже. Чтобы поделиться тестом, необходимо указать его название.
  • Ваше имя – необязательно. Отображается в результате; если оставить поле пустым, будет показано Аноним.
  • Число попыток – сколько попыток выполнить (задаётся в поле или ползунком). Чем больше попыток, тем надёжнее результат, но тем дольше длится тест. Значение по умолчанию — 20.
  • Фиксировать A/B в тестах ABX – Включено по умолчанию. На протяжении всего теста ABX образец A соответствует исходной Pipeline A, а B — исходной Pipeline B. X по-прежнему выбирается случайно в каждой попытке. Снимите флажок, чтобы назначение цепочек образцам A и B тоже определялось случайно в каждой попытке. Эта настройка сохраняется вместе с тестом и включается в ссылку для обмена.

Нажмите Начать тест ABX или Начать тест предпочтения A/B, чтобы начать.

Примечание: В тесте предпочтения A/B цепочки всегда назначаются образцам A и B случайно в каждой попытке, независимо от этого флажка. Поэтому A в тесте не обязательно соответствует исходной Pipeline A, а само соответствие остаётся скрытым.

Воспроизведение аудио

Тест только переключает цепочки; музыку вы воспроизводите как обычно:

  • перетащите музыкальный файл (или откройте его через меню Файл) или
  • подайте звук в EffeTune с физического источника.

Для справки на экране теста отображается частота дискретизации аудиоустройства.

Проведение теста ABX

  1. Кнопками Переключиться на A, Переключиться на B и Переключиться на X переключайте звучащий звук между образцами. X совпадает либо с A, либо с B; выбор выполняется случайно в каждой попытке.
  2. Переключайтесь сколько угодно раз, пока не поймёте, с каким образцом совпадает X.
  3. Нажмите X совпадает с A или X совпадает с B, чтобы записать ответ, — и начнётся следующая попытка.

Переключаться можно и с клавиатуры: нажмите клавишу A, B или X либо 1, 2 или 3 (верхний ряд или цифровая клавиатура), чтобы переключить активный образец так же, как соответствующей кнопкой. Для ответа нажмите Q для X совпадает с A или W для X совпадает с B.

Проведение теста предпочтения A/B

  1. Кнопками Переключиться на A и Переключиться на B сравните два образца (в этом режиме X нет).
  2. Решив, какой вариант вам нравится больше, нажмите Предпочитаю A или Предпочитаю B.

Переключаться можно и с клавиатуры: нажмите клавишу A или B либо 1 или 2 (верхний ряд или цифровая клавиатура), чтобы переключить активный образец. Для ответа нажмите Q для Предпочитаю A или W для Предпочитаю B.

Чтение результата

Когда все попытки завершены, EffeTune показывает результат:

  • Тест ABX – ваш результат (процент и число правильных ответов / всего) и p-значение одностороннего биномиального критерия. Если p < 0.05, результат статистически значим: ваши ответы вряд ли объясняются одной лишь случайностью, и вы смогли отличить цепочки друг от друга. В противном случае нельзя утверждать, что вы смогли их различить.
  • Тест предпочтения A/B – цепочка, выбранная чаще (при равенстве показывается Pipeline A), и сколько раз она была выбрана (число / всего), а также p-значение двустороннего биномиального критерия. Показанный процент всегда не меньше 50%, потому что он относится к выигравшей стороне, поэтому высокий процент сам по себе не означает реального предпочтения. Важно p-значение: если p < 0.05, ваше предпочтение значимо; в противном случае нельзя утверждать, что у вас было значимое предпочтение (результат около 50% — просто случайность).

Также показывается общее время, затраченное на тест.

Общий доступ к тесту

Нажмите Поделиться тестом, чтобы скопировать URL в буфер обмена. Этот URL воссоздаёт обе цепочки эффектов и открывает слепой тест, поэтому любой, кто его откроет, сможет провести то же сравнение цепочек. Поделиться можно в любой момент: на экране настройки до начала или после завершения теста. Если вы делитесь до начала, главное, что передаётся, — сравнение двух цепочек; перед началом проверьте число попыток. Если вы делитесь после завершения теста, в ссылку включается и ваш результат, и получатель увидит его до того, как пройдёт тест сам.

Чтобы поделиться тестом, нужны обе цепочки и название теста: так передаваемое сравнение имеет смысл и может быть воспроизведено на другой стороне.

Как использовать URL общего теста:

  • Веб-приложение: откройте общий URL в браузере. EffeTune восстановит обе цепочки и автоматически откроет двойной слепой тест.
  • Настольное приложение: скопируйте общий URL, переключитесь в EffeTune и вставьте его через Правка > Вставить, Ctrl+V (в macOS Command+V) или кнопку Вставить эффекты на панели инструментов. EffeTune прочитает URL из буфера обмена, восстановит обе цепочки и откроет двойной слепой тест. Вставляйте URL, когда панель двойного слепого теста ещё не открыта.

← Назад к README