Double Blind Test에서는 자신이 어느 쪽을 듣고 있는지 모르는 상태로 Pipeline A와 Pipeline B를 귀로 비교할 수 있습니다. “차이가 들리는 것 같다”는 느낌이 실제로 구분 가능한 차이인지, 그리고 어느 쪽을 정말 더 선호하는지 선입견을 배제하고 확인하기 위한 기능입니다.

테스트는 두 종류가 있습니다.

ABX Test: 두 Pipeline을 안정적으로 구분할 수 있는지 확인합니다.
A/B Preference Test: 어느 쪽인지 모르는 상태에서 더 선호하는 쪽을 선택합니다.

어느 테스트든 EffeTune이 응답을 기록하고, p 값과 함께 결과가 통계적으로 유의한지 표시합니다.

두 Pipeline 준비하기

테스트는 AB 파이프라인 기능 사용에서 설명한 두 Pipeline을 비교합니다.

Pipeline A와 Pipeline B에는 각각 최소 하나의 이펙트가 필요합니다.
비교하려는 두 설정을 하나는 Pipeline A에, 다른 하나는 Pipeline B에 준비합니다. 테스트하려는 한 가지 차이(예: With EQ와 Without EQ)를 제외한 나머지는 양쪽을 맞춰 두면 그 차이만 검증할 수 있습니다.
A/B Preference Test에서는 두 설정 중 어느 쪽을 Pipeline A에 넣고 어느 쪽을 Pipeline B에 넣어도 괜찮습니다. 테스트 중에는 각 trial마다 어느 Pipeline을 A 또는 B로 제시할지 무작위로 다시 정하므로, 어느 위치도 유리하거나 불리하지 않습니다. 설정을 서로 바꾸면 결과에 표시되는 승리 Pipeline 라벨도 바뀌지만, 통계적 해석은 달라지지 않습니다. 중요한 것은 어느 Pipeline에 어떤 설정을 넣었는지 기억해 두는 것입니다. 결과에는 Pipeline A와 Pipeline B 중 어느 쪽이 유의하게 선호되었는지가 표시되므로, 이를 자신의 설정과 대조해 어떤 소리를 더 선호했는지 판단합니다. 명확한 결과는 대개 실제로 선호를 가르는 차이를 일관되게 선택할 수 있었다는 뜻입니다. 두 소리가 비슷하게 들리거나 선택이 흩어지면 보통 유의한 선호로 나타나지 않습니다.
테스트 패널은 언제든 열 수 있지만, 양쪽 Pipeline이 준비될 때까지 시작 버튼은 비활성화됩니다. Pipeline B가 없으면 그에 대한 안내가 표시됩니다.

테스트 열기

Web App: Effect Pipeline 헤더에 있는 A/B 토글 버튼(현재 Pipeline에 따라 “A” 또는 “B”로 표시되는 버튼) 바로 오른쪽의 ▼ 버튼을 누르고, 열린 메뉴에서 Double Blind Test를 선택합니다.
데스크톱 앱: 위의 ▼ 메뉴뿐 아니라 파일 메뉴의 Double Blind Test에서도 열 수 있습니다.

테스트가 열려 있는 동안에는 어떤 이펙트가 활성화되어 있는지 보이지 않도록 Effect Pipeline 표시가 숨겨지며, 블라인드 상태가 유지됩니다. × 버튼을 누르면 언제든 테스트를 종료하고 일반 화면으로 돌아갈 수 있습니다.

테스트 설정하기

설정 화면에서는 다음 항목을 지정합니다.

Test name: 어떤 차이를 테스트하는지 나타냅니다(예: With EQ vs. Without EQ). Effect Presets와 비슷한 방식으로 이름을 붙인 테스트를 저장, 불러오기, 삭제할 수 있습니다. 저장된 테스트에는 두 Pipeline과 테스트 횟수가 포함되므로 나중에 같은 비교를 다시 불러올 수 있습니다. 테스트를 공유하려면 테스트 이름이 필요합니다.
Your name: 선택 사항입니다. 결과에 표시됩니다. 비워 두면 Anonymous가 됩니다.
Number of tests: 몇 번의 trial을 수행할지 입력란 또는 슬라이더로 지정합니다. 횟수가 많을수록 결과는 더 신뢰할 수 있지만 시간도 더 걸립니다. 기본값은 20입니다.

Start ABX Test 또는 Start A/B Preference Test를 누르면 시작됩니다.

주의: 여기서의 A와 B는 Effect Pipeline의 Pipeline A, Pipeline B와 별개의 것입니다. 각 trial마다 두 Pipeline 중 어느 쪽을 A로, 어느 쪽을 B로 배정할지 무작위로 다시 정하며, 그 대응 관계는 화면에 표시되지 않습니다. 따라서 지금 A로 들리는 소리가 어느 Pipeline인지 알 수 없고, “A는 Pipeline A일 것”이라고 짐작할 수도 없습니다. 이렇게 어느 쪽을 듣고 있는지 모르는 상태가 유지됩니다.

오디오 재생하기

테스트는 Pipeline을 전환할 뿐이므로, 음악은 평소처럼 준비합니다.

음악 파일을 드래그 앤 드롭하거나 파일 메뉴에서 열기
물리적 오디오 소스에서 EffeTune으로 오디오 입력하기

참고용으로 오디오 장치의 샘플 레이트가 테스트 화면에 표시됩니다.

ABX Test 진행하기

Switch to A, Switch to B, Switch to X 버튼으로 재생 중인 오디오를 전환합니다. X는 A 또는 B 중 하나와 같으며, 각 trial마다 무작위로 정해집니다.
X가 어느 쪽과 같은지 판단할 수 있을 때까지 원하는 만큼 전환하며 비교해 듣습니다.
X matches A 또는 X matches B를 누르면 응답이 기록되고 다음 trial로 넘어갑니다.

키보드로도 전환할 수 있습니다. A, B, X 키 또는 1, 2, 3 키(상단 숫자열 또는 숫자 키패드)를 누르면 해당 전환 버튼을 클릭했을 때와 같은 방식으로 재생 중인 샘플이 바뀝니다. 투표는 Q 키로 X matches A, W 키로 X matches B를 선택할 수 있습니다.

A/B Preference Test 진행하기

Switch to A와 Switch to B로 두 소리를 비교합니다(이 모드에는 X가 없습니다).
선호가 정해지면 Prefer A 또는 Prefer B를 누릅니다.

키보드로도 전환할 수 있습니다. A, B 키 또는 1, 2 키(상단 숫자열 또는 숫자 키패드)로 재생 중인 샘플을 전환할 수 있습니다. 투표는 Q 키로 Prefer A, W 키로 Prefer B를 선택할 수 있습니다.

결과 읽기

모든 trial이 끝나면 결과가 표시됩니다.

ABX Test: 정답률과 정답 수／전체 횟수, 단측 이항 검정의 p 값이 표시됩니다. p < 0.05이면 결과가 통계적으로 유의하며, 답변이 우연만으로 설명되기 어렵기 때문에 두 Pipeline을 구분할 수 있었다고 말할 수 있습니다. 그렇지 않으면 구분할 수 있었다고 말할 수 없습니다.
A/B Preference Test: 더 많이 선택된 Pipeline(동수일 때는 Pipeline A로 표시)과 그 선택 횟수(횟수／전체), 양측 이항 검정의 p 값이 표시됩니다. 표시되는 비율은 이긴 쪽을 나타내므로 항상 50% 이상이며, 비율이 높다는 사실만으로 실제 선호가 있다는 뜻은 아닙니다. 판단은 p 값으로 합니다. p < 0.05이면 선호에 유의한 치우침이 있었다고 말할 수 있습니다. 그렇지 않으면 유의한 선호가 있었다고 말할 수 없습니다(50% 근처의 결과는 우연의 범위입니다).

테스트에 걸린 총 시간도 함께 표시됩니다.

테스트 공유하기

Share this test를 누르면 URL이 클립보드에 복사됩니다. 이 URL은 두 이펙트 Pipeline을 재현하고 블라인드 테스트를 여는 URL이므로, 받은 사람은 같은 Pipeline 비교를 시도할 수 있습니다. 공유는 시작 전 설정 화면에서도, 테스트 종료 후에도 할 수 있습니다. 시작 전에 공유하는 경우 공유의 핵심은 두 Pipeline에 의한 비교입니다. 시작 전에 테스트 횟수를 확인하세요. 테스트를 완료한 뒤 공유하면 자신의 결과도 포함되며, 받은 사람은 그 결과를 확인한 뒤 직접 같은 Pipeline 비교를 시도할 수 있습니다.

공유하려면 두 Pipeline과 테스트 이름이 필요합니다. 그래야 공유된 비교가 의미를 가지며 상대방 환경에서도 재현될 수 있습니다.

공유된 테스트 URL을 사용하는 방법:

Web App: 공유된 URL을 브라우저에서 엽니다. EffeTune이 두 Pipeline을 복원하고 Double Blind Test를 자동으로 엽니다.
데스크톱 앱: 공유된 URL을 복사하고 EffeTune으로 전환한 뒤 편집 > 붙여넣기, Ctrl+V(macOS에서는 Command+V) 또는 도구 모음의 이펙트 붙여넣기 버튼으로 붙여넣습니다. EffeTune이 클립보드의 URL을 읽고 두 Pipeline을 복원한 다음 Double Blind Test를 엽니다. URL 붙여넣기는 Double Blind Test 패널이 아직 열려 있지 않은 상태에서 수행하세요.

← README로 돌아가기

Double Blind Test 사용법