이중 맹검 테스트 사용 가이드

이중 맹검 테스트를 사용하면 파이프라인 A와 파이프라인 B를 귀로 직접 비교할 수 있습니다. “차이가 들리는 것 같다”는 인상이 실제로 구분 가능한 차이인지, 그리고 어느 파이프라인을 정말 더 선호하는지를 선입견 없이 검증하는 기능입니다.

두 가지 테스트 방식을 제공합니다:

ABX 테스트 – 두 파이프라인을 일관되게 구분할 수 있는지 확인합니다.
A/B 선호도 테스트 – 어느 쪽이 어느 파이프라인인지 모르는 상태에서 더 마음에 드는 쪽을 선택합니다.

두 방식 모두 응답을 기록하고 p 값을 계산해 결과가 통계적으로 유의미한지 보여 줍니다.

두 파이프라인 준비하기

테스트는 AB 파이프라인 기능 사용에서 설명하는 두 파이프라인을 비교합니다:

파이프라인 A와 파이프라인 B에 각각 최소 하나 이상의 이펙트가 있어야 합니다.
한 설정은 파이프라인 A에, 다른 설정은 파이프라인 B에 넣고 나머지 조건은 모두 똑같이 맞추세요(예: EQ 켜짐 대 EQ 꺼짐). 그러면 확인하려는 차이만 테스트할 수 있습니다.
파이프라인 A와 파이프라인 B에 각각 어떤 설정을 넣었는지 기억해 두세요. A/B 선호도 테스트에서는 결과에 파이프라인 A와 파이프라인 B 중 어느 쪽이 유의미하게 선호되었는지 표시됩니다.
파이프라인 A와 파이프라인 B에 각각 하나 이상의 이펙트가 있어야 이중 맹검 테스트 메뉴와 시작 버튼이 활성화됩니다.

테스트 열기

웹 앱: Effect Pipeline 헤더의 A/B 전환 버튼(현재 파이프라인에 따라 “A” 또는 “B”로 표시되는 버튼) 바로 오른쪽에 있는 ▼ 버튼을 클릭한 뒤 메뉴에서 이중 맹검 테스트를 선택합니다.
데스크톱 앱: 동일한 ▼ 메뉴를 사용할 수 있으며, 파일 메뉴에서도 열 수 있습니다.

테스트가 열려 있는 동안에는 어떤 이펙트가 켜져 있는지 볼 수 없도록 이펙트 파이프라인 화면이 숨겨져 블라인드 상태가 유지됩니다. 언제든 × 버튼을 누르면 테스트를 닫고 일반 화면으로 돌아갈 수 있습니다.

테스트 설정하기

설정 화면에서는 다음 항목을 지정할 수 있습니다:

테스트 이름 – 비교하려는 차이(예: EQ 켜짐 vs. EQ 꺼짐)를 적습니다. 효과 프리셋과 같은 방식의 콤보박스로 동작하여 이름을 붙인 테스트를 저장, 불러오기, 삭제할 수 있습니다. 저장된 테스트에는 두 파이프라인과 테스트 횟수가 함께 보관되므로 나중에 동일한 비교를 다시 불러올 수 있습니다. 테스트를 공유하려면 테스트 이름이 반드시 있어야 합니다.
이름 – 선택 사항이며 결과 화면에 표시됩니다. 비워 두면 익명으로 표시됩니다.
테스트 횟수 – 실행할 시행 횟수를 입력란이나 슬라이더로 지정합니다. 횟수가 많을수록 결과의 신뢰도가 높아지지만 시간이 더 걸립니다. 기본값은 20입니다.
ABX 테스트에서 A/B 고정 – 기본적으로 켜져 있습니다. ABX 테스트 내내 A는 원래 파이프라인 A에, B는 원래 파이프라인 B에 고정됩니다. X는 매 시행마다 무작위로 선택됩니다. 체크를 해제하면 A와 B에 대응하는 파이프라인도 매 시행마다 무작위로 배정됩니다. 이 설정은 테스트를 저장하거나 공유할 때도 함께 보관됩니다.

ABX 테스트 시작 또는 A/B 선호도 테스트 시작을 누르면 시작됩니다.

참고: A/B 선호도 테스트에서는 이 체크박스의 설정과 관계없이 매 시행마다 A와 B에 대응하는 파이프라인이 무작위로 배정됩니다. 따라서 테스트의 A가 원래 파이프라인 A라고 단정할 수 없으며, 그 대응 관계는 화면에 표시되지 않습니다.

오디오 재생하기

테스트는 파이프라인만 전환하므로 음악은 평소와 같이 재생하면 됩니다:

음악 파일을 드래그 앤 드롭하거나 파일 메뉴에서 열기, 또는
외부 오디오 소스에서 EffeTune으로 오디오 입력하기.

참고용으로 현재 오디오 장치의 샘플레이트가 테스트 화면에 함께 표시됩니다.

ABX 테스트 진행하기

A로 전환, B로 전환, X로 전환 버튼을 사용해 실시간 오디오를 샘플 간에 전환합니다. X는 A 또는 B 중 하나와 동일하며 매 시행마다 무작위로 정해집니다.
X가 어느 쪽과 같은지 판단할 수 있을 때까지 원하는 만큼 번갈아 들어 봅니다.
X는 A와 같음 또는 X는 B와 같음을 클릭하면 답변이 기록되고 다음 시행으로 넘어갑니다.

키보드로도 전환할 수 있습니다. A, B, X 키 또는 1, 2, 3 키(상단 숫자열이나 숫자 키패드)를 누르면 해당 전환 버튼을 클릭한 것처럼 활성 샘플이 바뀝니다. 투표할 때는 Q 키로 X는 A와 같음, W 키로 X는 B와 같음을 선택할 수 있습니다.

A/B 선호도 테스트 진행하기

A로 전환과 B로 전환 버튼으로 두 샘플을 비교합니다(이 모드에는 X가 없습니다).
어느 쪽이 더 마음에 드는지 결정했으면 A 선호 또는 B 선호를 클릭합니다.

키보드로도 전환할 수 있습니다. A 또는 B 키, 혹은 1 또는 2 키(상단 숫자열이나 숫자 키패드)를 눌러 샘플을 전환하고, Q 키로 A 선호, W 키로 B 선호에 투표할 수 있습니다.

결과 읽기

모든 시행이 끝나면 EffeTune이 결과를 표시합니다:

ABX 테스트 – 정답률(백분율 및 정답 수 / 전체 횟수)과 단측 이항 검정 p 값을 보여 줍니다. p < 0.05이면 결과가 통계적으로 유의미하므로 우연만으로 설명되기 어렵고 두 파이프라인을 실제로 구분해 냈다고 볼 수 있습니다. 그렇지 않으면 구분할 수 있었다고 말할 수 없습니다.
A/B 선호도 테스트 – 더 많이 선택된 파이프라인(동률이면 파이프라인 A로 표시)과 선택 비율(선택 횟수 / 전체 횟수), 그리고 양측 이항 검정 p 값을 보여 줍니다. 표시되는 백분율은 더 많이 선택된 쪽을 나타내므로 항상 50% 이상이며, 백분율이 높다는 것만으로는 실제 선호를 뜻하지 않습니다. 핵심은 p 값으로, p < 0.05이면 유의미한 선호가 있었다고 볼 수 있으며 그렇지 않으면 유의미한 선호가 있었다고 말할 수 없습니다(50% 부근의 결과는 우연의 범위입니다).

테스트에 소요된 총 시간도 함께 표시됩니다.

테스트 공유하기

이 테스트 공유를 클릭하면 URL이 클립보드에 복사됩니다. 이 URL은 두 이펙트 파이프라인을 그대로 재현하고 블라인드 테스트를 바로 열어 주므로, 링크를 받은 사람도 동일한 파이프라인 비교를 진행할 수 있습니다. 공유는 시작하기 전 설정 화면에서도, 테스트를 마친 뒤에도 언제든 할 수 있습니다. 시작하기 전에 공유하면 핵심은 두 파이프라인의 비교이므로, 시작하기 전에 테스트 횟수를 확인하세요. 테스트를 마친 뒤 공유하면 내 결과도 함께 포함되며, 받은 사람은 직접 테스트하기 전에 그 결과를 먼저 보게 됩니다.

공유한 비교가 의미를 갖고 상대방 쪽에서도 재현될 수 있도록, 공유하려면 두 파이프라인과 테스트 이름이 모두 있어야 합니다.

공유된 테스트 URL 사용 방법:

웹 앱: 공유된 URL을 브라우저에서 열면 EffeTune이 두 파이프라인을 복원하고 이중 맹검 테스트를 자동으로 엽니다.
데스크톱 앱: 공유된 URL을 복사한 뒤 EffeTune으로 전환하여 편집 > 붙여넣기, Ctrl+V(macOS에서는 Command+V) 또는 도구 모음의 이펙트 붙여넣기 버튼으로 붙여넣습니다. EffeTune이 클립보드에서 URL을 읽어 두 파이프라인을 복원하고 이중 맹검 테스트를 엽니다. 이중 맹검 테스트 패널이 열려 있지 않은 상태에서 URL을 붙여넣으세요.

← README로 돌아가기