ブラインドテストの使い方

ブラインドテストでは、どちらを聴いているか分からない状態で パイプラインA と パイプラインB を聴き比べられます。「違いが聞こえた気がする」のが本当に聞き分けているのか、どちらを本当に好んでいるのかを、思い込みを排して確かめるための機能です。

テストは2種類あります。

ABXテスト … 2つのパイプラインを安定して聞き分けられるかを調べます。
A/B比較テスト … どちらが好みかを、どちらか分からないまま選びます。

どちらの場合もEffeTuneが回答を記録し、p値とあわせて結果が統計的に有意かどうかを表示します。

2つのパイプラインを準備する

テストは ABパイプライン機能の使用で説明している2つのパイプラインを比較します。

パイプラインA と パイプラインB には、それぞれ少なくとも1つのエフェクトが必要です。
比較したい2つの設定を、片方をパイプラインAに、もう片方をパイプラインBに用意します。テストしたい1点（例: EQあり と EQなし）以外は両方をそろえておくと、その違いだけを検証できます。
A/B比較テスト では、2つの設定のどちらをパイプラインAに、どちらをBに入れても構いません。テスト中はどちらをA・Bとして提示するかが試行ごとにランダムに決まるため、どちらに置いても有利・不利はありません。設定を入れ替えると、結果に表示される勝者のパイプライン名も入れ替わりますが、統計的な解釈は変わりません。重要なのは、どちらのパイプラインに何を設定したかを覚えておくことです。結果には「パイプラインAとBのどちらが有意に好まれたか」が表示されるので、それを自分の設定と照らし合わせて、どちらの音を好んだのかを判断します。はっきりした結果は、多くの場合、実際に好みを分ける差を一貫して選べたことを示します。両者が同じように聞こえたり、選択がばらついたりすると、通常は有意な好みとしては表れません。
テストパネルはいつでも開けますが、両方のパイプラインがそろうまで開始ボタンは無効のままです。パイプラインBがない場合は、その旨の案内が表示されます。

テストを開く

Webアプリ: Effect PipelineヘッダーにあるA/B切り替えボタン（現在のパイプラインに応じて「A」または「B」と表示されているボタン）のすぐ右の ▼ ボタンを押し、開いたメニューから ブラインドテスト を選びます。
デスクトップアプリ: 上記の ▼ メニューに加えて、ファイル メニューの ブラインドテスト からも開けます。

テストを開いている間は、どのエフェクトが有効かが見えないようにエフェクトパイプラインの表示が隠れ、ブラインドの状態が保たれます。× ボタンを押せばいつでもテストを終了し、通常の画面に戻れます。

テストを設定する

設定画面では次の項目を指定します。

テスト名 … 何の違いを試すか（例: EQありと EQなし）を表します。Effect Presetと同じ操作感で、名前を付けたテストを保存・読み込み・削除できます。保存したテストには両方のパイプラインとテスト回数が含まれるので、同じ比較を後から呼び出せます。テストを共有するにはテスト名が必要です。
お名前 … 任意です。結果に表示されます。空欄のときは匿名になります。
テスト回数 … 何回試行するかを、入力欄またはスライダーで指定します。回数が多いほど結果は信頼できますが、時間もかかります。既定値は20です。

ABXテストを開始 または A/B比較テストを開始 を押すと始まります。

注意: ここでの A・B は、Effect PipelineのパイプラインA・パイプラインBとは別のものです。試行ごとに、2つのパイプラインのどちらをA、どちらをBにするかがランダムに決め直され、その対応は画面には出ません。今Aとして聴こえている音がどちらのパイプラインなのかは分からないため、「AはパイプラインAだろう」と当たりをつけることもできません。こうして、どちらを聴いているか分からない状態が保たれます。

音声を再生する

テストはパイプラインを切り替えるだけなので、音楽はいつもどおり用意します。

音楽ファイルをドラッグ＆ドロップする（またはファイルメニューから開く）か、
物理的なソースからEffeTuneに音声を入力します。

参考として、オーディオデバイスのサンプルレートがテスト画面に表示されます。

ABXテストを行う

Aに切り替え・Bに切り替え・Xに切り替え の各ボタンで、再生中の音声を切り替えます。X はAかBのどちらかと同じで、試行ごとにランダムに決まります。
X がどちらと同じか分かるまで、何度でも切り替えて聴き比べます。
XはAと同じ または XはBと同じ を押すと回答が記録され、次の試行に進みます。

切り替えはキーボードでも行えます。A・B・X キー、または 1・2・3 キー（最上段またはテンキー）を押すと、対応する切り替えボタンをクリックしたときと同じように再生中のサンプルが切り替わります。投票は Q キーで XはAと同じ、W キーで XはBと同じ を選べます。

A/B比較テストを行う

Aに切り替え・Bに切り替え で2つの音を比べます（このモードにXはありません）。
好みが決まったら Aを選ぶ または Bを選ぶ を押します。

切り替えはキーボードでも行えます。A・B キー、または 1・2 キー（最上段またはテンキー）で再生中のサンプルを切り替えられます。投票は Q キーで Aを選ぶ、W キーで Bを選ぶ を選べます。

結果を読む

すべての試行が終わると、結果が表示されます。

ABXテスト … 正答率と正答数／回数、片側二項検定のp値が表示されます。p < 0.05 なら結果は統計的に有意で、回答が偶然だけでは説明しにくく、2つのパイプラインを聞き分けられたといえます。そうでない場合は、聞き分けられたとは言えません。
A/B比較テスト … より多く選ばれたパイプライン（同数の場合はパイプラインAとして表示）と、その選択回数（回数／総数）、両側二項検定のp値が表示されます。表示される割合は勝った側を示すため常に50%以上になり、割合が高いこと自体は好みがあることを意味しません。判断はp値で行います。p < 0.05 なら好みに有意な偏りがあったといえます。そうでない場合は、有意な好みがあったとは言えません（50%付近の結果は偶然の範囲です）。

テストにかかった合計時間もあわせて表示されます。

テストを共有する

このテストを共有 を押すと、URLがクリップボードにコピーされます。このURLは 両方のエフェクトパイプラインを再現してブラインドテストを開く ので、受け取った人は同じパイプライン比較を試せます。共有は開始前の設定画面でも、テスト終了後でも行えます。開始前に共有する場合、共有される中心は2つのパイプラインによる比較です。テスト回数は開始前に確認してください。テストを完了してから共有した場合は、あなたの結果も含まれ、受け取った人はその結果を確認したうえで自分でも同じパイプライン比較を試せます。

共有するには両方のパイプラインとテスト名が必要です。これにより、共有された比較が意味を持ち、相手の手元で再現できるようになります。

共有されたテストURLを使う方法:

Webアプリ: 共有されたURLをブラウザで開きます。EffeTuneが両方のパイプラインを復元し、ブラインドテストを自動で開きます。
デスクトップアプリ: 共有されたURLをコピーし、EffeTuneに切り替えてから 編集 > 貼り付け、Ctrl+V（macOSでは Command+V）、またはツールバーの エフェクトを貼り付け ボタンで貼り付けます。EffeTuneがクリップボードのURLを読み取り、両方のパイプラインを復元してブラインドテストを開きます。URLの貼り付けは、ブラインドテストのパネルがまだ開いていない状態で行ってください。

← READMEに戻る