Double Blind Test का उपयोग कैसे करें

Double Blind Test में आप यह जाने बिना Pipeline A और Pipeline B को सुनकर तुलना कर सकते हैं कि अभी कौन-सी पाइपलाइन सुनाई दे रही है। इससे यह जांचने में मदद मिलती है कि जो अंतर आपको सुनाई देता लगता है वह सचमुच पहचाना जा सकता है या नहीं, और आप वास्तव में किसी एक पाइपलाइन को पसंद करते हैं या नहीं।

दो तरह के परीक्षण उपलब्ध हैं।

• ABX Test - जांचता है कि आप दोनों पाइपलाइनों को भरोसेमंद तरीके से अलग पहचान सकते हैं या नहीं।
• A/B Preference Test - यह जाने बिना कि कौन-सी पाइपलाइन कौन है, वह ध्वनि चुनते हैं जिसे आप पसंद करते हैं।

दोनों मामलों में EffeTune आपके जवाब दर्ज करता है और p-value दिखाता है, ताकि आप देख सकें कि परिणाम सांख्यिकीय रूप से महत्वपूर्ण है या नहीं।

दोनों pipelines तैयार करना

यह परीक्षण AB Pipeline फीचर्स का उपयोग में बताई गई दो पाइपलाइनों की तुलना करता है।

• Pipeline A और Pipeline B दोनों में कम से कम एक effect होना चाहिए।
• जिन दो settings की तुलना करनी है, उनमें से एक को Pipeline A में और दूसरी को Pipeline B में रखें। जिस एक बात को जांचना है (उदाहरण: EQ के साथ और EQ के बिना) उसे छोड़कर बाकी सब कुछ दोनों में समान रखें, ताकि केवल उसी अंतर की जांच हो।
• A/B Preference Test में यह मायने नहीं रखता कि दो settings में से कौन-सी Pipeline A में रखी है और कौन-सी Pipeline B में। परीक्षण के दौरान हर trial में A और B samples को फिर से यादृच्छिक रूप से सौंपा जाता है, इसलिए किसी स्थान को फायदा या नुकसान नहीं होता। अगर आप settings को आपस में बदलेंगे, तो परिणाम में दिखाई जाने वाली winning Pipeline label भी बदलेगी, लेकिन सांख्यिकीय अर्थ नहीं बदलेगा। जरूरी यह है कि आपको याद रहे कि किस पाइपलाइन में कौन-सी setting रखी थी। परिणाम बताता है कि Pipeline A और Pipeline B में से किसे सांख्यिकीय रूप से अधिक पसंद किया गया, इसलिए उसे अपनी settings से मिलाकर समझें कि आपको कौन-सी ध्वनि पसंद आई। साफ परिणाम आम तौर पर दिखाता है कि आपने सच में पसंद पैदा करने वाले अंतर को लगातार चुना। अगर दोनों एक जैसी सुनाई देती हैं या आपकी choices बदलती रहती हैं, तो आम तौर पर कोई महत्वपूर्ण पसंद नहीं दिखेगी।
• परीक्षण पैनल कभी भी खोला जा सकता है, लेकिन दोनों पाइपलाइनों के उपलब्ध होने तक शुरू करने वाले बटन निष्क्रिय रहते हैं। अगर Pipeline B मौजूद नहीं है, तो इसकी सूचना दिखाई जाती है।

परीक्षण खोलना

• Web app: Effect Pipeline की शीर्ष पंक्ति में A/B बदलने वाले बटन के ठीक दाईं ओर ▼ बटन पर क्लिक करें (यह बटन मौजूदा पाइपलाइन के अनुसार “A” या “B” दिखाता है), फिर खुलने वाले मेनू से Double Blind Test चुनें।
• Desktop app: वही ▼ menu उपलब्ध है, और परीक्षण को फ़ाइल menu से भी खोला जा सकता है।

परीक्षण खुला रहने पर effect pipeline का प्रदर्शन छिपा दिया जाता है, ताकि आप यह न देख सकें कि कौन-से effects active हैं और अंध परीक्षण की स्थिति बनी रहे। सामान्य दृश्य पर लौटने के लिए कभी भी × बटन से परीक्षण बंद करें।

परीक्षण की सेटिंग करना

सेटिंग स्क्रीन में ये विकल्प होते हैं।

• Test name - यह बताता है कि आप किस अंतर की जांच कर रहे हैं (उदाहरण: With EQ vs. Without EQ)। चयन-बॉक्स Effect Presets की तरह काम करता है: आप नाम दिए गए परीक्षणों को सहेज, फिर से खोल, और हटा सकते हैं। सहेजे गए परीक्षण में दोनों पाइपलाइन और परीक्षणों की संख्या शामिल रहती है, इसलिए वही तुलना बाद में फिर से खोली जा सकती है। परीक्षण साझा करने के लिए test name जरूरी है।
• Your name - वैकल्पिक। परिणाम में दिखाई देता है; खाली छोड़ने पर Anonymous बन जाता है।
• Number of tests - कितने trials चलाने हैं (box या slider से तय करें)। ज्यादा trials परिणाम को अधिक भरोसेमंद बनाते हैं, लेकिन समय भी अधिक लगता है। मूल मान 20 है।

शुरू करने के लिए Start ABX Test या Start A/B Preference Test दबाएं।

Note: परीक्षण में दिखने वाले A और B, Effect Pipeline की Pipeline A और Pipeline B से अलग हैं। हर trial में फिर से यादृच्छिक रूप से तय होता है कि किस पाइपलाइन की ध्वनि A बनेगी और किसकी B, और यह mapping screen पर नहीं दिखाई जाती। इसलिए आप यह नहीं जान सकते कि अभी A के रूप में कौन-सी वास्तविक पाइपलाइन सुनाई दे रही है। परीक्षण का “A” जरूरी नहीं कि Pipeline A हो; यही अंध परीक्षण की स्थिति बनाए रखता है।

Audio चलाना

परीक्षण केवल पाइपलाइनों को बदलता है; संगीत हमेशा की तरह आप देते हैं।

• Music file को drag & drop करें (या फ़ाइल menu से खोलें), या
• किसी physical source से EffeTune में audio भेजें।

संदर्भ के लिए परीक्षण स्क्रीन पर audio device sample rate दिखाई देता है।

ABX Test चलाना

1. चल रही audio को samples के बीच बदलने के लिए Switch to A, Switch to B, और Switch to X बटनों का उपयोग करें। X, A या B में से किसी एक जैसा होता है और हर trial में यादृच्छिक रूप से चुना जाता है।
2. जब तक आपको पता न चल जाए कि X किस sample से match करता है, तब तक जितनी बार चाहें बदलकर सुनें।
3. अपना जवाब दर्ज करने के लिए X matches A या X matches B पर क्लिक करें। इसके बाद अगला trial शुरू हो जाता है।

कीबोर्ड से भी बदलाव किया जा सकता है। A, B, या X कुंजी दबाएं, या 1, 2, या 3 कुंजी (ऊपरी पंक्ति या अंकीय कीपैड) दबाएं; सक्रिय sample उसी तरह बदलेगा जैसे संबंधित बदलने वाले बटन पर क्लिक करने से होता है। जवाब देने के लिए Q दबाकर X matches A, या W दबाकर X matches B चुनें।

A/B Preference Test चलाना

1. दोनों samples की तुलना करने के लिए Switch to A और Switch to B बटनों का उपयोग करें (इस mode में X नहीं होता)।
2. जब तय हो जाए कि आपको कौन-सा ज्यादा पसंद है, तो Prefer A या Prefer B पर क्लिक करें।

कीबोर्ड से भी बदलाव किया जा सकता है। सक्रिय sample बदलने के लिए A या B कुंजी दबाएं, या 1 या 2 कुंजी (ऊपरी पंक्ति या अंकीय कीपैड) दबाएं। जवाब देने के लिए Q दबाकर Prefer A, या W दबाकर Prefer B चुनें।

परिणाम पढ़ना

सभी trials पूरे होने पर EffeTune परिणाम दिखाता है।

• ABX Test - आपका स्कोर (प्रतिशत और correct / total) और one-sided binomial test की p-value दिखाई जाती है। अगर p < 0.05 है, तो परिणाम सांख्यिकीय रूप से महत्वपूर्ण होता है; यानी आपके जवाबों को केवल संयोग से समझाना मुश्किल है, और कहा जा सकता है कि आप पाइपलाइनों को अलग पहचान पाए। अन्यथा यह नहीं कहा जा सकता कि आप उन्हें अलग पहचान पाए।
• A/B Preference Test - जिस पाइपलाइन को ज्यादा बार चुना गया (tie होने पर Pipeline A के रूप में दिखाया जाता है), उसे कितनी बार चुना गया (count / total), और two-sided binomial test की p-value दिखाई जाती है। दिखाया गया प्रतिशत हमेशा 50% या उससे अधिक होता है, क्योंकि वह winning side को दिखाता है। इसलिए केवल प्रतिशत ज्यादा होना वास्तविक पसंद का प्रमाण नहीं है। निर्णय p-value से करें: अगर p < 0.05 है, तो आपकी पसंद महत्वपूर्ण है। अन्यथा यह नहीं कहा जा सकता कि आपकी कोई महत्वपूर्ण पसंद थी (50% के आसपास का परिणाम संयोग की सीमा में आता है)।

परीक्षण में लगा total time भी साथ में दिखाया जाता है।

परीक्षण साझा करना

Share this test पर क्लिक करने से URL क्लिपबोर्ड में कॉपी हो जाता है। यह URL दोनों effect pipelines को फिर से बनाकर अंध परीक्षण खोलता है, इसलिए जिसे यह URL मिलता है वह वही पाइपलाइन तुलना चला सकता है। आप परीक्षण शुरू करने से पहले सेटिंग स्क्रीन से या परीक्षण पूरा होने के बाद, कभी भी साझा कर सकते हैं। शुरू करने से पहले साझा करने पर मुख्य रूप से दो-पाइपलाइन तुलना साझा होती है; शुरू करने से पहले trials की संख्या की पुष्टि कर लें। परीक्षण पूरा करने के बाद साझा करने पर आपका परिणाम भी शामिल होता है, और प्राप्तकर्ता अपना परीक्षण लेने से पहले वह परिणाम देख सकता है।

साझा करने के लिए दोनों पाइपलाइन और test name जरूरी हैं, ताकि साझा तुलना अर्थपूर्ण हो और दूसरी तरफ फिर से बनाई जा सके।

साझा test URL इस्तेमाल करने का तरीका:

• Web app: साझा URL को browser में खोलें। EffeTune दोनों पाइपलाइनों को पुनर्स्थापित करता है और Double Blind Test अपने-आप खोलता है।
• Desktop app: साझा URL कॉपी करें, EffeTune पर जाएं, फिर संपादन > पेस्ट करें, Ctrl+V (macOS पर Command+V), या टूलबार के प्रभाव पेस्ट करें बटन से पेस्ट करें। EffeTune क्लिपबोर्ड से URL पढ़ता है, दोनों पाइपलाइनों को पुनर्स्थापित करता है, और Double Blind Test खोलता है। URL पेस्ट करते समय Double Blind Test पैनल पहले से खुला नहीं होना चाहिए।

← README पर वापस