ЛПре израчунавања статистике контраста одлучује се о произвољним нивоима значајности, а невољни нивои значајности зависе од вредности коју узима статистика контраста, а оба зависе од расподеле коју прате подаци.
Другим речима, произвољни нивои значајности увек ће бити исти за различите вредности тестне статистике, а невољни нивои значајности биће различити за различите вредности тестне статистике.
Не самовољно
Када се укаже на појам, карактеристика произвољности значи да вредност тог појма бира истраживач. априори (пре) извођење експеримента без ослањања на било какве повезане информације.
П-вредност и слонови
На пример, претпоставимо да желимо да тестирамо број слонова на ливади.
Пре него што видимо ливаду и слонове који стварно постоје, претпостављамо априори број слонова. Кажемо да може бити 10 слонова. Дакле, идемо на ливаду и избројимо број слонова које видимо: 1, 2, 3, 4, 5, 6 и 7.
Наша нулта хипотеза је била да је број слонова на ливади био једнак 10, а наша алтернативна хипотеза да их је било мање од 10. Дакле, с обзиром на то да постоје слонови, одбацили бисмо нулту хипотезу. Али … Шта ако на ливади постоје још 3 слона, али они су скривени иза дрвећа? Одбацили бисмо своју нулту хипотезу када би то могла бити истина да смо, уместо да бројимо слонове, израчунали максималан број слонова на које травњак може да прими.
Анализа
10 слонова изабраних на почетку било је потпуно произвољно, јер нисмо видели величину ливаде, па стога не знамо да ли је 10 слонова пуно или мало.
С друге стране, ако, с обзиром на величину ливаде, израчунамо максималан број слонова у који може да прими, знаћемо колика је максимална вредност како не бисмо одбацили нулту хипотезу. Тако ће проналажење стварног броја бити много лакше.
Поређење
Исто важи и за нивое значајности од 1%, 5% и 10% у поређењу са п-вредношћу. У многим контрастима бирамо ниво важности не узимајући у обзир било какве информације осим дистрибуције. Обично се користи 5% као ниво значајности (алфа), остављајући 95% узорка унутар интервала поузданости.
Проблем произвољног додељивања нивоа значајности исти је проблем као и код примера слонова. Ако верујемо да је тачно применити 5% (ниво значајности), можемо одбити нулту хипотезу када је минимум који треба одбити 2% (п-вредност). Направили бисмо погрешне резултате једноставно постављањем 5% уместо минималне вредности коју треба одбити (2%).
Другим речима, закључујемо да на ливади има мање од 10 слонова, али у стварности постоје још 3 слона, али они су скривени. Дакле, много је брже израчунати који је максимални или минимални ниво значајности за који не бисмо одбацили или бисмо одбацили нулту хипотезу.
Правило одбијања
Ако је вредност - стр < ниво значајности => одбијање Х0.
Ако је вредност - стр > ниво значајности => Нема одбијања Х0.