Не одному Богу известно

– Одному Богу известно! – ответил мне человек, которому я описал некий статистический факт о влиянии солнечных дней на определенный аспект нашей жизни. Я не стал возражать.

В жизни я часто встречаюсь с тем, что люди не хотят принимать, либо же неверно интерпретируют статистику.
Богу, несомненно, известно всё. Тем не менее, это не ограничивает круг знающих. Именно для этого и проводятся различные подсчеты и опросы.

Да, люди врут. Да, в опросах они врут еще чаще, чем в анкетах (пример – мужчины склонны завышать число партнерш, а женщины – занижать число партнеров). Но именно для этого существует объем выборки (количество опрошенных), где чьи-то отклонения исправляются законом больших чисел. Общий смысл закона больших чисел: совместное действие большого числа одинаковых и независимых случайных факторов приводит к результату, в пределе не зависящему от случая. По-русски – чем больше опрошенных – тем точнее результат, т.к. это сглаживает отклонения. Сколько? Ну, 10 000 уже очень хорошо.

Итак, чтобы было известно и нам, приведу рамки для статистического исследования, при которых ему уже можно верить.

1.       Исследование независимое (а не заказанное компанией, производящей что-то, что коррелирует с исследованием)
2.       Выборка достаточно большая и хорошо описанная (для оценки вкусовых качеств этой рыбы по мнению молодежи в Германии мы взяли 1000 мужчин в возрасте от 18 до 25 лет и 1000 женщин в возрасте от 18 до 25 лет, проживающих на территории Германии с рождения, с равномерным распределением по группам дохода, где от 30 до 35% составил средний класс, от 30 до 35% составил класс с высоким уровнем дохода и от 30 до 35% составил класс с низким уровнем дохода, при этом 50% опрошенных приходятся на городское население, а 50% на сельское и т.д.). Иначе можно взять 2 000 японцев, переехавших в Германию за последние 10 лет – им рыба точно больше понравится.
3.       Методика оценки понятна, задачи и цели поставлены четко, нет двойных отрицаний в тезисах, а лучше если отрицаний нет вообще.
4.       Применяется слепой метод (испытуемые не посвящаются в важные детали проводимого исследования), а еще лучше если двойной слепой метод (не только испытуемые, но и экспериментаторы остаются в неведении о важных деталях эксперимента до его окончания. Двойной слепой метод исключает неосознанное влияние экспериментатора на испытуемого, а также субъективизм при оценке экспериментатором результатов эксперимента.)
5.       Результаты исследования публикуются в открытом доступе.
6.       Есть четкое понимание как кто-то еще может повторить такое исследование (принимая во внимание невозможность воссоздания точно такой же ситуации при определенных условиях, например исследование, предлагавшее оценить Мона Лизу сразу после её создания и сейчас точно будет иметь разные результаты, т.к. сейчас уже неприлично сказать, что ты там ничего не находишь особенного).
7.       Исследователи не пытаются утаить ничего относительно эксперимента, а, наоборот, стремятся к гласности и получению объективной критики.

Сем простых правил – и вуаля – может стать известно и вам.

Leave a Reply