Почему наш прогноз врёт, и мы это опубликовали

Любой прогноз легко назвать точным. Проверить это можно ровно одним способом: взять чужие находки — те, что собирали не мы и не для нас, — и посмотреть, стоял ли наш индекс выше в те дни, когда грибы действительно брали.

Мы так и сделали. А когда число получилось, задали себе вопрос, которого не хотелось: вдруг оно вышло не из погоды, а из календаря? Умеет ли модель хоть что-то, кроме «сейчас август, значит сезон»?

Первая версия проверки сама оказалась неправильной

Находок взяли 5447 — из GBIF, международной базы наблюдений за живой природой, куда данные попадают от гербариев, институтов и просто людей с телефоном. Дальше арифметика простая: считаем свой индекс в день находки и в её месте, потом — в другие дни того же места. Если модель права насчёт времени, день находки должен стоять выше случайного.

Первый прогон дал результат хуже случайного. По числу выходило, что монетка угадывает время лучше нашей модели.

Искать пошли в модели, а нашли в линейке. Часть контрольных дней лежала у самого края нашей истории погоды, и окно у них набиралось из одних нулей — модель сравнивала настоящий день с выдуманным морозом и сушью, который он побеждал ни за что. Починили измеритель, пересчитали заново.

Число, которое не льстит

У проверки два разных вопроса, и слепить их в одно число нельзя. Первый — угадали ли мы неделю: это то, ради чего прогноз и открывают, «на этих выходных да, а на прошлых нет». Второй — угадали ли мы месяц: нижняя планка, которую берёт настенный календарь, не зная ни одного градуса.

Неделя вышла 0,610 на 7 187 сравнениях при 0,500 у случайного угадывания, интервал 0,556–0,655. Месяц — 0,847, интервал 0,812–0,882.

Планку себе мы ставили 0,750 по неделе. Не дотянули. 0,610 — это выше монетки, но ниже того, что мы сами назвали бы рабочим. Написать «точность 61 %» было бы красивее и неправдой: это не проценты и не точность.

А что если убрать погоду совсем

Оставался неприятный вопрос: что, собственно, меряет 0,610?

Прогнали ту же выборку ещё дважды, на том же снимке погоды. Сначала — перемешав даты находок: календарь на месте, грибы по-прежнему «находят» в правильном месяце, но связь с погодой конкретного дня разорвана. Потом — с полностью случайными датами, чтобы проверить саму линейку: если она честная, случай должен дать около 0,500.

Случай дал 0,496. Линейка честная.

А перемешанные даты — тот самый календарь без погоды — дали 0,576 по неделе и 0,798 по месяцу. Наше боевое число по неделе 0,610. Разница 0,034, интервалы перекрываются на 0,046. Статистически это одно и то же.

Если совсем просто: 94 % нашего числа даёт календарь. Вклада погоды мы на этих данных не видим — он неотличим от нуля.

Оговорка, и она работает в обе стороны: до счёта дошли 709 находок из 5447. Остальные отброшены не по капризу — на те дни у нас просто нет погоды, наблюдения GBIF старше нашей истории замеров. Так что это не приговор модели. Это честный итог того, что мы пока сумели измерить.

Что мы с этим делаем

В обещаниях не меняем ничего — потому что менять нечего. Платный доступ и раньше открывал больше дней прогноза, а не «прогноз поточнее»: модель на всех тарифах одна. Продавать точность, которой нет, мы не стали бы и без этой проверки.

Сезонную часть оставляем как есть. 0,847 — это про месяц, и здесь модель работает; число говорит об этом честно.

А неделю будем перемерять. 709 находок против 5447 — мало для приговора в любую сторону, и с каждым сезоном история погоды растёт. Это не отговорка, а обязательство: число должно быть пересчитано, а не забыто вместе со страницей, где мы его напечатали.

Зачем вообще это публиковать

Сервис, который показывает только удачные замеры, ничем не отличается от сервиса, который не замеряет вовсе. Разница одна: первый об этом молчит.

У грибного прогноза хватает конкурентов с уверенными процентами и без всякой методики позади них. Мы выбрали обратное — показать способ, число и то место, где оно не дотягивает.

Дело не в скромности. Уверенное неверное число обходится дороже честного «пока не знаем»: человек поверит обещанной неделе, потратит выходной и бак бензина, а лес его не наградит. «Месяц угадываем, неделю внутри него — пока нет» звучит скучнее. Зато это можно проверить.