Прогнозы

Одна проверяемая гипотеза: мем, начавший распространяться, перейдёт в реальность — появится подтверждённая связь с новостным трендом за 7 суток. Критерии зафиксированы заранее (docs/forecast-contract.md); промахи публичны и не удаляются.

Открытых

Попаданий

307

Промахов

1070

Brier score

0.2638 (0.255–0.2736)

Skill vs база

-0.5228

Калибровка: предсказанная вероятность против фактической частоты

Разрешённые прогнозы разбиты на равные по размеру группы по предсказанной вероятности. У откалиброванной модели «предсказано» ≈ «сбылось» в каждой строке; интервал — 95% CI Уилсона (мало исходов → широкий, и это честно).

Предсказано	Сбылось	Исходов	95% CI
35%	25%	689	22–28%
50%	20%	688	17–23%

Контракт №2: перелом → важность

Тренд в резком ускорении с локальной значимостью достигнет национальной (4/5) за 48 часов. Статистика — по действующей версии контракта (v1.1, с 17.07 19:51 UTC — момента фактического деплоя нового триггера). Прогнозы, порождённые прежним триггером, в табло не входят: часть аннулирована с публичной причиной, остальные исключены по признаку «создан прежней логикой». Уточнено 26.07: прежняя граница стояла на 12 часов раньше деплоя, из-за чего в табло попадали 18 прогнозов старого триггера — все с исходом «попал» (отрицательный исход за это окно наступить не мог), что завышало долю попаданий. Сами прогнозы остаются публичными.

Открытых

Попаданий

590

Промахов

5168

Brier score

0.092 (0.0859–0.0984)

Skill vs база

-0.0001

⚠ Правило разметки исхода изменилось: «попал» теперь засчитывается только по свидетельству ИЗ окна прогноза (прежнее правило принимало наблюдение значимости в любой момент, включая уже после дедлайна). Brier и skill выше посчитаны только по 5758 строкам нового правила; ещё 1127 разрешённых прогнозов размечены прежним правилом и в эти числа не входят — они остаются публичными в списке. Два поколения в один ряд не сводятся: они отвечают на разные вопросы.

Контракт №3: security → патч за 7 дней

Для уязвимости HIGH/CRITICAL из tech-выпуска, известной OSV, но ещё без фикса, исправленная версия появится за 7 суток от публикации advisory. Резолв — по api.osv.dev (внешний источник, не наши же данные); выборка смещена к open-source экосистемам, покрытым OSV. Калибровка предварительная — база уточнится бэктестом по истории OSV.

Открытых

Попаданий

Промахов

Brier score

0.25 (0.25–0.25)

Skill vs база

-0.0376

⏳ открытперелом → важностьуверенность 10% · базовая частотадедлайн 19 сент., 10:22 UTC

Тренд «Erro ao guardar comida na geladeira pode estragar alimentos» в переломе: достигнет национальной+ значимости (4/5) до 19.09 10:22 UTC

T0: 17 сент., 10:22 UTC · 114 док · 83 ист · ускорение 0.6 · значимость на T0: 2

Что опровергнет: наша собственная LLM-оценка значимости не достигнет 4/5 до дедлайна

Кто измеряет исход: наша же LLM-оценка значимости — самооценка, не внешний источник

След прогноза →

⏳ открытперелом → важностьуверенность 10% · базовая частотадедлайн 19 сент., 19:22 UTC

Уверенность — константа контракта, а не модель: одно и то же число на всех прогнозах одного типа. Для «мем → реальность» оно получено бэктестом; для «перелом → важность» исторический бэктест невозможен (правило разметки не восстановимо задним числом), там число выбрано осознанно неинформированным; для «патч за 7 дней» — интерим до бэктеста по истории OSV. Пока ставка постоянна, skill против базовой частоты не может быть положительным ни при каких данных — это свойство арифметики, а не качества конвейера. Модель публикуется, только когда побьёт базу на отложенной выборке.

Аннулированные (∅) не считаются ни попаданием, ни промахом, но означают разное: у «мем → реальность» — сбой данных (кластер скрыт модерацией); у «перелом → важность» — исчезновение тренда, то есть информативное цензурирование (пропадают не случайные строки); у «патч за 7 дней» — разрыв покрытия проверками. Смешивать их в «технический мусор» значило бы прятать смещение.