One testable hypothesis: a meme that has started spreading will cross into reality — a confirmed link to a news trend will appear within 7 days. The criteria were fixed in advance (docs/forecast-contract.md); misses are public and are never deleted.
Hypotheses are written in Russian (the original language); no translation is available yet — the original is shown.
Open
0
Hits
307
Misses
1070
Brier score
0.2638 (0.255–0.2736)
Skill vs base
-0.5228
Resolved forecasts are split into equal-size groups by predicted probability. For a calibrated model, “predicted” ≈ “observed” in every row; the interval is a 95% Wilson CI (few outcomes → wide, and that is honest).
| Predicted | Observed | Outcomes | 95% CI |
|---|---|---|---|
| 35% | 25% | 689 | 22–28% |
| 50% | 20% | 688 | 17–23% |
A sharply accelerating trend of local importance will reach national importance (4/5) within 48 hours. Statistics cover the current contract version (v1.1, from 17 Jul 19:51 UTC — the moment the new trigger was actually deployed). Forecasts produced by the previous trigger are excluded from this board: some were voided with a public reason, the rest are excluded as “created by the previous logic”. Clarified 26 Jul: the previous boundary sat 12 hours before the deploy, letting 18 old-trigger forecasts into the board — all with a “hit” outcome (a negative outcome could not occur in that window), inflating the hit rate. The forecasts themselves remain public.
Open
7
Hits
590
Misses
5168
Brier score
0.092 (0.0859–0.0984)
Skill vs base
-0.0001
⚠ The outcome-labelling rule has changed: a “hit” now counts only on evidence FROM the forecast window (the previous rule accepted an importance observation at any time, including after the deadline). The Brier and skill above are computed only over the 5758 rows under the new rule; another 1127 resolved forecasts are labelled under the previous rule and are not included — they remain public in the list. The two generations cannot be merged into one series: they answer different questions.
For a HIGH/CRITICAL vulnerability from the tech issue that is known to OSV but not yet fixed, a fixed version will appear within 7 days of the advisory being published. Resolution comes from api.osv.dev (an external source, not our own data); the sample is biased towards open-source ecosystems covered by OSV. Calibration is preliminary — the base rate will be refined by a backtest over OSV history.
Open
5
Hits
51
Misses
75
Brier score
0.25 (0.25–0.25)
Skill vs base
-0.0376
T0: 17 Sept, 10:22 UTC · 114 docs · 83 sources · acceleration 0.6 · importance at T0: 2
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
Confidence is a contract constant, not a model: the same number on every forecast of a given type. For “meme → reality” it comes from a backtest; for “inflection → importance” a historical backtest is impossible in principle (the labelling rule cannot be reconstructed retroactively), so the number was chosen deliberately uninformed; for “patch within 7 days” it is interim until a backtest over OSV history. While the stake is constant, skill against the base rate cannot be positive on any data — that is a property of arithmetic, not of the pipeline. A model will be published only once it beats the base on a held-out sample.
Voided forecasts (∅) count as neither hits nor misses, but they mean different things: for “meme → reality” — a data failure (the cluster was hidden by moderation); for “inflection → importance” — the trend disappearing, that is, informative censoring (the rows that vanish are not random); for “patch within 7 days” — a gap in check coverage. Lumping them together as “technical noise” would hide the bias.
T0: 17 Sept, 19:22 UTC · 28 docs · 20 sources · acceleration 1 · importance at T0: 1
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
T0: 18 Sept, 00:22 UTC · 80 docs · 34 sources · acceleration 0.6 · importance at T0: 2
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
T0: 18 Sept, 04:22 UTC · 143 docs · 91 sources · acceleration 0.6 · importance at T0: 2
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
T0: 18 Sept, 09:22 UTC · 8 docs · 5 sources · acceleration 0.6 · importance at T0: 1
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
Для CVE-2026-90509 (HIGH) появится исправленная версия в OSV до 20.09 10:16 UTC
T0 (advisory published): 13 Sept, 10:16 UTC · HIGH · CVSS 7.3
What would refute this: no fixed version appears in OSV before the deadline
Who measures the outcome: the external OSV registry — an arbiter independent of us
Для CVE-2026-90510 (HIGH) появится исправленная версия в OSV до 20.09 11:16 UTC
T0 (advisory published): 13 Sept, 11:16 UTC · HIGH · CVSS 8.3
What would refute this: no fixed version appears in OSV before the deadline
Who measures the outcome: the external OSV registry — an arbiter independent of us
T0: 18 Sept, 12:22 UTC · 37 docs · 3 sources · acceleration 0.6 · importance at T0: 1
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
Тренд «As notícias das 21h» в переломе: достигнет национальной+ значимости (4/5) до 20.09 12:22 UTC
T0: 18 Sept, 12:22 UTC · 25 docs · 10 sources · acceleration 0.8 · importance at T0: 1
What would refute this: our own LLM importance assessment does not reach 4/5 before the deadline
Who measures the outcome: our own LLM importance assessment — self-assessment, not an external source
Для CVE-2026-90579 (HIGH) появится исправленная версия в OSV до 20.09 19:16 UTC
T0 (advisory published): 13 Sept, 19:16 UTC · HIGH · CVSS 7.3
What would refute this: no fixed version appears in OSV before the deadline
Who measures the outcome: the external OSV registry — an arbiter independent of us
Для CVE-2026-90593 (HIGH) появится исправленная версия в OSV до 20.09 21:17 UTC
T0 (advisory published): 13 Sept, 21:17 UTC · HIGH · CVSS 7.3
What would refute this: no fixed version appears in OSV before the deadline
Who measures the outcome: the external OSV registry — an arbiter independent of us
Для CVE-2026-90601 (HIGH) появится исправленная версия в OSV до 20.09 23:16 UTC
T0 (advisory published): 13 Sept, 23:16 UTC · HIGH · CVSS 7.3
What would refute this: no fixed version appears in OSV before the deadline
Who measures the outcome: the external OSV registry — an arbiter independent of us
T0: 8 Jul, 18:46 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 8 Jul, 21:39 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 8 Jul, 21:51 UTC · 1 language · 3 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 8 Jul, 22:17 UTC · 2 languages · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 07:07 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 09:16 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 09:50 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 11:06 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 11:18 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 15:06 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 15:50 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 16:06 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 16:22 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 16:24 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 16:56 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 17:16 UTC · 1 language · 3 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 17:27 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 20:16 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 20:32 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 20:35 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 20:37 UTC · 1 language · 6 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:04 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:10 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:30 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:32 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:33 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:38 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 21:47 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 22:04 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 22:52 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 22:56 UTC · 1 language · 3 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 9 Jul, 23:34 UTC · 2 languages · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 00:47 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 01:14 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 01:32 UTC · 1 language · 3 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 01:36 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 02:00 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 02:03 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 02:34 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 02:35 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 04:36 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 05:29 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 06:22 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 07:49 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 08:11 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 08:45 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 09:01 UTC · 2 languages · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 09:32 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 09:34 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 10:18 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 11:36 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 11:45 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 12:06 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 12:13 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 12:24 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 12:48 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 12:50 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 13:00 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 13:37 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 13:50 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 14:20 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 15:01 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 15:40 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 16:17 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 16:27 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 17:20 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 17:52 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 18:13 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 18:35 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 18:46 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 20:06 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 20:30 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 20:51 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 20:56 UTC · 2 languages · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 21:33 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 21:39 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 21:42 UTC · 2 languages · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 21:58 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 22:26 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 10 Jul, 23:37 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 00:16 UTC · 1 language · 3 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 02:10 UTC · 1 language · 3 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 02:38 UTC · 1 language · 2 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 03:02 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 03:17 UTC · 1 language · 2 variants at forecast time
подтверждённая связь с трендом появилась в окне прогноза
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 03:23 UTC · 1 language · 3 variants at forecast time
кластер удалён или скрыт модерацией
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 03:43 UTC · 2 languages · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source
T0: 11 Jul, 04:16 UTC · 1 language · 2 variants at forecast time
дедлайн прошёл — связь с новостным трендом не появилась
Who measures the outcome: our own meme linker — not an external source