KODE-panikk og bayesisk gjennomsnitt

KODE føler seg lurt til å få panikk av en svineforkjølelse-artikkel i New York Times. Jeg kjenner meg igjen.

Det er noe som heter at “ekstraordinære påstander krever ekstraordinære bevis”, at man ikke skal tro alt man hører, at man alltid må bruke sunt bondevett, at man ikke skal høre på ekstremister, osv.

Dette finnes også i statistikk, og kalles, på engelsk, Bayesian average (igjen takk til Wikipedia):

A Bayesian average is a method of estimating the mean of a population consistent with Bayesian interpretation, where instead of estimating the mean strictly from the available data set, other existing information related to that data set may also be incorporated into the calculation in order to minimize the impact of large deviations within the data set, or to assert a default value when the data set is small.

Det høres sikkert komplisert ut, men det blir lettere å forstå med dette eksempelet:

For example, in a calculation of an average review score of a book where only two reviews are available, both giving scores of 10, a normal average score would be 10. However, as only two reviews are available, 10 may not represent the true average had more reviews been available. The review site may instead calculate a Bayesian average of this score by adding the average review score of all books in the store to the calculation. For example, by adding five scores of 7 each, the Bayesian average becomes 7.86 instead of 10, which the review site would hope that it will better represent the quality of the book.

Det blir subjektivt hvor mye man ønsker å trekke ned gjennomsnittet på denne måten. Det kommer her bl.a. an på hvor objektive/dyktige, og representative, man mener anmelderne er (altså, vekt og relevans).

I tilfellet svineinfluensa har KODE konsultert kun én kilde, New York Times, som gir swineflu 10/10 poeng på panikk-skalaen. KODE skulle kanskje ha forstått hvor lite sannsynlig det var at dette var representativt og at han dermed burde få et panikkanfall tilsvarende 10/10 poeng, både ut fra kildens seriøsitet, hva man har kunnet lese andre steder, og ut fra prinsippet at det er særdeles få fenomener som skal gi 10/10 panikkpoeng.

Problemer med å vurdere og gjennomskue falske ekstraordinære påstander dukker gjerne opp når man stoler på veldig få kilder og dermed får et lite datagrunnlag (“få anmeldere”). I de aller fleste saker bør man faktisk stole på at verden henger på greip og at vanlige folk – eller på mer spesialiserte områder i det minste eksperter – har noenlunde snøring.