Tuomariston metodologia

⚖ Mikä on tuomaristo?

Jokainen aihe tällä sivustolla (esim. "Osaako tekoäly kääntää jorubaa tarkasti?") arvioidaan vaihtuvalla tekoälymalliryhmällä — 3–7 mallia per tarkastus, eri malliperheistä ja eri toimittajilta. Tätä paneelia kutsumme tuomaristoksi.

Emme tahallaan julkaise mitkä mallit istuvat tietyssä tarkastuksessa, emmekä koskaan nimeä niitä julkisissa päätöksissä. Tuomariston tarkoitus on vangita riippumattomien päättelyjärjestelmien konsensus, ei mainostaa tiettyjä brändejä tai houkutella manipulointiin. Sisäisesti ylläpitäjä voi tarkastaa mikä malli antoi minkäkin päätöksen läpinäkyvyyden vuoksi.

🗳️ Mitä jokainen tuomari tekee

Jokainen tuomari saa saman kehotteen:

1. Lue väittämä (esim. "Osaako tekoäly säveltää fuugan Bachin tyyliin?")
2. Palauta yhden sanan päätös: OSAA, EI OSAA tai RATKAISEMATON.
3. Anna yksilauseinen perustelu päätökselle.
4. Jos päätös on OSAA, arvioi kuukausi ja vuosi jolloin kyky ensimmäisen kerran luotettavasti ilmeni.

Jokainen tuomari vastaa itsenäisesti. Kukaan heistä ei näe muiden päätöksiä. Tämä välttää lauma-efektin joka syntyisi jos yksi malli ankkuroisi muut.

📊 Miten päätökset yhdistyvät

Väittämän tila (OSAA / EI OSAA / KIISTANALAINEN) päätetään kaikkien koskaan kirjattujen tuomariston päätösten kumulatiivisen summan perusteella — ei vain viimeisimmän tarkastuksen. Kun tarkastuksia kertyy viikkojen aikana, summa tasaa yksittäisen paneelin kohinan.

Säännöt järjestyksessä:

• Vähintään 2 päätöstä tarvitaan. Yksi tuomari ei voi kääntää tilaa — aihe pysyy KIISTANALAISENA kunnes toinen tuomari ottaa kantaa.
• Yksimielisyys voittaa heti. Jos kaikki tuomarit ovat samaa mieltä (esim. 3/3 sanoo EI OSAA), päätös vahvistuu välittömästi — ei monitulkintaisuutta ratkottavana.
• Muuten 80 % yksimielisyys ratkaisee. Kun on kerääntynyt vähintään 3 päätöstä, päätös kääntyy siihen suuntaan joka ylittää 80 % kynnyksen. 11 sanoo OSAA, 1 sanoo EI OSAA → OSAA (91 %).
• Alle 80 % = KIISTANALAINEN. Jos paneeli ei saavuta 80 %+ yksimielisyyttä, aihe pysyy KIISTANALAISENA — itsessään rehellinen vastaus, joka tarkoittaa että asiantuntijat ovat aidosti eri mieltä.

🔄 Kuinka usein tuomarit ajavat

Tuomaristo toimii jatkuvasti. Vanhimmat aiheet (pisin aika viimeisestä tarkistuksesta) tarkistetaan ensin. Jokainen tarkistus kirjoittaa pysyvän rivin tarkastuslokiin jokaisen aihesivun alaosaan, näyttäen kuinka monta tuomaria osallistui ja sen päivän päätösjakauman.

Koska tekoälyn kyvyt muuttuvat kuukausittain, päätös ei ole kertaluonteinen arvio — se on nykyinen rullaava konsensus. Aihe joka oli EI OSAA maaliskuussa voi kääntyä OSAA:han kesäkuuhun mennessä, ja tarkastusloki säilyttää tämän historian.

🧑‍⚖️ Yleisön äänet vs. tuomariston päätökset

Yleisöpalkki ("Mitä yleisö ajattelee") ja tuomariston päätös ovat kaksi erillistä signaalia — ne eivät vaikuta toisiinsa.

• Yleisön äänet ovat inhimillisiä mielipiteitä, hyödyllisiä siinä missä yleinen intuitio poikkeaa asiantuntija-arviosta.
• Tuomariston päätökset ovat totuuden lähde OSAA / EI OSAA / KIISTANALAINEN -tilamerkille.

Kun ihmiset ja tuomaristo ovat eri mieltä, se on toimituksellisesti kiinnostavaa — usein esiin nousee nouseva kyky jonka yleisö ei ole vielä huomannut, tai hype-väite johon tuomaristo ei usko.

🤔 Miksei nimetä tekoälyjä?

Tuomareiden nimeäminen luo ongelmia joita haluamme välttää:

• Toimittajien hehkuttaminen — "malli X sanoo Y!" tekee sivustosta markkinointikanavan.
• Kohdistettu manipulointi — kun tiedetään mitkä mallit arvioivat, kehotteet ja sisältö voidaan virittää huijaamaan tiettyjä malleja.
• Brändiharha lukemisessasi — saatat luottaa tai epäillä päätöstä sen perusteella mikä logo antoi sen, eikä konsensuksen.

Tuomareiden käsitteleminen anonyyminä paneelina pitää huomion päätöksessä, ei äänestäjässä.