Spravedlnost.cz
Metodika

Jak měříme a jak vzniká index efektivity

Důvěryhodnost stojí a padá s metodikou. Proto ji držíme veřejně, srozumitelně a otevřeně k oponentuře. Tady je její jádro — bude se vyvíjet spolu s daty.

Nechce se vám číst vzorce? Tady je celá metodika na jednom příkladu, bez matematiky →

1. Co měříme

Základní jednotkou je řízení (case): jeden proces s datem podání a datem vyřízení. Z nich počítáme:

  • Délku řízení ve dnech (datum vyřízení − datum podání).
  • Medián místo průměru — je odolný vůči extrémům.
  • Rozptyl (předvídatelnost) — dva úřady se stejným mediánem, ale různým rozptylem nejsou stejně dobré.
  • Podíl zdržených řízení a nejčastější příčiny zdržení.

2. Proč medián a ne jedno skóre

Jediné číslo láká k žebříčkům, ale snadno klame. Malý úřad s pěti záznamy nelze srovnávat s magistrátem s tisíci. Proto:

  • U každého ukazatele uvádíme počet záznamů (n).
  • Pravidlo minimální skupiny (k ≥ 5): žádná zveřejněná statistika nevzniká z méně než 5 odpovědí pro danou kombinaci dimenzí (kraj × agenda × role × …). Menší skupiny se nezobrazují jednotlivě — slévají se do souhrnu vyšší úrovně (např. celá ČR místo kraje) s poznámkou „málo dat pro detail“. Stejné pravidlo platí pro web i pro otevřená data.
  • Anonymizace přes kraje: u odpovědí úředníků nesbíráme konkrétní úřad. Sbíráme co nejpřesněji (kraj je povinný údaj), ale publikujeme agregovaně — granularitu výstupu určuje pravidlo minimální skupiny, ne chudost vstupu.
  • Datumy s přesností na měsíc: u občanských zkušeností sbíráme a publikujeme jen měsíc a rok, ne přesný den.
  • U srovnání publikujeme interval spolehlivosti, ne jen bod.
  • Bodové skóre indexu efektivity má práh přísnější (20 řízení, viz níže) — čím viditelnější číslo, tím vyšší laťka.

3. Index efektivity

Index efektivity (IEVS) je publikovaný jako vektor pěti domén s intervaly nejistoty, ne jako jedno tučné číslo — plnou metodiku, váhy, citlivostní analýzu a obranu proti manipulaci najdete na samostatné stránce Index efektivity. Bodové skóre konkrétního úřadu zveřejňujeme až od 20 vyřízených řízení v klouzavém okně 12 měsíců — nejpřísnější ze tří prahů výše, protože jde o nejvíc viditelné číslo.

4. Trend váží víc než hladina

Klíčová otázka projektu není „kdo je nejhorší", ale „kdo se nejvíc zlepšuje". Proto vedle hladiny indexu sledujeme jeho změnu v čase a vyhodnocujeme dopad konkrétních změn (před/po).

5. Co index NEznamená

  • Není to známka kvality lidí. Měří proces, ne úředníky.
  • Neměří vše — řízení se liší složitostí; proto normalizujeme.
  • Není konečný verdikt — je to pozvánka ke zlepšení a k diskusi.

6. Odolnost vůči manipulaci

Otevřená data lákají i ke zkreslení. Bráníme se kombinací: vážení důvěryhodnosti zdroje, detekce neobvyklých dávek záznamů, křížová kontrola s otevřenými daty (ČSÚ, MMR) a postupné ověřování. Žádná metoda není dokonalá — proto je metodika veřejná a kritika vítaná.

Verzování a změny

Metodika je verzovaná — aktuálně platí verze 2.0. Každý report a export nese verzi, podle které vznikl, a zveřejněná čísla se zpětně nepřepočítávají. Kompletní historie změn včetně vah a prahů: changelog metodiky. Nesrovnalosti a upřesnění možností formulářů řešíme měsíční rekódovací smyčkou (co lidé opakovaně píší do „Jiné“, povyšujeme na oficiální možnosti).

Stav metodiky

Pilotní provoz: zveřejňujeme základní ukazatele (medián, rozptyl, příčiny). Bodové skóre indexu efektivity spustíme, jakmile bude dost dat na statisticky poctivé srovnání. Verze metodiky a změny budeme veřejně logovat.