Validering: strategisk riktning
Fördjupning om hur algoritmens riktningsanalys har kalibrerats och validerats mot manuell kvalitativ kodning. Se metod-sidan för en översikt av ramverket.
Referensdata
Algoritmens lexikon har kalibrerats mot manuellt kodade data från Norling (2024), The Iron Cage of Internal Efficiency: A Content Analysis of Digital Transformation Strategy Direction in Swedish Regions (Qeios, doi:10.32388/bo865k.2).
I den studien identifierades 1 699 omnämnanden av digital* i 20 regionala digitaliseringsstrategier. Efter rensning av generaliserade uttalanden Boolean-kodades 480 av dem manuellt på två dimensioner: effektivitet/innovation (exploitation/exploration) och internt/externt värdeskapande. Kodningen genomfördes i Atlas.ti med workshop-validering av senior forskare.
Metodskillnader
| Manuell kodning | Algoritm | |
|---|---|---|
| Urval | Uttalanden med digital* | Alla åtagandemeningar (ska/måste/bör) |
| Klassificering | Mänsklig Boolean-kodning per uttalande | Lexikonmatchning i SVO-roller (subjekt/objekt) |
| Kontext | Kodaren läser hela meningen och omgivande text | Bara termer i syntaktiska roller räknas |
| Truismfilter | Generaliserade uttalanden rensas manuellt | Automatisk truismdetektion (min 2 positiva ord) |
| Tre lager | Nej (ett lager) | Ja (diskurs, aspiration, åtagande) |
| Skalbarhet | 20 dokument (manuell begränsning) | Över 800 dokument (automatiserat) |
Metoderna analyserar delvis olika populationer av meningar. Den manuella kodningen fokuserar på digitaliseringskontext; algoritmen fångar strategisk riktning i alla åtaganden.
Överensstämmelse på meningsnivå
På de 480 manuellt kodade uttalandena:
| Automatisk | Manuell | |
|---|---|---|
| Effektivitet/innovation | 90% / 10% | 93% / 10% |
| Överensstämmelse | 94% av klassificerade meningar | |
| Täckning | 49% – resterande saknar lexikonträff | |
Innovationsandelen matchar exakt (10% vs 10%). Effektivitetsandelen avviker 3 procentenheter. Av de meningar algoritmen klassificerar överensstämmer 94% med den manuella kodningen.
Överensstämmelse på dokumentnivå
Algoritmen kördes mot samma 19 PDF:er som i den manuella studien (Halland exkluderad, Jämtland-Härjedalen saknade PDF). Jämförelse av andel effektivitet per region:
| Region | Manuell | Automatisk | Avvikelse |
|---|---|---|---|
| Sörmland | 100% | 100% | 0 |
| Stockholm | 92% | 93% | 1 |
| Dalarna | 97% | 93% | 4 |
| Uppsala | 94% | 91% | 3 |
| Blekinge | 76% | 71% | 5 |
| Örebro | 80% | 90% | 10 |
| Jönköping | 78% | 71% | 7 |
| Norrbotten | 100% | 92% | 8 |
| Kronoberg | 100% | 91% | 9 |
| Västernorrland | 97% | 100% | 3 |
| Skåne | 96% | 75% | 21 |
| Gävleborg | 100% | 83% | 17 |
| Västmanland | 88% | 71% | 17 |
| Kalmar | 86% | 58% | 28 |
| Gotland | 86% | 55% | 31 |
Median-avvikelse: 8 procentenheter. 10 av 15 jämförbara regioner ligger inom 10 procentenheter. 4 regioner (Värmland, VGR, Östergötland, Västerbotten) hade otillräcklig data eller matchade fel version av dokumentet.
Vad algoritmen fångar bättre
Manuell kodning begränsades till uttalanden med digital*. Algoritmen analyserar alla åtagandemeningar och fångar därmed strategisk riktning även i formuleringar som inte explicit nämner digitalisering.
Algoritmen ger konsistens (samma dokument → samma poäng) och skalbarhet (över 800 dokument istället för 20). Den skiljer dessutom mellan tre lager – diskurs, aspiration och åtagande – och mäter strategisk dissonans. Denna flerskiktsanalys saknas i den manuella kodningen.
Vad algoritmen inte fångar
51% av de manuellt kodade uttalandena saknar lexikonträff. Dessa meningar använder vardagsspråk utan explicita riktningstermer:
- "Bidra till ökad kunskap om digitaliseringens betydelse"
- "Samverkan mellan länets digitala aktörer"
- "Fortlöpande analys av digital mognad och behov av åtgärder"
En mänsklig kodare förstår att dessa handlar om effektivitet, men inget enskilt ord signalerar det. Lexikonmatchning kan inte fånga sådan implicit riktning – det kräver kontextuell bedömning.
Där algoritmen hittar tydliga formuleringar klassificerar den rätt i 94% av fallen. Dess styrka är konsistens och reproducerbarhet, inte fullständig täckning av enskilda dokument.
Koppling till LUFT
Dokument med otillräckligt underlag för riktningsklassificering har i genomsnitt tre gånger lägre åtagandedensitet – 5 åtagandemeningar per 1 000 ord jämfört med 17 i klassificerbara dokument.
Sambandet är logiskt: dokument fulla av beskrivningar och ambitioner utan konkreta åtaganden (ska/måste/bör) saknar de formuleringar algoritmen letar efter. Detta kopplar direkt till LUFT-indexet – hög LUFT samvarierar med få identifierbara åtaganden. Dokumentet formulerar vad det vill men inte vad det ska göra.
LUFT × dissonans – tolkningsmatris
LUFT och strategisk dissonans mäter två oberoende dimensioner. LUFT mäter andelen varmluft (floskler, truismer). Dissonans mäter avståndet mellan vad dokumentet pratar om och vad det faktiskt åtar sig. Kombinationen ger fyra kategorier:
| Låg dissonans (Δ ≤ 20) | Hög dissonans (Δ > 20) | |
|---|---|---|
| Låg LUFT (≤ 30) | Skarpt och konsekvent – tydliga åtaganden som hänger ihop med vad dokumentet handlar om | Skarpt men motsägelsefullt – tydliga formuleringar, men dokumentet pratar om annat än det åtar sig |
| Hög LUFT (> 30) | Konsekvent vagt – konsekvent i sin vaghet, säger samma sak på alla nivåer men utan skärpa | Vagt och motsägelsefullt – vaga ambitioner som dessutom inte hänger ihop mellan nivåerna |
Tröskelvärdena (LUFT > 30, Δ > 20) baseras på medianvärden i dokumentsamlingen. De är inte absoluta gränser utan orientering för tolkning.
Diskrepanser
De 6% avvikelser mellan algoritm och manuell kodning beror främst på kontextberoende termer. Exempel:
- "Utbildning kring digital transformation" – manuellt kodad som effektivitet (utbildning av befintlig personal), algoritmiskt som innovation (transformation är en exploration-term).
- "Nya kulturella och konstnärliga processer" – manuellt kodad som innovation (nya), algoritmiskt som effektivitet (process är en exploitation-term).
Båda tolkningarna är försvarbara. Det handlar om huruvida man kodar handlingen (utbildning = exploitation) eller innehållet (transformation = exploration). Algoritmen följer March (1991) strikt: den kodar termen, inte kontexten.
Lexikonprinciper
Lexikonet bygger på March (1991) och skiljer mellan:
- Exploration – innovation, experiment, transformation, kreativitet, pilot, lärande, dialog
- Exploitation – effektivisera, standardisera, implementera, automatisera, samordna, kvalitetssäkra, leverera
Aktiviteter som kan vara båda beroende på kontext – utveckla, stärka, skapa, förbättra – klassificeras inte. Det är mottagaren/objektet i meningen som avgör riktningen, inte verbet.
Intern/extern-dimensionen bygger på mottagarprincipen: det är vem som är mottagare som avgör (medarbetare = internt, invånare = externt), inte handlingen (bemötande, nöjdhet, tillgänglighet = neutrala).
Kärnverksamhet (vård, omsorg, skola, service) klassificeras inte – den kan vara riktad både internt och externt beroende på kontext.