entropi

(entropy) – oordning – i informations­teori: oförut­sägbarhet i en informations­­mängd. Termen är lånad från termodynamiken, där den står för utjämning av temperaturskillnader. I informationsteori är entropi en förutsättning för överföring av information:

  • – Låg entropi innebär hög förutsägbarhet i informationen; hög förutsägbarhet innebär att man inte får veta så mycket nytt;
  • – Hög entropi innebär låg förutsägbarhet i informationen. Man får veta mycket som är nytt eller oväntat.

– För att förstå entropi kan man reflektera över att ordning ofta ses som något önskvärt, men att information som är mycket välordnad (som alfabetet A, B, C, D…) inte säger oss mycket. Det är avvikelser från det välordnade – oordning – som säger oss något. – En informations­mängd kan vara en serie ettor och nollor, andra tecken, eller vanliga språk­liga yttranden. Om tecken­följden är helt förut­sägbar innehåller den ingen informa­tion, efter­som mot­tagaren inte får veta något nytt. Entropin är därför noll. (Vad som gör teckenföljden förutsägbar är en annan fråga som inte alltid har ett enkelt svar.) Motsatsen, 100 procents entropi, inne­bär att mot­tagaren inte kan förut­säga någon del av in­for­ma­tions­­mängden. (Normalt anger man inte entropi i procent.) – Jäm­för med slumptal i matematisk bemärkelse. – I ett med­delande med 100 procents entropi (oordning) skulle det inte gå att upp­täcka och rätta fel, eftersom det inte skulle finnas någon redundans. Efter att ha läst ett, flera eller många tecken skulle man inte kunna för­ut­säga nästa tecken med högre säkerhet än slumpen. – Van­liga språkliga ytt­randen har låg entropi, det vill säga att det är rätt lätt att gissa vilken nästa bok­stav blir i en text. Och om man inte uppfattar ett enstaka ord i en talad mening kan man ju ofta gissa vilket ord det var. – Komprimering av data är möjlig bara om entropin är lägre än 100 procent. 

[data] [fysik] [sannolikhet] [ändrad 4 september 2018]

Dagens ord: 2017-04-05