oordning – i informationsteori: oförutsägbarhet i en informationsmängd. Termen är lånad från termodynamiken, där den står för utjämning av temperaturskillnader. I informationsteori är entropi en förutsättning för överföring av information:
- – Låg entropi innebär hög förutsägbarhet i informationen: hög förutsägbarhet innebär att man inte får veta så mycket nytt;
- – Hög entropi innebär låg förutsägbarhet i informationen. Man får veta mycket som är nytt eller oväntat.
– För att förstå entropi kan man reflektera över att ordning ofta ses som något önskvärt, men att information som är mycket välordnad (som alfabetet A, B, C, D…) inte säger oss mycket. Det är avvikelser från det välordnade – oordning – som säger oss något. – En informationsmängd kan vara en serie ettor och nollor, andra tecken, eller vanliga språkliga yttranden. Om teckenföljden är helt förutsägbar innehåller den ingen information, eftersom mottagaren inte får veta något nytt. Entropin är därför noll. (Vad som gör teckenföljden förutsägbar är en annan fråga som inte alltid har ett enkelt svar.) Motsatsen, 100 procents entropi, innebär att mottagaren inte kan förutsäga någon del av informationsmängden. (Normalt anger man inte entropi i procent.) – Jämför med slumptal i matematisk bemärkelse. – I ett meddelande med 100 procents entropi (oordning) skulle det inte gå att upptäcka och rätta fel, eftersom det inte skulle finnas någon redundans. Efter att ha läst ett, flera eller många tecken skulle man inte kunna förutsäga nästa tecken med högre säkerhet än slumpen. – Vanliga språkliga yttranden har låg entropi, det vill säga att det är rätt lätt att gissa vilken nästa bokstav blir i en text. Och om man inte uppfattar ett enstaka ord i en talad mening kan man ju ofta gissa vilket ord det var. – Komprimering av data är möjlig bara om entropin är lägre än 100 procent. – På engelska: entropy.
[data] [fysik] [sannolikhet] [ändrad 16 april 2022]