tokenisering

1. – i it-säkerhet: ersättning av känsliga data med tecken­följder som är oanvänd­bara för utom­stå­ende, om de kommer över dem. – Med känsliga data menas främst person­upp­gifter och lösen­ord. Tokenisering används också för kontokortsbetalningar. De känsliga uppgifterna byts av en särskild funktion i sys­temet ut mot slump­mässiga tecken­följder (tokens) som fungerar enbart inom ramen för säker­hets­systemet. – Se ut­för­lig beskriv­ning i Wikipedia. – Token­ization är inte samma sak som kryp­te­ring;
2. – i språkvetenskap: uppdelning av en text i delar som kan behandlas som ord eller andra betydelsebärande teckensträngar. Ibland också det att man ersätter varje sådan del med ett kodord. Används i text­analys som första ledet i taggning. (Läs också om lexem, betydelse 1.)

[it-säkerhet] [språkteknik] [ändrad 25 januari 2018]