1 LA CODIFICA DEI TESTI

La rivoluzione informatica

La società del XXI secolo sta assistendo a una grande rivoluzione tecnologica: la rivoluzione informatica.

Fino a poco tempo fa una macchina fotografica utilizzava una pellicola per imprimere le immagini e non era in grado di memorizzare, per esempio, le voci. La musica veniva registrata sulle musicassette su un nastro magnetico. La televisione e la telefonia utilizzavano antenne e reti fisicamente differenti. Le automobili e i frigoriferi non erano collegati a Internet.

Per gestire contesti differenti, erano necessarie tecnologie differenti. L’informatica ha rotto questo modello: oggi tutti i dati sono digitali, tutto è una sequenza di bit. La tecnologia per memorizzare, elaborare, gestire l’informazione è unica e tutto converge nelle ▶ telecomunicazioni. L’esempio più eclatante di questa rivoluzione è lo smartphone, un computer tascabile in grado di elaborare digitalmente la voce, le immagini e le reti come fossero la stessa cosa.

Le tecnologie digitali sono migliori di quelle analogiche: la qualità del flusso di dati digitale resta inalterata nel tempo. Quando una musicassetta (analogica) veniva duplicata, la qualità iniziale dell’audio non veniva mantenuta nel tempo: la decima copia era di qualità decisamente inferiore. I CD, invece, non perdono qualità (informazione) quando vengono duplicati: ogni copia è identica all’originale.

Le tecnologie digitali consentono anche di comprimere i dati e quindi di occupare meno spazio nella memoria e impiegare un minor tempo di trasmissione ad altri dispositivi.

Nell’era della digitalizzazione globale, quindi, tutto diventa un flusso di bit. Sequenze di 0 e 1 indistinguibili fra loro rappresentano non solo i numeri, ma anche i caratteri che compongono le parole, i pixel che formano le immagini e i video, le onde acustiche che forniscono i suoni e, in generale, qualsiasi tipo di informazione digitale. Il computer interpreta le cifre del sistema binario in modi differenti, le elabora e restituisce il risultato di un calcolo matematico, un testo, dei colori, della musica ecc.

La codifica e la trasmissione dei testi

La codifica dei caratteri avviene quando gli 0 e gli 1 vengono usati per rappresentare le lettere dell’alfabeto.

Dal codice Morse ai codici ASCII e UTF

Come fa, fisicamente, un’e-mail ad arrivare a destinazione? Come è possibile che dei caratteri alfabetici scritti su uno schermo possano essere trasmessi lungo una linea elettrica? Semplice, anche se non banale: nel filo non viaggiano i caratteri veri e propri, ma una loro rappresentazione. Ciascun carattere corrisponde a un codice che viaggia nel filo.

La storia della codifica dei caratteri iniziò nella prima metà dell’Ottocento, quando venne inventato il ▶ codice Morse, anche se la necessità di comunicare a distanza era già stata sviluppata dalle popolazioni fin dall’antichità. I concetti da trasmettere venivano codificati e inviati utilizzando strumenti come suoni di corni o tamburi, segnali di fumo, specchi e bandiere. Per le lunghe distanze la codifica consisteva nello scrivere delle lettere che poi venivano recapitate tramite piccioni viaggiatori o servizi postali. La corrispondenza cartacea impiegava però giorni, settimane, o addirittura mesi per raggiungere la destinazione.

1840 – Codice Morse

I primi esperimenti di telegrafia (scienza che studia i metodi per riprodurre a distanza i documenti) culminano nell’invenzione del telegrafo elettrico.

Per poter trasmettere le singole lettere dell’alfabeto, l’inventore statunitense Samuel Morse (1791- 1872) sviluppò un sistema che prese il nome codice Morse.

L’alfabeto Morse impiega segnali elettrici corti e lunghi (punto e linea) intervallati da tre tipi di pause (corta, media e lunga) necessarie per poter distinguere le singole lettere, le parole e le frasi; quindi utilizza 5 segnali.

esempio

Le pause sono necessarie per poter capire, per esempio, se la trasmissione di due punti e una linea è una “U” o una “E” seguita da una “A”.

Nel codice Morse ogni carattere non è identificato da un numero fisso di segnali.

Dato che ogni lingua presenta una distribuzione statistica diversa delle lettere nelle parole e poiché Samuel Morse parlava la lingua inglese, il codice venne concepito per ottimizzare i tempi di trasmissione delle parole inglesi. Quindi le lettere più frequenti furono codificate con pochi segnali, più brevi; le lettere meno frequenti vennero codificate con molti segnali, più lunghi.

1874 – Codice Baudot

Èmile Baudot (1845 - 1903) osservò che se i codici usati per rappresentare i caratteri avessero avuto tutti la stessa lunghezza, i segnali di pausa non sarebbero più stati necessari. Il codice Baudot usa solo due segnali: 1 e 0 (segnale, non segnale), che durano lo stesso tempo.

Con il codice Baudot cominciano a farsi strada il concetto di bit (0 e 1) e le problematiche legate alla velocità di trasmissione. Ciascun carattere viene codificato con un numero fisso di segnali (inizialmente cinque). I segnali vengono ricevuti a gruppi di 5; una volta ricevuto il quinto segnale, viene identificato il carattere trasmesso. Il sesto segnale appartiene al carattere successivo.

Con 5 bit si possono codificare 2⁵ = 32 caratteri, sufficienti per l’alfabeto, ma non per codificare anche i numeri (da 0 a 9) e i segni di punteggiatura.

1901 – Evoluzione del codice Baudot

Poiché i limiti hardware non consentivano di aumentare il numero di bit, per poter avere un maggior numero di caratteri disponibili viene aggiunto un meccanismo di scorrimento simile a quello che le macchine da scrivere usavano per le maiuscole.

In una posizione del meccanismo i 32 codici rappresentano 32 caratteri; nell’altra ne rappresentano altri 32 diversi. In questo modo si possono rappresentare 64 caratteri diversi. Inoltre (tenendo conto dei caratteri più usati) si fa in modo che per passare da un carattere all’altro servano meno scorrimenti possibili, per diminuire l’usura dei meccanismi.

1963 – Codifica ASCII a 7 bit

Viene introdotto il codice ASCII (American Standard Code for Information Interchange) che inizialmente rappresentava i caratteri utilizzando 7 bit attraverso i quali era possibile codificare 2⁷ = 128 caratteri differenti (da 0000000 a 1111111 in notazione binaria; da 0 a 127 in notazione decimale).

I primi 31 caratteri sono codici di controllo (per esempio End of Transmission, EoT, indicava la fine della trasmissione), gli altri rappresentano le lettere dell’alfabeto maiuscole e minuscole, i simboli di punteggiatura e i numeri.

1981 – Codifica ASCII a 8 bit

Viene aggiunto l’ottavo bit (si raggiunge il byte) che permette di codificare 2⁸ = 256 caratteri (da 00000000 a 11111111 in notazione binaria; da 0 a 255 in notazione decimale).

I primi caratteri della tabella ASCII (da 0 a 127) sono standard, vengono definiti universali e, ancora oggi, sono riconosciuti da tutti i sistemi del mondo. I caratteri dal 128 al 255, invece, variano da paese a paese e sono stati resi standard dalla normativa ISO 8859 che ha definito il Code-Page della seconda parte della tabella ASCII (per esempio il Code-Page dell’Italia è ISO8859-1 lingue latine, quello della Russia è ISO8859-5 alfabeto cirillico ecc.).

1992 – Codifiche UTF

La tabella ASCII non ha risolto completamente il problema della codifica dei caratteri. Per esempio, gli ideogrammi delle lingue asiatiche sono più di 128, quindi più delle possibilità offerte dalla tabella ASCII estesa.

Per ovviare a questo inconveniente sono state introdotte le codifiche UTF, che utilizzano più di 8 bit per codificare i caratteri:

• codifica UTF-8 usa da 1 a 4 byte per rappresentare un carattere;
• codifica UTF-16 richiede da 2 a 4 byte;
• codifica UTF-32 richiede 4 byte.

La sigla UTF significa Unicode Transformation Format e prende il nome dal consorzio UNICODE che ha proposto questo sistema di codifica.

Tabella ASCII standard

Tabella ASCII estesa ISO 8859-1 Latin-1 (Windows)