Descrivi le peculiarità del lavoro con Unicode (UTF-8) in Perl. Come leggere, scrivere e elaborare correttamente le stringhe in diverse codifiche, e quali sottigliezze portano spesso a errori?

Risposta

Perl non era originariamente compatibile con Unicode, e lavorare con UTF-8 richiede indicazioni esplicite. Perl moderno sa memorizzare le stringhe come astrazioni interne (scalari contrassegnati da utf8), ma le operazioni di input/output richiedono particolare attenzione.

Lettura/scrittura corretta:

1. Impostare i layer IO (binmode, :encoding(UTF-8)).
2. Utilizzare use utf8; nel codice sorgente se contiene letterali in Unicode.
3. Per STDIN, STDOUT, file descrivere il layer:

open my $fh, '<:encoding(UTF-8)', 'myfile.txt' or die $!;
binmode STDOUT, ':encoding(UTF-8)';

Lavorare con stringhe Unicode:

• Moduli Encode, utf8, open, charnames.
• Non mescolare byte e stringhe con flag utf8 impostato.

use Encode;
my $bytes = encode('UTF-8', $string); # Otteniamo i byte
my $string = decode('UTF-8', $bytes); # Otteniamo la stringa

Sottigliezze:

• I file senza "layer" vengono letti come byte — le operazioni length/substr/espressioni regolari danno risultati scorretti!
• L'interazione con fonti esterne (DB, rete) richiede una conversione separata.
• Anche le funzioni standard print/read richiedono l'impostazione dei layer.

Domanda insidiosa

È sufficiente aggiungere use utf8; all'inizio dello script, affinché tutte le operazioni di input/output avvengano in UTF-8?

Risposta: No! La direttiva use utf8; serve solo per interpretare i letterali Unicode nel sorgente. Per input/output è necessario impostare i layer IO durante open o tramite binmode/open pragma! Ad esempio:

binmode STDOUT, ':encoding(UTF-8)';
open my $fh, '>:encoding(UTF-8)', $filename;

---

Storia

In un progetto multilingue le interfacce mostravano caratteri strani durante l'output nella console, poiché la shell funzionava in UTF-8, ma Perl non impostava il layer corretto STDOUT (binmode non era utilizzato, solo use utf8). Sintomo: length e substr per le stringhe cirilliche davano risultati "spezzati".

Storia

Uno script che elaborava file XML (UTF-8) non impostava il layer durante open, di conseguenza le stringhe erano "sporche" mescolando byte e UTF-8. Alcune espressioni regolari non venivano attivate, e nel tentativo di serializzare i dati in JSON il modulo dava errori riguardo ai "wide characters".

Storia

Durante l'integrazione del servizio Perl con il client MySQL si ignorava l'impostazione del client su utf8, lavorando con stringhe byte. All'interfaccia web si presentarono difetti: parte dei caratteri si presentava rotta, alcune query "spezzavano" la struttura dei dati. Ha aiutato una riconversione esplicita tramite Encode e l'impostazione 'mysql_enable_utf8'.