Describa las características del trabajo con Unicode (UTF-8) en Perl. ¿Cómo leer, escribir y procesar correctamente cadenas en diferentes codificaciones, y qué matices a menudo conducen a errores?

Respuesta

Perl no era originalmente amigable con Unicode, y trabajar con UTF-8 requiere indicaciones explícitas. Perl moderno puede almacenar cadenas como abstracciones internas (escalars con flag utf8), pero las operaciones de entrada/salida requieren atención especial.

Lectura/escritura correcta:

1. Configure las capas IO (binmode, :encoding(UTF-8)).
2. Utilice use utf8; en el código fuente si contiene literales en Unicode.
3. Para STDIN, STDOUT, archivos, describa la capa:

open my $fh, '<:encoding(UTF-8)', 'myfile.txt' or die $!;
binmode STDOUT, ':encoding(UTF-8)';

Trabajo con cadenas Unicode:

• Módulos Encode, utf8, open, charnames.
• No mezcle bytes y cadenas con el flag utf8 establecido.

use Encode;
my $bytes = encode('UTF-8', $string); # Obtenemos bytes
my $string = decode('UTF-8', $bytes); # Obtenemos cadena

Matices:

• Archivos sin "capa" se leen en bytes — las operaciones length/substr/regex dan resultados incorrectos!
• La interacción con fuentes externas (DB, red) requiere conversión separada.
• Incluso las funciones estándar print/read requieren establecer capas.

Pregunta trampa

¿Es suficiente agregar use utf8; al principio del skripta para que todas las operaciones de entrada/salida se realicen en UTF-8?

Respuesta: ¡No! La directiva use utf8; solo interpreta literales Unicode en el fuente. Para entrada/salida, es necesario establecer capas IO en open o a través de binmode/open pragma! Por ejemplo:

binmode STDOUT, ':encoding(UTF-8)';
open my $fh, '>:encoding(UTF-8)', $filename;

---

Historia

En un proyecto multilingüe, las interfaces mostraban caracteres extraños al imprimir en consola, ya que el shell trabajaba en UTF-8, pero Perl no establecía la capa STDOUT necesaria (no se usaba binmode, solo use utf8). Síntoma: la longitud y substr para cadenas en cirílico daban resultados "rotos".

Historia

Un script que procesaba archivos XML (UTF-8) no establecía la capa al abrir, lo que resultaba en cadenas "sucias" mezcla de bytes y UTF-8. Algunas expresiones regulares ni siquiera funcionaban, y al intentar serializar los datos en JSON, el módulo arrojaba errores sobre "wide characters".

Historia

Al integrar un servicio Perl con un cliente MySQL, se ignoró la configuración del cliente para utf8, se trabajó con cadenas de bytes. En la intersección con la interfaz web, aparecieron defectos: parte de los caracteres se mostraba rota, y algunas consultas "rompían" la estructura de datos. La conversión explícita a través de Encode y la configuración 'mysql_enable_utf8' ayudaron.