Опишите особенности работы with Unicode (UTF-8) в Perl. Как корректно читать, писать и обрабатывать строки в разных кодировках, и какие тонкости часто приводят к ошибкам?

Ответ

Perl изначально не был Unicode-friendly, и работа с UTF-8 требует явных указаний. Современный Perl умеет хранить строки как внутренние абстракции (utf8-flagged scalars), но операции ввода-вывода требуют особого внимания.

Корректное чтение/запись:

1. Устанавливайте слои IO (binmode, :encoding(UTF-8)).
2. Используйте use utf8; в исходном коде, если он содержит литералы в Unicode.
3. Для STDIN, STDOUT, файлов описывайте слой:

open my $fh, '<:encoding(UTF-8)', 'myfile.txt' or die $!;
binmode STDOUT, ':encoding(UTF-8)';

Работа с Unicode-строками:

• Модули Encode, utf8, open, charnames.
• Не смешивайте байты и строки с установленным флагом utf8.

use Encode;
my $bytes = encode('UTF-8', $string); # Получаем байты
my $string = decode('UTF-8', $bytes); # Получаем строку

Тонкости:

• Файлы без "слоя" читаются в байтах — операции length/substr/регулярки дают некорректные результаты!
• Взаимодействие с внешними источниками (БД, сеть) требует отдельной конвертации.
• Даже стандартные функции print/read требуют установки слоёв.

Вопрос с подвохом

Достаточно ли добавить use utf8; в начало skripta, чтобы все операции ввода-вывода происходили в UTF-8?

Ответ: Нет! Директива use utf8; только интерпретирует Unicode-литералы в исходнике. Для ввода-вывода нужно выставлять слои IO при open или через binmode/open pragma! Например:

binmode STDOUT, ':encoding(UTF-8)';
open my $fh, '>:encoding(UTF-8)', $filename;

---

История

В многоязычном проекте интерфейсы отображали кракозябры при выводе в консоль, т.к. shell работал в UTF-8, а Perl не выставлял нужный слой STDOUT (binmode не использовался, только use utf8). Симптом: длина и substr для кириллических строк давали "ломаный" результат.

История

Скрипт, обрабатывающий XML-файлы (UTF-8) не выставлял слой при open, в результате строки были "грязными" mix байтов и UTF-8. Некоторые регулярки вообще не срабатывали, а при попытке serializ'ить данные в JSON модуль выдал ошибки о "wide characters".

История

При интеграции Perl-сервиса с MySQL клиентом игнорировали настройку клиента на utf8, работали с байтовыми строками. На стыке с web-интерфейсом появились дефекты — часть символов шла сломанной, часть запросов "ломала" структуру данных. Помогла явная перекодировка через Encode и настройка 'mysql_enable_utf8'.