Ответ.

История вопроса:

Кодирование (encoding) и декодирование (decoding) данных стали актуальны с появлением необходимости обмена информацией между устройствами, программами и платформами, которые могут по-разному интерпретировать символы и их представление в памяти. В Python эта задача приобрела остроту из-за строгого разделения между строками (str) и байтами (bytes), начиная с Python 3.x, где строки – это последовательности Unicode-символов, а байты – последовательности байтов.

Проблема:

Работая с файлами, сетями и внешними системами, часто приходится преобразовывать данные между байтовыми представлениями и строками. Неправильное использование кодировок может привести к ошибкам UnicodeEncodeError и UnicodeDecodeError, нарушению целостности данных и проблемам с поддержкой разных языков.

Решение:

В Python для перевода строки в байты используют метод .encode(), а для обратного превращения — .decode(). Наиболее распространённая кодировка — "utf-8":

text = "Привет, мир!"
encoded = text.encode('utf-8')       # Кодируем строку в bytes
print(encoded)                        # b'\xd0\x9f\xd1\x80...'
decoded = encoded.decode('utf-8')     # Декодируем обратно в строку
print(decoded)                        # 'Привет, мир!'

Ключевые особенности:

Python 3 строго разделяет строки (str) и байты (bytes) — нельзя смешивать их напрямую в выражениях и надо всегда явно указывать кодировку.
Рекомендуется всегда указывать кодировку при чтении и записи файлов (например, open(..., encoding='utf-8')).
Не все байтовые данные допустимо декодировать любой кодировкой — для двоичных файлов (например, изображений) декодирование не применяется.

Вопросы с подвохом.

Что будет, если попытаться декодировать байтовую строку неверной кодировкой?

При попытке декодировать байты с использованием неверной кодировки возникнет ошибка или получится некорректная строка. Например:

b = b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'
wrong = b.decode('latin-1')
print(wrong)  # Выведет абракадабру, а не "Привет"

Можно ли объединять строку и байтовую строку напрямую через +?

Нет. Это вызовет исключение TypeError.

s = "abc"
b = b"def"
# s + b  # TypeError: can only concatenate str (not "bytes") to str

Можно ли записывать текстовый файл без явно указанной кодировки?

Да, но это считается плохой практикой, поскольку используется системная кодировка по умолчанию, которая зависит от настроек ОС, что приведёт к несовместимости между платформами.

Типовые ошибки и анти-паттерны

Не указывать кодировку при чтении/записи файлов.
Пробовать декодировать байты, которые не являются текстом.
Путать str и bytes, не делая явного преобразования.

Пример из жизни

Негативный кейс

Программист пишет лог-файл в Windows без указания кодировки. Лог открывается в Linux или Mac, но отображает абракадабру вместо кириллицы.

Плюсы:

Код кратче

Минусы:

Кроссплатформенная несовместимость
Теряются данные
Появляются ошибки несоответствия кодировки

Позитивный кейс

Программист всегда указывает encoding='utf-8' при работе с файлами:

with open('log.txt', 'w', encoding='utf-8') as f:
    f.write('Программа завершилась успешно')