Сравните оценку двух языковых моделей на одних и тех же текстах: у модели A BPE-токенизация, у модели B символьная. Какую ошибку делает код и как корректно сопоставить модели, если требуется метрика, независимая от размера токена?

import math

texts = ["модель отвечает", "данные важны"]
nll_a = [7.2, 5.4]       # суммарный negative log-likelihood по документам
tokens_a = [4, 3]        # BPE-токены
nll_b = [10.1, 7.8]
tokens_b = [14, 12]      # символы

ppl_a = math.exp(sum(nll_a) / sum(tokens_a))
ppl_b = math.exp(sum(nll_b) / sum(tokens_b))
print(ppl_a, ppl_b)