На проекте классифицируют обращения в поддержку. Один тикет может содержать несколько сообщений с одинаковым контекстом, но разметка дана для каждого сообщения. Оценка сделана так:

from sklearn.model_selection import train_test_split
from sklearn.metrics import f1_score

texts = ["не могу войти", "не могу войти в аккаунт", "оплата не прошла"]
labels = [1, 1, 0]
ticket_id = [101, 101, 205]

X_train, X_test, y_train, y_test = train_test_split(
    texts, labels, test_size=0.2, random_state=42, stratify=labels
)

model.fit(X_train, y_train)
print(f1_score(y_test, model.predict(X_test)))

Какой дефект оценки может возникнуть даже при stratify=labels, почему F1 окажется завышенным и как следует изменить разбиение?