Новое исследование Коалиции за языковое равенство в исследованиях ИИ показало, что для обработки некоторых языков моделям искусственного интеллекта требуется значительно больше токенов, чем для других. Из-за этого пользователи языков, недостаточно представленных в цифровых данных, рискуют платить больше за те же услуги.

Токенизатор большой языковой модели разбивает текст на блоки — токены. По словам исследователей, он эффективнее работает с языками, для которых существует большой объём оцифрованных данных. Среди 20 языков с самым значительным присутствием в интернете менее распространённые языки требовали в 1,5–5 раз больше токенов, чем тот же запрос на английском. Когда исследование охватило 200 языков, в одной из рассмотренных моделей разница достигла 17 раз.

Большинство поставщиков больших языковых моделей взимают плату за использованные токены, поэтому их дополнительный расход означает существенно более высокую стоимость. Кроме того, обработка большего числа токенов занимает больше времени, а в контекстное окно модели помещается меньше информации.

Исследователи называют это скрытым «налогом токенизатора» и предупреждают, что он усугубляет цифровое неравенство.

Проблема затрагивает не только языки, на которых говорят немногие, отмечают авторы исследования. «Если ранжировать языки по числу говорящих, а не по присутствию в интернете, этот налог ложится на огромные группы людей: пенджаби — около 200 миллионов носителей, бенгальский — около 266 миллионов, урду — около 288 миллионов, бирманский — около 36 миллионов, амхарский — около 36 миллионов. Это означает, что сотни миллионов человек платят за тот же уровень возможностей в несколько раз больше, чем пользователи английского», — говорится в исследовании.

Особенно сильно затронуты языки, письменность которых реже встречается в обучающих данных моделей ИИ. Среди примеров исследователи называют бирманский, тибетский, кхмерский и лаосский. Языки, использующие латинский алфавит, напротив, часто оказываются в более выгодном положении, даже если на них говорит сравнительно немного людей.