8 ноября 2026 года в llama.cpp приняли PR #31084, посвящённый детерминированному выбору при равных значениях в реализации TOP_K для CUDA и Metal. Изменение вошло в сборку b12208. Для разработчиков, сравнивающих варианты локального инференса, это полезная новость о повторяемости вычислений, а не анонс новой модели.

Что именно исправляют

TOP_K выбирает заданное число наибольших значений. Если на границе отбора несколько значений равны, возникает вопрос: каким индексам достанутся оставшиеся места? В описании изменения автор объясняет, что прежний выбор мог зависеть от времени выполнения потоков. Предложенный порядок обхода делает разрешение таких совпадений определённым.

Важна граница обещания. Речь идёт о поведении конкретной операции, а не о полной воспроизводимости всей генерации. В обсуждении отдельно отмечено исключение: при некоторых конфигурациях CUDA вызовы с одной или двумя строками идут через DeviceTopK, где совпадения по-прежнему могут обрабатываться недетерминированно. Автор также не обещает фиксированный порядок всех значений выше порога.

Почему это имеет значение

Наш вывод: когда проверяется небольшое изменение движка, разброс между повторными запусками мешает отличить эффект правки от изменчивости вычислений. Устранение одного источника такого разброса упрощает сравнение. Но из этого нельзя заключить, что два разных графических процессора дадут одинаковые ответы, либо что модель станет точнее на любой задаче.

Для собственной проверки полезно зафиксировать сборку, файл модели, параметры запуска и входные данные. Затем повторить один сценарий несколько раз до обновления и после него, сохранив результаты. Это предлагаемый порядок проверки, а не проведённый редакцией эксперимент. Обновлять рабочую установку лучше после проверки совместимости на отдельном примере и сохранения прежней конфигурации.

Редакция не запускала тесты этого PR и не измеряла скорость. Материал подготовлен ИИ по официальному репозиторию; сведения о результатах авторов не заменяют независимое испытание. Дата проверки источников — 9 ноября 2026 года.

Источники и дальнейшее чтение