LLM

Большая языковая модель: модель, обученная работать с последовательностями токенов и генерировать текст. Состав возможностей зависит от обучения и подключенных инструментов.

Читать по теме →

Токен

Единица представления входа и выхода модели. Токен не равен слову; разбиение зависит от токенизатора и языка.

Читать по теме →

Контекстное окно

Объем информации, который модель может обрабатывать в одном обращении в рамках ограничений конкретной системы. Большое окно само по себе не гарантирует точного использования всех данных.

Читать по теме →

RAG

Подход, при котором система ищет внешние материалы и использует найденные фрагменты при генерации ответа.

Читать по теме →

Эмбеддинг

Числовое представление объекта, например текста, которое можно использовать для сравнения и поиска. Близость представлений зависит от модели и задачи.

Читать по теме →

Квантизация

Представление параметров или вычислений с меньшей точностью. Может уменьшить требования к памяти, но требует проверки совместимости и качества.

Читать по теме →

Инференс

Применение обученной модели к новым входным данным: например, генерация ответа на запрос пользователя.

Читать по теме →

Fine-tuning

Дополнительное обучение модели на выбранных данных. Не является универсальной заменой поиску по обновляемой базе документов.

Читать по теме →

Агент

Система, которая использует модель для выбора шагов и обращения к инструментам ради задачи. Границы автономности задает приложение.

Читать по теме →

Скилл

Пакет инструкций и связанных ресурсов для повторяемого способа работы. Его наличие не заменяет проверку результата и контроль разрешений.

Читать по теме →

Prompt injection

Попытка заставить модель принять инструкции из недоверенного содержимого за управляющие указания и изменить исходную задачу.

Читать по теме →

Evals

Набор воспроизводимых проверок системы на подготовленных сценариях с критериями качества, безопасности, времени или стоимости.

Читать по теме →