ИИ и нейросети
Что значит hallucination, RAG, prompt injection, guardrails и почему это важно.
ошибка модели, когда она уверенно выдаёт выдуманную или ложную информацию как достоверную.
выдуманная ссылка, статья, автор или источник, которых на самом деле не существует.
цитата, которую ошибочно или намеренно приписывают человеку или тексту без проверяемого подтверждения.
ответ, опирающийся на конкретные данные, документы или источники, которые можно проверить.
ответ или утверждение, подтверждённые надёжным источником или ссылкой, которая действительно поддерживает сказанное.
разрыв между уверенной подачей ответа и его реальной точностью или качеством.
запрос, инструкция или входной текст, который дают модели, чтобы она выполнила задачу.
подбор формулировки, структуры и контекста запроса, чтобы получить от модели нужный результат.
базовая инструкция для модели, задающая её роль, правила, ограничения и стиль поведения.
попытка обойти ограничения модели и заставить её нарушить заданные правила.
вредная или конкурирующая инструкция, подставленная в контекст, чтобы сбить модель с нужного поведения.
защитные правила и ограничения, которые удерживают модель в безопасных и допустимых рамках.
система на базе ИИ, которая не только отвечает, но и планирует шаги и выполняет действия через инструменты.
способность системы самостоятельно планировать действия, выбирать шаги и двигаться к цели.
последовательность шагов, по которой система или команда решает задачу от начала до результата.
способность модели пользоваться внешними инструментами, например поиском, календарём, калькулятором или программными интерфейсами.
согласование нескольких шагов, моделей, инструментов или процессов в одном рабочем сценарии.
подход, при котором человек проверяет, утверждает или корректирует важные действия системы.
подход, при котором модель сначала находит релевантные материалы, а затем отвечает с опорой на них.
объём текста и данных, который модель может учитывать в одном запросе или диалоге.
дополнительная настройка модели на специальных примерах, нужной манере ответа или конкретном классе задач.
числовые представления текста, помогающие сравнивать фрагменты по смысловой близости.
привязка ответа модели к конкретным данным, документам или проверяемому контексту.
способность системы работать с разными видами данных, например текстом, изображениями, звуком или видео.
быстрая сборка кода или продукта с опорой на ИИ, интуицию и общий замысел вместо подробной ручной проработки.
низкокачественный, однообразный и плохо доработанный контент, явно созданный ИИ.
изображения, видео, звук или текст, созданные либо существенно изменённые с помощью ИИ.
приложение, собранное за один короткий заход, часто почти сразу из описания задачи.
продукт, который добавляет удобный интерфейс, сценарий использования или сервисный слой поверх чужой модели.
подход, при котором приложение собирают почти напрямую из текстового описания с помощью ИИ.