Выберите удобное для вас число,
запишитесь на курс, заполнив простую форму
Курс для тех, у кого тысячи документов и никто не находит нужное. На выходе — работающий стенд, который отвечает со ссылками на источник, не выдаёт пользователю содержимое документов, к которым у него нет доступа, и имеет измеренное качество, а не впечатление о качестве.
Центральная тема курса — не построение пайплайна как такового: собрать демонстрационный поиск по документам можно за час по общедоступному руководству. Предмет курса — четыре вещи, из-за которых такой стенд не доходит до эксплуатации в банке, у недропользователя и в государственном органе: разграничение прав доступа на уровне фрагмента, редакция персональных данных, версионность и устаревание документов, измеримость качества ответа.
Разграничение прав — не дополнительная функция, а условие существования продукта. Если права проверяются на уровне файла, а индекс построен на уровне фрагмента, система выдаёт содержимое закрытого документа в тексте ответа. Такой стенд — механизм утечки, а не база знаний. Этой теме отведён отдельный практикум с демонстрацией отказа.
Качество измеряется на эталонном наборе из 50 вопросов, который участники размечают сами. Ссылка на источник в ответе не гарантирует корректность атрибуции — модель способна сослаться на фрагмент, из которого приведённое утверждение не следует. Это отдельная метрика и отдельный практикум.
51 % учебного времени занимают практикумы. Каждый практикум сдаётся по формальным критериям приёмки.
Цель курса:
По окончании курса слушатель сможет:
проектировать пайплайн от исходного документа до ответа: разбор, нормализация, разбиение, векторизация, поиск, переранжирование, генерация;
разбирать разноформатные источники, включая сканы и документы с таблицами, с контролем полноты извлечения;
выбирать стратегию разбиения документа на фрагменты под тип контента и обосновывать выбор замером, а не умолчанием;
строить гибридный поиск и переранжирование и измерять вклад каждого компонента;
реализовывать разграничение прав доступа на уровне фрагмента и демонстрировать, что пользователь без прав не получает содержимое закрытого документа;
выполнять редакцию персональных данных на этапе индексирования и оценивать полноту редакции;
поддерживать версионность документов и инкрементальное обновление индекса без полной переиндексации;
собирать эталонный набор вопросов и размечать его для воспроизводимой оценки;
измерять полноту извлечения, обоснованность ответа и долю обоснованных отказов;
диагностировать типовые провалы систем поиска по документам по симптому и устранять причину.
Аудитория:
разработчики и инженеры данных, которым поручено построить корпоративный поиск по документам;
системные интеграторы и технические архитекторы — проектирование решения и оценка трудоёмкости;
технические руководители, принимающие решение «строить или покупать» и проверяющие результат подрядчика;
специалисты по управлению знаниями с технической подготовкой;
инженеры службы информационной безопасности, проверяющие изоляцию прав доступа в подобных системах.
Необходимая подготовка:
Обязателен Python на уровне уверенного чтения и правки кода: установка зависимостей, работа с файлами, вызов библиотек, отладка. Необходимо понимание клиент-серверного взаимодействия и работы с программными интерфейсами. Опыт работы с базами данных желателен. Предварительное знакомство с векторным поиском не требуется — разбирается в курсе.
Входной самотест:
Предварительные требования к курсу отсутствуют: линейка продаётся поштучно, и самотест маршрутизирует, но не блокирует. Если хотя бы на один вопрос ответ отрицательный — курс ваш.
У вас тысячи документов, и никто не находит нужное?
Можете ли вы доказать, что ваш поиск по документам не выдаёт содержимое закрытого документа пользователю без прав?
Знаете ли вы, какое качество даёт ваша система, — числом, а не впечатлением?
Практические приёмы, отрабатываемые на курсе:
Слушатель осваивает приёмы, применимые к собственным задачам с первого рабочего дня после обучения. Ниже — приёмы в сценарии, которые отрабатываются на практике.
Разбор разноформатных источников с контролем полноты. Текстовые документы, презентации, таблицы, сканы, письма с вложениями. Распознавание и его ошибки на отраслевых документах. Отдельная обработка таблиц: разбиение таблицы как текста разрушает связь строки со столбцом и делает ответ по числовым данным недостоверным. Контроль полноты извлечения по количеству, а не по впечатлению.
Разбиение под тип контента. Стратегии разбиения: фиксированное окно, по структуре документа, по смысловым границам. Размер и перекрытие. Метаданные фрагмента: источник, раздел, версия, дата, уровень доступа. Выбор стратегии обосновывается замером на эталонном наборе, а не значением по умолчанию из руководства.
Гибридный поиск и переранжирование. Сочетание векторного и лексического поиска и случаи, когда лексический выигрывает: точные обозначения, номера, коды, редкие термины. Переранжирование и его цена в задержке. Измерение вклада каждого компонента отдельно — иначе состав пайплайна выбирается по привычке.
Разграничение прав доступа на уровне фрагмента. Уровень доступа как обязательный атрибут фрагмента, фильтрация до поиска, а не после генерации. Демонстрация отказа: права на уровне файла при индексе на уровне фрагмента дают выдачу содержимого закрытого документа в тексте ответа. Проверка изоляции как обязательный тест перед вводом в эксплуатацию.
Редакция персональных данных. Обнаружение и редакция на этапе индексирования, а не на этапе вывода. Оценка полноты редакции и её пределы. Случай, когда обезличивание разрушает смысл фрагмента, и что делать вместо него.
Версионность и устаревание. Действующая редакция и архив; ответ по отменённому регламенту опаснее отсутствия ответа. Инкрементальное обновление индекса без полной переиндексации. Обработка удаления документа и отзыва прав доступа.
Эталонный набор и метрики. Сборка набора из 50 вопросов с разметкой: вопросы с однозначным ответом, вопросы, требующие нескольких источников, и вопросы, на которые ответа в корпусе нет. Полнота извлечения, обоснованность ответа, доля обоснованных отказов. Почему ссылка на источник не равна корректности атрибуции и как это измеряется отдельно.
Диагностика провалов по симптому. Нужный фрагмент не извлекается; извлекается, но ответ его игнорирует; ответ собран из фрагментов разных редакций; система отвечает на вопрос, ответа на который в корпусе нет; ответ верен, но ссылка ведёт не туда. Каждому симптому соответствует своя причина и своё исправление.
Сквозное правило курса: система без измеренного качества и без доказанной изоляции прав доступа в эксплуатацию не передаётся. Ссылка на источник не является доказательством корректности атрибуции и проверяется отдельной метрикой. Оба правила входят в критерии приёмки практикумов.
Что участник получает:
работающий стенд поиска по документам с разграничением прав доступа на уровне фрагмента — в выгружаемом виде, с инструкцией развёртывания;
эталонный набор из 50 размеченных вопросов на отраслевом корпусе, включая вопросы без ответа в корпусе;
отчёт по метрикам качества: полнота извлечения, обоснованность ответа, доля обоснованных отказов, задержка;
протокол проверки изоляции прав доступа — воспроизводимый тест с ожидаемым результатом;
каталог типовых провалов с привязкой симптома к причине и способу устранения;
процедура инкрементального обновления индекса, обработки версий и отзыва прав;
сравнительная таблица конфигураций пайплайна с замерами — основание для выбора, а не для дискуссии.
Материалы передаются в редактируемых форматах на электронном носителе для информационного наполнения корпоративной базы знаний.
Что в курс НЕ входит:
Раздел приведён намеренно. При поштучном выборе курса главная причина неудовлетворённости — не слабая программа, а неверно выбранная.
выбор и закупка оборудования, локальное развёртывание модели, расчёт стоимости владения инфраструктурой — AI-310. В курсе даётся 60-минутный мостик: где это будет работать — внешний программный интерфейс, локальный контур, гибрид — и чем ограничен выбор;
построение агентных сценариев и интеграция с корпоративными системами — AI-220;
дообучение моделей под предметную область;
отбор процессов и обоснование окупаемости — AI-210;
регламент допуска системы к эксплуатации службой информационной безопасности — AI-110.
Как проверяется результат:
Входное и итоговое тестирование. Входной тест — за 3 рабочих дня до старта (20 вопросов), итоговый — в конце третьего дня (30 вопросов). Целевой прирост — не менее 25 процентных пунктов, проходной порог — 70 %.
Приёмка практикумов по формальным критериям. Итоговый критерий курса: на эталонном наборе из 50 вопросов измерены полнота извлечения и обоснованность ответа; продемонстрировано, что пользователь без прав не получает содержимое закрытого документа ни в ответе, ни в ссылках.
Перенос навыка в работу. Индивидуальный «План 30 дней»: перенос стенда на собственный корпус ограниченного объёма, сборка эталонного набора на своих документах, замер базовых метрик. Отложенный опрос через 30 дней.
Измеряемый эффект. Сокращение времени поиска сведений в корпусе документов; доля вопросов, закрытых без обращения к эксперту; доля ответов с подтверждённой атрибуцией. Методика замера передаётся заказчику.
День 1. ИСТОЧНИКИ: разбор документов, разбиение, метаданные
Модуль 0. Границы модели и контуры данных. Единый вводный модуль всех курсов линейки. Что языковая модель делает надёжно, а что выдаёт правдоподобно и неверно — с демонстрацией на отраслевом корпусе группы. Классы данных и разрешённые контуры: что физически покидает периметр при обращении к внешнему программному интерфейсу. Базовая техника проверки вывода — три вопроса к любому результату модели. Перечень данных, не загружаемых ни при каких условиях, с привязкой к отрасли участников. Модуль повторяется во всех курсах намеренно: линейка продаётся поштучно, и ни один курс не вправе предполагать, что слушатель прошёл соседний. 60 минут.
Мостик к AI-310: где это будет работать. Три варианта размещения — внешний программный интерфейс, локальный контур, гибрид — и чем ограничен выбор: класс данных, объём нагрузки, требования к задержке, бюджет. Что из пайплайна можно оставить снаружи, а что обязано быть внутри периметра. Влияние выбора на архитектуру, принимаемую в этом курсе. 60 минут.
Архитектура пайплайна от документа до ответа. Этапы: приём и разбор источника, нормализация, разбиение, векторизация, индексирование, поиск, переранжирование, сборка контекста, генерация, атрибуция. Что на каком этапе ломается и почему диагностика начинается с этапа извлечения, а не с формулировки запроса к модели. Развёртывание учебного окружения. 45 минут.
Разбор источников: сканы, таблицы, вложенные форматы. Текстовые документы, презентации, письма с вложениями. Распознавание и характерные ошибки на отраслевых документах: штампы, подписи, многоколоночная вёрстка, качество скана. Отдельная обработка таблиц — почему разбиение таблицы как сплошного текста делает ответ по числовым данным недостоверным. Контроль полноты извлечения по количеству позиций. Практикум: разбор разноформатного комплекта отраслевого пакета. 90 минут.
Разбиение на фрагменты и метаданные. Стратегии: фиксированное окно, по структуре документа, по смысловым границам. Размер и перекрытие и их влияние на полноту извлечения. Обязательные метаданные фрагмента: источник, раздел, версия, дата, уровень доступа. Почему уровень доступа закладывается на этапе разбиения, а не добавляется позже. Практикум: три стратегии разбиения на одном корпусе с фиксацией различий. 60 минут.
День 2. ПОИСК И ДОСТУП: векторизация, права, персональные данные, версии
Векторизация и векторное хранилище. Выбор модели векторизации под язык и предметную область. Размерность, стоимость индексирования, скорость. Структура хранилища, фильтры по метаданным, обновление записей. Практикум: индексирование корпуса и базовый поиск. 75 минут.
Гибридный поиск и переранжирование. Векторный и лексический поиск: где каждый выигрывает. Точные обозначения, номера, коды и редкие термины — типовая зона отказа чисто векторного поиска на отраслевых документах. Объединение результатов и переранжирование, цена в задержке. Измерение вклада каждого компонента отдельно. Практикум: сравнение трёх конфигураций поиска. 60 минут.
Разграничение прав доступа на уровне фрагмента. Уровень доступа как обязательный атрибут фрагмента. Фильтрация до поиска, а не после генерации, и почему второе не работает. Демонстрация отказа: права на уровне файла при индексе на уровне фрагмента — пользователь без прав получает содержимое закрытого документа в тексте ответа. Отзыв прав и его распространение на индекс. Протокол проверки изоляции. Практикум: реализация фильтрации и воспроизводимый тест изоляции. 90 минут.
Редакция персональных данных. Обнаружение персональных данных в корпусе и редакция на этапе индексирования, а не на этапе вывода. Оценка полноты редакции и её пределы. Случай, когда обезличивание разрушает смысл фрагмента, и допустимые альтернативы: ограничение доступа вместо редакции. Практикум: редакция на отраслевом корпусе с оценкой полноты. 45 минут.
Версии, устаревание, инкрементальное обновление. Действующая редакция и архив: ответ по отменённому регламенту опаснее отсутствия ответа. Признак актуальности как атрибут фрагмента и его использование при поиске. Инкрементальное обновление индекса без полной переиндексации. Обработка удаления документа. 45 минут.
День 3. КАЧЕСТВО: атрибуция, эталонный набор, метрики, диагностика
Генерация ответа и атрибуция источника. Сборка контекста из найденных фрагментов и её ограничения. Требование отвечать только по предоставленным фрагментам и разрешение вернуть обоснованный отказ. Почему ссылка на источник не равна корректности атрибуции: модель ссылается на фрагмент, из которого приведённое утверждение не следует. Способы сделать атрибуцию проверяемой. 60 минут.
Эталонный набор: сборка и разметка. Состав набора: вопросы с однозначным ответом, вопросы, требующие нескольких источников, вопросы с ответом в устаревшей редакции, вопросы, на которые ответа в корпусе нет. Разметка ожидаемого результата и ожидаемых источников. Почему набор собирается предметными специалистами, а не генерируется моделью по тому же корпусу. Практикум: сборка 50 вопросов. 75 минут.
Метрики качества и замер. Полнота извлечения — попал ли нужный фрагмент в выдачу. Обоснованность ответа — следует ли утверждение из процитированного фрагмента. Доля обоснованных отказов на вопросах без ответа в корпусе. Задержка и стоимость обращения. Автоматизация замера и её пределы. Практикум: замер трёх конфигураций пайплайна на эталонном наборе и оформление отчёта. 75 минут.
Диагностика типовых провалов. Нужный фрагмент не извлекается — причина на этапе разбиения или векторизации. Извлекается, но ответ его игнорирует — сборка контекста или постановка. Ответ собран из фрагментов разных редакций — отсутствует признак актуальности. Система отвечает на вопрос без ответа в корпусе — не задано разрешение на отказ. Ответ верен, ссылка ведёт не туда — атрибуция. Разбор по симптомам на собственных замерах. 45 минут.
Передача в эксплуатацию, тестирование, план внедрения. Что предъявляется службе информационной безопасности: протокол изоляции прав, процедура отзыва доступа, состав журнала. Инструкция развёртывания стенда с нуля. Индивидуальный «План 30 дней»: перенос на собственный корпус, сборка эталонного набора, замер базовых метрик. Итоговое тестирование и подведение результатов. 60 минут.