Курс для организаций, которым запрещено выпускать данные наружу и которые не знают, во что обойдётся собственный контур. На выходе — не впечатление о возможности, а три документа: скрипт развёртывания, отчёт бенчмарка и расчёт стоимости владения, по которому закупка оборудования выносится на бюджет.
Курс переопределён относительно ожидаемого формата. Собственной GPU-инфраструктуры у учебного центра нет, и обещать «развёрнутый корпоративный стенд» было бы недобросовестно. Лаборатории выполняются на почасовой аренде облачных GPU — один стенд на двух участников — с вспомогательными замерами на квантованных моделях 7–8B в режиме работы на центральном процессоре. Автоматическое выключение экземпляров по расписанию входит в операционный регламент курса, а не является опцией: это часть того, чему курс учит.
Центральный результат курса — не запущенная модель, а обоснованное число. Расчёт стоимости владения сходится с собственными замерами участника: профиль нагрузки снимается с реального процесса, производительность измеряется на трёх конфигурациях, точка безубыточности против внешнего программного интерфейса считается формулами.
Дообучение моделей вынесено из содержания курса в 30-минутный блок «дерево решений»: когда дообучение действительно требуется и в каких случаях его продают вместо более дешёвого решения. Причина — объём: полноценное дообучение не помещается в 21 час рядом с развёртыванием, квантованием, бенчмарком и расчётом. Отдельные часы по этой теме предоставляются по запросу.
56 % учебного времени занимают практикумы. Каждый практикум сдаётся по формальным критериям приёмки.
Цель курса:
По окончании курса слушатель сможет:
подбирать модель под класс задачи и доступное оборудование, обосновывая выбор замером, а не заявленными характеристиками;
определять, какой параметр оборудования ограничивает конкретную нагрузку, и не переплачивать за остальные;
разворачивать инференс-сервер и воспроизводить развёртывание на чистой машине по собственному скрипту;
применять квантование и измерять его влияние на производительность и на качество вывода;
снимать профиль нагрузки с реального процесса: интенсивность, длина запроса и ответа, одновременность, требования к задержке;
проводить бенчмарк по воспроизводимой методике и оформлять отчёт по латентности и пропускной способности;
рассчитывать стоимость владения локальным контуром против внешнего интерфейса и определять точку безубыточности;
принимать решение о дообучении модели по дереву решений и распознавать случаи, когда оно избыточно;
формулировать записку-обоснование закупки оборудования, проверяемую финансовой службой.
Аудитория:
разработчики и инженеры, которым поручено развернуть модель во внутреннем периметре;
системные и технические архитекторы — проектирование инфраструктуры под ИИ-нагрузку;
ИТ-директора и руководители инфраструктурных подразделений — обоснование закупки и оценка предложений поставщиков;
инженеры по эксплуатации, которым предстоит сопровождать локальный контур;
специалисты службы информационной безопасности, проверяющие решение о выносе обработки внутрь периметра.
Необходимая подготовка:
Обязателен уверенный Linux и командная строка: установка пакетов, службы, сеть, работа с контейнерами. Python на уровне чтения и правки кода. Понимание устройства серверного оборудования: память, дисковая подсистема, сеть. Предварительное знакомство с языковыми моделями не требуется — необходимая часть разбирается в курсе.
Входной самотест:
Предварительные требования к курсу отсутствуют: линейка продаётся поштучно, и самотест маршрутизирует, но не блокирует. Если хотя бы на один вопрос ответ отрицательный — курс ваш.
Вам запрещено выпускать данные наружу, и вы не знаете, во что обойдётся своё?
Можете ли вы назвать, сколько одновременных запросов выдержит предлагаемая поставщиком конфигурация, — числом, полученным замером?
Знаете ли вы, при каком объёме нагрузки локальный контур дешевле внешнего интерфейса, а при каком заведомо дороже?
Практические приёмы, отрабатываемые на курсе:
Слушатель осваивает приёмы, применимые к собственным задачам с первого рабочего дня после обучения. Ниже — приёмы в сценарии, которые отрабатываются на практике.
Подбор модели под задачу и оборудование. Семейства и размеры моделей, лицензионные условия, поддержка языка. Соответствие класса задачи размеру модели: извлечение по схеме, классификация и суммаризация предъявляют совершенно разные требования, и выбор «самой большой из доступных» — типовая причина переплаты за оборудование.
Определение ограничивающего параметра. Объём видеопамяти, пропускная способность памяти, вычислительная производительность, скорость дисковой подсистемы при загрузке — что из этого ограничивает конкретную нагрузку. Замер вместо рассуждения: конфигурация выбирается по измеренному узкому месту.
Развёртывание и воспроизводимость. Инференс-сервер, загрузка весов, параметры запуска, работа с несколькими моделями. Скрипт развёртывания, проверяемый разворачиванием с нуля на чистой машине — не документ «как мы это сделали», а исполняемая процедура.
Квантование и его цена. Форматы квантования и их влияние на объём памяти, скорость и качество вывода. Измерение потери качества на собственной задаче, а не по общим таблицам: на задаче извлечения по схеме потеря может быть незаметной, на задаче рассуждения — критической.
Снятие профиля нагрузки. Интенсивность обращений по часам, характерная и максимальная длина запроса и ответа, одновременность, допустимая задержка, суточная и сезонная неравномерность. Профиль снимается с реального процесса — без него бенчмарк измеряет произвольный режим.
Методика бенчмарка. Латентность первого токена и полного ответа, пропускная способность, поведение при росте одновременности, деградация под нагрузкой. Условия воспроизводимости замера: прогрев, фиксированный набор запросов, повторы, отбрасывание выбросов. Отчёт, который можно предъявить поставщику.
Расчёт стоимости владения против внешнего интерфейса. Затраты локального контура: оборудование с амортизацией, размещение и электропитание, сопровождение, обновление моделей, резервирование, простой. Затраты внешнего интерфейса: потребление по профилю нагрузки, рост при масштабировании, стоимость выхода. Точка безубыточности и её чувствительность к объёму.
Дерево решений по дообучению. Что решается постановкой задачи, что — поиском по документам, что — подбором модели и только что — дообучением. Стоимость подготовки размеченных данных как основная статья, о которой умалчивают. Признаки, по которым дообучение продают вместо более дешёвого решения.
Сквозное правило курса: конфигурация выбирается по измеренному узкому месту, а не по заявленным характеристикам; расчёт стоимости владения сходится с собственными замерами участника. Оба правила входят в критерии приёмки практикумов.
Что участник получает:
скрипт развёртывания инференс-сервера, проверенный разворачиванием с нуля на чистой машине;
отчёт бенчмарка: латентность и пропускная способность не менее чем для трёх конфигураций, с описанием методики замера;
расчётная модель стоимости владения в табличном формате: локальный контур против внешнего интерфейса, точка безубыточности, чувствительность к объёму;
форма снятия профиля нагрузки с процесса и заполненный профиль по собственной задаче;
записка-обоснование закупки оборудования: требуемая конфигурация, обоснование каждого параметра замером, альтернативы, срок окупаемости;
дерево решений по дообучению модели с перечнем более дешёвых альтернатив;
операционный регламент: мониторинг, обновление моделей, резервирование, управление стоимостью арендуемых ресурсов.
Материалы передаются в редактируемых форматах на электронном носителе для информационного наполнения корпоративной базы знаний.
Что в курс НЕ входит:
Раздел приведён намеренно. При поштучном выборе курса главная причина неудовлетворённости — не слабая программа, а неверно выбранная.
агентные пайплайны и интеграция с корпоративными системами — вырезаны осознанно, объём не помещается в 21 час; построение автоматизаций — AI-220;
построение корпоративной базы знаний: разбор документов, разбиение, права доступа, метрики качества — AI-300. В курсе даётся 45-минутный мостик: типовые нагрузки и что они требуют от оборудования;
полноценное дообучение моделей. В курсе — 30-минутное дерево решений и перечень более дешёвых альтернатив; отдельные часы по теме предоставляются по запросу;
закупочные процедуры и работа с поставщиками оборудования;
гарантированные ставки аренды облачных GPU. Ставки проверяются перед каждым набором и в инвариантное ядро программы не входят.
Как проверяется результат:
Входное и итоговое тестирование. Входной тест — за 3 рабочих дня до старта (20 вопросов), итоговый — в конце третьего дня (30 вопросов). Целевой прирост — не менее 25 процентных пунктов, проходной порог — 70 %.
Приёмка практикумов по формальным критериям. Итоговый критерий курса: скрипт разворачивается с нуля на чистой машине; отчёт бенчмарка содержит латентность и пропускную способность не менее чем для трёх конфигураций; расчёт стоимости владения сходится с собственными замерами участника.
Перенос решения в работу. Индивидуальный «План 30 дней»: снятие профиля нагрузки с реального процесса, повторный расчёт стоимости владения на фактических данных, вынесение записки-обоснования на рассмотрение. Отложенный опрос через 30 дней.
Измеряемый эффект. Наличие обоснованной замерами конфигурации в закупочной документации; отклонение фактической производительности внедрённого контура от расчётной; доля обращений, обработанных внутри периметра вместо внешнего интерфейса. Методика замера передаётся заказчику.
День 1. ОСНОВАНИЕ: выбор модели, оборудование, развёртывание
Модуль 0. Границы модели и контуры данных. Единый вводный модуль всех курсов линейки. Что языковая модель делает надёжно, а что выдаёт правдоподобно и неверно — с демонстрацией на отраслевом корпусе группы. Классы данных и разрешённые контуры: что физически покидает периметр при обращении к внешнему программному интерфейсу. Базовая техника проверки вывода — три вопроса к любому результату модели. Перечень данных, не загружаемых ни при каких условиях, с привязкой к отрасли участников. Модуль повторяется во всех курсах намеренно: линейка продаётся поштучно, и ни один курс не вправе предполагать, что слушатель прошёл соседний. 60 минут.
Мостик к AI-300: типовые нагрузки и требования к оборудованию. Четыре характерных профиля — поиск по документам, классификация потока, извлечение по схеме, диалоговый помощник — и чем они различаются по длине контекста, одновременности и требованиям к задержке. Что в каждом случае становится узким местом. Почему конфигурация подбирается под профиль, а не под название модели. 45 минут.
Выбор модели под задачу. Семейства и размеры, лицензионные условия и ограничения коммерческого использования, поддержка языка и предметной области. Соответствие класса задачи размеру модели. Типовая ошибка: выбор максимальной доступной модели под задачу извлечения по схеме с соответствующей переплатой за оборудование. Практикум: отбор трёх моделей-кандидатов под собственный профиль. 60 минут.
Оборудование: что именно ограничивает нагрузку. Объём видеопамяти, пропускная способность памяти, вычислительная производительность, скорость загрузки весов, сеть. Конфигурации с одним и несколькими ускорителями. Что ограничивает генерацию, а что — обработку длинного контекста. Разбор предложений поставщиков: какие заявленные характеристики не имеют отношения к целевой нагрузке. 60 минут.
Развёртывание инференс-сервера. Подготовка окружения, загрузка весов, параметры запуска, обслуживание нескольких моделей, проверка работоспособности. Ведение скрипта развёртывания с первого шага — не описание по факту, а исполняемая процедура. Регламент работы с арендуемыми ресурсами: учёт времени, автоматическое выключение экземпляров по расписанию. Практикум: развёртывание на стенде. 90 минут.
День 2. ЗАМЕР: квантование, методика, бенчмарк трёх конфигураций
Квантование и его цена. Форматы квантования, влияние на объём памяти, скорость и качество вывода. Измерение потери качества на собственной задаче вместо общих таблиц: на извлечении по схеме потеря может быть незаметной, на рассуждении — критической. Работа квантованных моделей 7–8B на центральном процессоре: где это применимо, а где даёт неприемлемую задержку. Практикум: замер качества и скорости на трёх уровнях квантования. 90 минут.
Методика бенчмарка. Что измеряется: латентность первого токена, латентность полного ответа, пропускная способность, поведение при росте одновременности, деградация под нагрузкой. Условия воспроизводимости: прогрев, фиксированный набор запросов, число повторов, обработка выбросов. Типовые искажения замера, из-за которых отчёт поставщика не воспроизводится. Практикум: сборка воспроизводимого сценария замера. 75 минут.
Бенчмарк трёх конфигураций. Проведение замеров по собственной методике: модель, уровень квантования, параметры сервера, уровень одновременности. Сведение результатов в сравнительную таблицу и оформление отчёта. Интерпретация: какая конфигурация закрывает профиль нагрузки с запасом, а какая — на пределе. Практикум: замер и отчёт. 105 минут.
Снятие профиля нагрузки с процесса. Интенсивность обращений по часам, характерная и максимальная длина запроса и ответа, одновременность, допустимая задержка, суточная и сезонная неравномерность, запас на рост. Источники данных для профиля, когда учёта нет. Практикум: заполнение профиля по собственной задаче. 45 минут.
День 3. РЕШЕНИЕ: стоимость владения, эксплуатация, обоснование закупки
Стоимость владения: локальный контур против внешнего интерфейса. Затраты локального контура: оборудование с амортизацией, размещение и электропитание, сопровождение, обновление моделей, резервирование, простой, персонал. Затраты внешнего интерфейса: потребление по снятому профилю, поведение затрат при росте нагрузки, стоимость выхода. Точка безубыточности и её чувствительность к объёму и к сроку амортизации. Гибридный сценарий: закрытый контур для чувствительных данных, внешний интерфейс для остального. Практикум: расчёт в табличной модели на собственном профиле и замерах. 105 минут.
Дообучение: дерево решений. Что решается постановкой задачи, что — поиском по документам, что — подбором модели и только что — дообучением. Стоимость подготовки размеченных данных как основная и обычно замалчиваемая статья. Признаки, по которым дообучение предлагают вместо более дешёвого решения. Границы блока обозначаются прямо: это решение «надо или нет», а не обучение самой процедуре. 30 минут.
Эксплуатация локального контура. Мониторинг доступности и производительности, обновление моделей без остановки сервиса, резервирование и восстановление, управление версиями, разграничение доступа к сервису. Управление стоимостью арендуемых ресурсов: учёт времени, автоматическое выключение, ограничение прав на запуск. 45 минут.
Скрипт развёртывания с нуля. Доведение скрипта до состояния, воспроизводимого на чистой машине без ручных шагов. Проверка перекрёстным прогоном: участник разворачивает стенд по скрипту соседней пары. Фиксация внешних зависимостей и версий. Практикум: развёртывание по чужому скрипту и протокол расхождений. 75 минут.
Записка-обоснование закупки, тестирование, план внедрения. Структура записки: целевой профиль нагрузки, требуемая конфигурация с обоснованием каждого параметра замером, рассмотренные альтернативы и причины отказа, расчёт стоимости владения, срок окупаемости, риски. Типовые возражения финансовой службы и ответы на них. Индивидуальный «План 30 дней». Итоговое тестирование и подведение результатов. 60 минут.