Казахстан, г. Алматы, ул. Шевченко 90, БЦ «Каратал», офис 53
Казахстан, г. Астана, ул. Иманова 19, БЦ Деловой Дом "Алма-Ата", офис 612

направление: ИИ кол-во дней: 3
кол-во часов: 24
код курса: AI-310

Курс для организаций, которым запрещено выпускать данные наружу и которые не знают, во что обойдётся собственный контур. На выходе — не впечатление о возможности, а три документа: скрипт развёртывания, отчёт бенчмарка и расчёт стоимости владения, по которому закупка оборудования выносится на бюджет.

Курс переопределён относительно ожидаемого формата. Собственной GPU-инфраструктуры у учебного центра нет, и обещать «развёрнутый корпоративный стенд» было бы недобросовестно. Лаборатории выполняются на почасовой аренде облачных GPU — один стенд на двух участников — с вспомогательными замерами на квантованных моделях 7–8B в режиме работы на центральном процессоре. Автоматическое выключение экземпляров по расписанию входит в операционный регламент курса, а не является опцией: это часть того, чему курс учит.

Центральный результат курса — не запущенная модель, а обоснованное число. Расчёт стоимости владения сходится с собственными замерами участника: профиль нагрузки снимается с реального процесса, производительность измеряется на трёх конфигурациях, точка безубыточности против внешнего программного интерфейса считается формулами.

Дообучение моделей вынесено из содержания курса в 30-минутный блок «дерево решений»: когда дообучение действительно требуется и в каких случаях его продают вместо более дешёвого решения. Причина — объём: полноценное дообучение не помещается в 21 час рядом с развёртыванием, квантованием, бенчмарком и расчётом. Отдельные часы по этой теме предоставляются по запросу.

56 % учебного времени занимают практикумы. Каждый практикум сдаётся по формальным критериям приёмки.

Цель курса:

По окончании курса слушатель сможет:

  • подбирать модель под класс задачи и доступное оборудование, обосновывая выбор замером, а не заявленными характеристиками;

  • определять, какой параметр оборудования ограничивает конкретную нагрузку, и не переплачивать за остальные;

  • разворачивать инференс-сервер и воспроизводить развёртывание на чистой машине по собственному скрипту;

  • применять квантование и измерять его влияние на производительность и на качество вывода;

  • снимать профиль нагрузки с реального процесса: интенсивность, длина запроса и ответа, одновременность, требования к задержке;

  • проводить бенчмарк по воспроизводимой методике и оформлять отчёт по латентности и пропускной способности;

  • рассчитывать стоимость владения локальным контуром против внешнего интерфейса и определять точку безубыточности;

  • принимать решение о дообучении модели по дереву решений и распознавать случаи, когда оно избыточно;

  • формулировать записку-обоснование закупки оборудования, проверяемую финансовой службой.

Аудитория:

  • разработчики и инженеры, которым поручено развернуть модель во внутреннем периметре;

  • системные и технические архитекторы — проектирование инфраструктуры под ИИ-нагрузку;

  • ИТ-директора и руководители инфраструктурных подразделений — обоснование закупки и оценка предложений поставщиков;

  • инженеры по эксплуатации, которым предстоит сопровождать локальный контур;

  • специалисты службы информационной безопасности, проверяющие решение о выносе обработки внутрь периметра.

Необходимая подготовка:

Обязателен уверенный Linux и командная строка: установка пакетов, службы, сеть, работа с контейнерами. Python на уровне чтения и правки кода. Понимание устройства серверного оборудования: память, дисковая подсистема, сеть. Предварительное знакомство с языковыми моделями не требуется — необходимая часть разбирается в курсе.

Входной самотест:

Предварительные требования к курсу отсутствуют: линейка продаётся поштучно, и самотест маршрутизирует, но не блокирует. Если хотя бы на один вопрос ответ отрицательный — курс ваш.

  • Вам запрещено выпускать данные наружу, и вы не знаете, во что обойдётся своё?

  • Можете ли вы назвать, сколько одновременных запросов выдержит предлагаемая поставщиком конфигурация, — числом, полученным замером?

  • Знаете ли вы, при каком объёме нагрузки локальный контур дешевле внешнего интерфейса, а при каком заведомо дороже?

Практические приёмы, отрабатываемые на курсе:

Слушатель осваивает приёмы, применимые к собственным задачам с первого рабочего дня после обучения. Ниже — приёмы в сценарии, которые отрабатываются на практике.

  • Подбор модели под задачу и оборудование. Семейства и размеры моделей, лицензионные условия, поддержка языка. Соответствие класса задачи размеру модели: извлечение по схеме, классификация и суммаризация предъявляют совершенно разные требования, и выбор «самой большой из доступных» — типовая причина переплаты за оборудование.

  • Определение ограничивающего параметра. Объём видеопамяти, пропускная способность памяти, вычислительная производительность, скорость дисковой подсистемы при загрузке — что из этого ограничивает конкретную нагрузку. Замер вместо рассуждения: конфигурация выбирается по измеренному узкому месту.

  • Развёртывание и воспроизводимость. Инференс-сервер, загрузка весов, параметры запуска, работа с несколькими моделями. Скрипт развёртывания, проверяемый разворачиванием с нуля на чистой машине — не документ «как мы это сделали», а исполняемая процедура.

  • Квантование и его цена. Форматы квантования и их влияние на объём памяти, скорость и качество вывода. Измерение потери качества на собственной задаче, а не по общим таблицам: на задаче извлечения по схеме потеря может быть незаметной, на задаче рассуждения — критической.

  • Снятие профиля нагрузки. Интенсивность обращений по часам, характерная и максимальная длина запроса и ответа, одновременность, допустимая задержка, суточная и сезонная неравномерность. Профиль снимается с реального процесса — без него бенчмарк измеряет произвольный режим.

  • Методика бенчмарка. Латентность первого токена и полного ответа, пропускная способность, поведение при росте одновременности, деградация под нагрузкой. Условия воспроизводимости замера: прогрев, фиксированный набор запросов, повторы, отбрасывание выбросов. Отчёт, который можно предъявить поставщику.

  • Расчёт стоимости владения против внешнего интерфейса. Затраты локального контура: оборудование с амортизацией, размещение и электропитание, сопровождение, обновление моделей, резервирование, простой. Затраты внешнего интерфейса: потребление по профилю нагрузки, рост при масштабировании, стоимость выхода. Точка безубыточности и её чувствительность к объёму.

  • Дерево решений по дообучению. Что решается постановкой задачи, что — поиском по документам, что — подбором модели и только что — дообучением. Стоимость подготовки размеченных данных как основная статья, о которой умалчивают. Признаки, по которым дообучение продают вместо более дешёвого решения.

Сквозное правило курса: конфигурация выбирается по измеренному узкому месту, а не по заявленным характеристикам; расчёт стоимости владения сходится с собственными замерами участника. Оба правила входят в критерии приёмки практикумов.

Что участник получает:

  • скрипт развёртывания инференс-сервера, проверенный разворачиванием с нуля на чистой машине;

  • отчёт бенчмарка: латентность и пропускная способность не менее чем для трёх конфигураций, с описанием методики замера;

  • расчётная модель стоимости владения в табличном формате: локальный контур против внешнего интерфейса, точка безубыточности, чувствительность к объёму;

  • форма снятия профиля нагрузки с процесса и заполненный профиль по собственной задаче;

  • записка-обоснование закупки оборудования: требуемая конфигурация, обоснование каждого параметра замером, альтернативы, срок окупаемости;

  • дерево решений по дообучению модели с перечнем более дешёвых альтернатив;

  • операционный регламент: мониторинг, обновление моделей, резервирование, управление стоимостью арендуемых ресурсов.

Материалы передаются в редактируемых форматах на электронном носителе для информационного наполнения корпоративной базы знаний.

Что в курс НЕ входит:

Раздел приведён намеренно. При поштучном выборе курса главная причина неудовлетворённости — не слабая программа, а неверно выбранная.

  • агентные пайплайны и интеграция с корпоративными системами — вырезаны осознанно, объём не помещается в 21 час; построение автоматизаций — AI-220;

  • построение корпоративной базы знаний: разбор документов, разбиение, права доступа, метрики качества — AI-300. В курсе даётся 45-минутный мостик: типовые нагрузки и что они требуют от оборудования;

  • полноценное дообучение моделей. В курсе — 30-минутное дерево решений и перечень более дешёвых альтернатив; отдельные часы по теме предоставляются по запросу;

  • закупочные процедуры и работа с поставщиками оборудования;

  • гарантированные ставки аренды облачных GPU. Ставки проверяются перед каждым набором и в инвариантное ядро программы не входят.

Как проверяется результат:

  1. Входное и итоговое тестирование. Входной тест — за 3 рабочих дня до старта (20 вопросов), итоговый — в конце третьего дня (30 вопросов). Целевой прирост — не менее 25 процентных пунктов, проходной порог — 70 %.

  2. Приёмка практикумов по формальным критериям. Итоговый критерий курса: скрипт разворачивается с нуля на чистой машине; отчёт бенчмарка содержит латентность и пропускную способность не менее чем для трёх конфигураций; расчёт стоимости владения сходится с собственными замерами участника.

  3. Перенос решения в работу. Индивидуальный «План 30 дней»: снятие профиля нагрузки с реального процесса, повторный расчёт стоимости владения на фактических данных, вынесение записки-обоснования на рассмотрение. Отложенный опрос через 30 дней.

  4. Измеряемый эффект. Наличие обоснованной замерами конфигурации в закупочной документации; отклонение фактической производительности внедрённого контура от расчётной; доля обращений, обработанных внутри периметра вместо внешнего интерфейса. Методика замера передаётся заказчику.

 

День 1. ОСНОВАНИЕ: выбор модели, оборудование, развёртывание

  1. Модуль 0. Границы модели и контуры данных. Единый вводный модуль всех курсов линейки. Что языковая модель делает надёжно, а что выдаёт правдоподобно и неверно — с демонстрацией на отраслевом корпусе группы. Классы данных и разрешённые контуры: что физически покидает периметр при обращении к внешнему программному интерфейсу. Базовая техника проверки вывода — три вопроса к любому результату модели. Перечень данных, не загружаемых ни при каких условиях, с привязкой к отрасли участников. Модуль повторяется во всех курсах намеренно: линейка продаётся поштучно, и ни один курс не вправе предполагать, что слушатель прошёл соседний. 60 минут.

  2. Мостик к AI-300: типовые нагрузки и требования к оборудованию. Четыре характерных профиля — поиск по документам, классификация потока, извлечение по схеме, диалоговый помощник — и чем они различаются по длине контекста, одновременности и требованиям к задержке. Что в каждом случае становится узким местом. Почему конфигурация подбирается под профиль, а не под название модели. 45 минут.

  3. Выбор модели под задачу. Семейства и размеры, лицензионные условия и ограничения коммерческого использования, поддержка языка и предметной области. Соответствие класса задачи размеру модели. Типовая ошибка: выбор максимальной доступной модели под задачу извлечения по схеме с соответствующей переплатой за оборудование. Практикум: отбор трёх моделей-кандидатов под собственный профиль. 60 минут.

  4. Оборудование: что именно ограничивает нагрузку. Объём видеопамяти, пропускная способность памяти, вычислительная производительность, скорость загрузки весов, сеть. Конфигурации с одним и несколькими ускорителями. Что ограничивает генерацию, а что — обработку длинного контекста. Разбор предложений поставщиков: какие заявленные характеристики не имеют отношения к целевой нагрузке. 60 минут.

  5. Развёртывание инференс-сервера. Подготовка окружения, загрузка весов, параметры запуска, обслуживание нескольких моделей, проверка работоспособности. Ведение скрипта развёртывания с первого шага — не описание по факту, а исполняемая процедура. Регламент работы с арендуемыми ресурсами: учёт времени, автоматическое выключение экземпляров по расписанию. Практикум: развёртывание на стенде. 90 минут.

День 2. ЗАМЕР: квантование, методика, бенчмарк трёх конфигураций

  1. Квантование и его цена. Форматы квантования, влияние на объём памяти, скорость и качество вывода. Измерение потери качества на собственной задаче вместо общих таблиц: на извлечении по схеме потеря может быть незаметной, на рассуждении — критической. Работа квантованных моделей 7–8B на центральном процессоре: где это применимо, а где даёт неприемлемую задержку. Практикум: замер качества и скорости на трёх уровнях квантования. 90 минут.

  2. Методика бенчмарка. Что измеряется: латентность первого токена, латентность полного ответа, пропускная способность, поведение при росте одновременности, деградация под нагрузкой. Условия воспроизводимости: прогрев, фиксированный набор запросов, число повторов, обработка выбросов. Типовые искажения замера, из-за которых отчёт поставщика не воспроизводится. Практикум: сборка воспроизводимого сценария замера. 75 минут.

  3. Бенчмарк трёх конфигураций. Проведение замеров по собственной методике: модель, уровень квантования, параметры сервера, уровень одновременности. Сведение результатов в сравнительную таблицу и оформление отчёта. Интерпретация: какая конфигурация закрывает профиль нагрузки с запасом, а какая — на пределе. Практикум: замер и отчёт. 105 минут.

  4. Снятие профиля нагрузки с процесса. Интенсивность обращений по часам, характерная и максимальная длина запроса и ответа, одновременность, допустимая задержка, суточная и сезонная неравномерность, запас на рост. Источники данных для профиля, когда учёта нет. Практикум: заполнение профиля по собственной задаче. 45 минут.

День 3. РЕШЕНИЕ: стоимость владения, эксплуатация, обоснование закупки

  1. Стоимость владения: локальный контур против внешнего интерфейса. Затраты локального контура: оборудование с амортизацией, размещение и электропитание, сопровождение, обновление моделей, резервирование, простой, персонал. Затраты внешнего интерфейса: потребление по снятому профилю, поведение затрат при росте нагрузки, стоимость выхода. Точка безубыточности и её чувствительность к объёму и к сроку амортизации. Гибридный сценарий: закрытый контур для чувствительных данных, внешний интерфейс для остального. Практикум: расчёт в табличной модели на собственном профиле и замерах. 105 минут.

  2. Дообучение: дерево решений. Что решается постановкой задачи, что — поиском по документам, что — подбором модели и только что — дообучением. Стоимость подготовки размеченных данных как основная и обычно замалчиваемая статья. Признаки, по которым дообучение предлагают вместо более дешёвого решения. Границы блока обозначаются прямо: это решение «надо или нет», а не обучение самой процедуре. 30 минут.

  3. Эксплуатация локального контура. Мониторинг доступности и производительности, обновление моделей без остановки сервиса, резервирование и восстановление, управление версиями, разграничение доступа к сервису. Управление стоимостью арендуемых ресурсов: учёт времени, автоматическое выключение, ограничение прав на запуск. 45 минут.

  4. Скрипт развёртывания с нуля. Доведение скрипта до состояния, воспроизводимого на чистой машине без ручных шагов. Проверка перекрёстным прогоном: участник разворачивает стенд по скрипту соседней пары. Фиксация внешних зависимостей и версий. Практикум: развёртывание по чужому скрипту и протокол расхождений. 75 минут.

  5. Записка-обоснование закупки, тестирование, план внедрения. Структура записки: целевой профиль нагрузки, требуемая конфигурация с обоснованием каждого параметра замером, рассмотренные альтернативы и причины отказа, расчёт стоимости владения, срок окупаемости, риски. Типовые возражения финансовой службы и ответы на них. Индивидуальный «План 30 дней». Итоговое тестирование и подведение результатов. 60 минут.