Что такое переход в ИИ для аналитика? Какие задачи может выполнять аналитик в проектах с LLM? Как он может помочь ML-инженерам и разработчикам?На эти вопросы я отвечу в докладе на примере своего опыта перехода из классической разработки в команду, создающую продукты с LLM. Расскажу о реальных задачах, с которыми я столкнулась, приведу примеры, поделюсь инсайтами. И, конечно, сделаю выводы – в чем ценность аналитика, что меняется в его работе, а что остается неизменным.Будет полезно аналитикам, которые уже работают в ИИ или только планируют осваивать этот новый мир, а также всем, кому интересен реальный опыт работы с LLM.1. Введение?- Мой опыт перехода в ИИ после 6 лет работы бизнес/системным аналитиком в интеграторе?- Ожидания и реальность?- Как быстро погрузиться, но при этом не утонуть в потоке информации??2. Реальные задачи аналитика в проектах с LLM?В основной части расскажу, какие задачи были у меня за первые полгода работы. По каждой задаче сделаю акценты: что конкретно делает аналитик, примеры, инсайты - на что стоит обращать внимание, почему аналитик нужен и в чем его ценность, в чем сходства и различия с проектами классической разработки ПО.?2.1. Обучение модели?- Формирование требований к навыку модели?- Постановка задачи на разметку данных?- Формирование требований к обучающему датасету?2.2. Оценка модели?- Подготовка бенчмарка?- Метрики и подходы к оценке — как аналитик помогает оценить соответствие модели бизнес-ожиданиям?2.3. Создание продукта с LLM на примере text2sql-ассистента?- Особенности подготовки требований: разделение логики между кодом и LLM; четкая логика против «самостоятельности» LLM; промпт как новый артефакт требований?- Особенности тестирования: подготовка тестовых данных и сценариев; чем бенчмарк для тестирования продукта отличается от бенчмарка для тестирования модели?- Оценка качества и производительности??3. Выводы?- Увеличивается ли объем знаний и навыков, необходимых аналитику?- Что остается неизменным и почему аналитик по-прежнему нужен??4. Ответы на вопросы
