В мире AI-продуктов бенчмарк — это не подготовка к продуктовой работе, это и есть продуктовая работа. Короткой дороги нет. Ко мне регулярно приходят продакты, которые хотят построить своих ассистентов. И все хотят быстро. Демка правда собирается быстро. И на глаз даже кажется, что отвечает неплохо. Но первый же замер качества на нормальном датасете даёт ~50% Почему никто не хочет строить бенчмарк и эвал, даже если знает о существовании этих слов? Потому что это нудно. Собрать запросы, убедиться, что они похожи на то, что люди реально будут спрашивать (иначе вся работа в стол). Понять, что такое хороший ответ, научиться согласованно размечать ответы на хорошие и нехорошие… А что такое хороший ответ? Если девушка попросила красную помаду, и ассистент подобрал красную помаду, — это хорошо? Да вообще не факт. Может, она хотела весь вечер целоваться, не оставляя нигде следов. Откуда ж мы знаем. Узнать можно только одним способом — спросить. Так мы и строили ассистента для подбора товаров: обзвонили людей, которые недавно что-то покупали, опросили их по методологии, близкой к JTBD: что искал, в каком контексте, какого результата ждал… Ценность не в том, чтобы найти товар по запросу, а в том, чтобы решить задачу, которая за этим запросом стоит. Тогда работа ассистента распалась на две части: правильно собрать контекст с человека и правильно подобрать товар под этот контекст. Но что значит «правильно подобрать»? С помадой разобрались — не должна оставлять следов. А если «ноутбук для брата, чтобы играть в майнкрафт и делать проекты в скретче»? Я в ноутбуках не разбираюсь вообще. Для некоторых категорий нам пришлось привлекать экспертов, которые объясняли, как переводить человеческий запрос на язык фильтров и критериев подходящести. Так мы руками проделали работу ассистента на большом датасете. И именно поэтому поняли, как её автоматизировать и как проверять. Сбор бенчмарка оказался половиной всей работы над продуктом, если не больше. Всё остальное (прототипы, выбивание целевого качества, переезд на маленькие модельки…) стояло на этом фундаменте. Так что пропустить сбор бенчмарка — это как сказать "Я знаю короткую дорогу". А потом сделать крюк и пойти по навигатору )) Через 2 недели на TurboML Conf наш ML-инженер Саша Замиралов расскажет как мы научили ассистента подбирать товары. Как строили бенчмарк, итерировались, как переезжали на маленькие модельки, улучшая скорость и не теряя в качестве. Будет довольно технический доклад — приходите, если не боитесь! Рега закроется завтра: https://l.tbank.ru/turbo-ap
БуБудни продакта
КатегорияOtherЯзыкRUДобавлен06 июл. 2026 г.КачествоПроверен
Подписчики898
Сред. просмотры9.3K
ERR1038.2%
Цена-- RUB
Цена / подписчик--
Цена / просмотр--
Метрики обновлены: 07 июл. 2026 г.
Последние посты
"Вот вырастешь, поймёшь" Раньше я не понимала своего папу, который твердил, что стабильности не бывает, что надо быть готовой всё потерять и начинать сначала. В 20 лет мне казалось, что IT - самая надёжная сфера в мире, с которой уж точно ничего не случится. Зачем меня пугать. Выросла. Наблюдаю, как шатает IT мир в эпоху AI )) И естественно, думаю о своём будущем: как меняется моя профессия, какие могут быть развилки, что может быть востребовано через несколько лет. У меня есть своя позиция, но мне нравится слушать и альтернативные, чтобы проверить, не ошибаюсь ли я. Вдруг другие люди заметили то, чего я не замечаю. Во вторник соберёмся с Женей Одуд (CPO Jetsim) и Дашей Васяниной (Product Advisor) и подискутируем про будущее продуктовой профессии. Организовывает и модерирует Лера Розова (основательница Shanc.ai ). 23 июня в 19:00 по Мск, онлайн Нужно зарегистрироваться: https://clck.ru/3U8eyy
Я заработала 100 рублей! Помните @trybanana_bot ? Это мой завайбкоженный ботик, где надо угадать слово дня, а первый угадавший загадывает слово на завтра. Я давно заметила, что людям нравится загадывать слова. В среднем это происходит за 10 минут после старта игры, а часто, вообще, за 3 минуты. Я решила попробовать это монетизировать и сделала аукцион. Любой может поставить ставку. Если твоя ставка победит, можешь загадать слово вместо победителя. Фича работает уже несколько месяцев, и вот, сегодня 🥁 🥁 🥁 я заработала первые 100 рублей! Конечно, гипотеза с аукционом с треском провалилась. Но это не важно. Важно, что это первая оплата в продукте, который я придумала и сделала сама. Я давно умею зарабатывать с курсов и консультаций. В чужих продуктах — тоже. А вот в своём завайбкоженном — нет. Так что радуюсь сегодня как ребёнок. А вы учитесь у меня радоваться таким мелочам ))
«Ой да я быстрее сама сделаю» Раньше я ленилась объяснять и делегировать задачки джунам, а теперь ллмкам. Надо сесть, описать нормально контекст в промпте, чтобы получить не фигню. Так и хочется написать на отвали, получить быстрый результат и самой его докрутить. В моменте бывает быстрее, но когда задачка возникает снова, всё повторяется. Суммарно тратишь больше времени на докручивание, чем можно было бы потратить на переиспользуемое решение с самого начала. Ленюсь точно не только я. Поэтому завтра буду рассказывать, как мы в Т начали системно автоматизировать рутинную продуктовую работу ллмками. И как я переиспользую этот принцип для всей своей работы. Рассказывать буду на Built by Her Summit. «Built by Her» — это комьюнити для женщин вокруг AI. Мне написала его ко-фаундер Оля: «Мы видим нехватку репрезентации девушек в общей AI и tech индустрии и хотим собирать больше классных девушек спикеров делиться своим опытом, вдохновляя других. Приходи к нам выступать». Я смогла ответить только: «Вау! У меня вообще нет времени, но я найду ))». Есть проекты, которые вызывают у меня такое уважение, что я просто не могу пройти мимо. Саммит уже завтра, но присоединиться ещё можно. Это бесплатно Регистрируйтесь: https://www.builtbyher.tech/summit
Константин Маркелов, вице‑президент, директор по продукту и технологиям Т‑Банка на ПМЭФ рассказал, что компания разрабатывает ИИ‑ассистента по имени Тая: «Мы экспериментируем, делаем новые поверхности, в том числе вопросно‑ответную систему, универсального…