Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

@dsproglibVerifiedLive API

Все самое полезное для дата сайентиста в одном канале.

Учиться у нас: clc.to/6qVHgg

По рекламе: @tproger_sales_bot

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9

CategoryOtherLanguageRUFirst seenJul 06, 2026QualityVerified
Open in Telegram
Subscribers18.3K
Avg views1.1K
ERR5.9%
Price-- RUB
Price / subscriber--
Price / view--
Metrics updated: Nov 13, 2026
Recent posts
🤖 Два курса по AI по цене одного — только до 15.11!

Наигрались с нейросетями, и хотите применять их в реальных проектах?

Обращаем ваше внимание на ИИ-связку Proglib Academy:

➡️ «ИИ для разработчиков» — соберите собственный рабочий процесс с AI: от планирования и написания кода до тестирования и code review.

➡️ «Разработка ИИ-агентов» — научитесь создавать агентов, которые умеют работать с API, базами знаний и внешними инструментами, выполнять последовательность действий и решать прикладные задачи.

⏬ Вы получите два взаимодополняющих навыка: эффективную AI-разработку и инженерное создание AI-агентов за 59 000 ₽.

📍 Покупаете один курс, второй - в подарок. Не упустите свой шанс прокачаться - только до 15 ноября 😏
378Nov 12
🛡️ Монотонность в XGBoost: задаём направление

Параметр monotone_constraints задаёт правило при фиксированных остальных признаках: +1 — предсказание не убывает, −1 — не возрастает, 0 — ограничения нет. Плоские участки допустимы.

На графике из документации XGBoost чёрные линии показывают модель с ограничениями на синтетических данных. Остальной признак зафиксирован на среднем значении. Колебания, нарушающие заданное направление, исчезают.

Ограничение выражает предположение о задаче. Причинную связь или рост точности оно не доказывает. Сравните качество на отложенных данных.

При hist и approx деревья могут стать слишком неглубокими: ограничения исключают кандидатов разбиения. Документация предлагает попробовать увеличить max_bin.

🔗 Параметры и пример

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста
645Nov 12
🧠 Что средняя PDP скрывает за одной линией

На графике из документации scikit-learn тонкие линии — ICE: для каждого объекта меняют один признак, фиксируют остальные и считают предсказания модели. Пунктир — PDP, среднее этих линий.

Посмотрите на влажность справа. У одних объектов предсказания почти не меняются, у других резко падают. Средняя линия сглаживает это различие. ICE помогает увидеть неоднородность, связанную с взаимодействиями признаков.

Пример построен на данных велопроката с HistGradientBoostingRegressor. Он показывает поведение модели, а не причинный эффект погоды. При коррелированных признаках PDP и ICE могут оценивать нереалистичные сочетания значений.

🔗 Документация и примеры

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста
791Nov 11
🧠 Когда важный признак получает низкую importance

У двух признаков сильная корреляция. При расчёте permutation importance перемешиваем один из них. Модель может по-прежнему получать похожую информацию из второго, и метрика почти не изменится. То же может произойти, если отдельно перемешать второй признак.

Низкая importance каждого по отдельности ещё не означает, что вся группа бесполезна. Этот показатель описывает зависимость конкретной обученной модели от признака на выбранных данных и с выбранной метрикой. Причинный эффект он не измеряет.

Перед удалением таких столбцов проверьте корреляции. В документации scikit-learn предлагают один из подходов: объединить коррелированные признаки в кластеры и оставить представителя каждого. Сравните качество моделей на отложенных данных. Сам по себе новый рейтинг признаков улучшение не доказывает.

🔗 Разбор в документации

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста
885Nov 10
Optuna: как сообщить pruner, что происходит с trial

Sampler выбирает гиперпараметры, pruner решает, стоит ли досрочно остановить trial. Для решения ему нужны промежуточные значения метрики. Этот API предназначен для оптимизации одной целевой метрики.

В цикле обучения вызывают `trial.report(value, step)`, затем `trial.should_prune()`. Если ответ True, objective должен поднять `optuna.TrialPruned()`. Сам вызов `report` обучение не прекращает.

В официальном примере передают ошибку на валидации после каждого шага. Если objective только вернул финальную метрику, такой истории у pruner нет. Смысл метрики и шага должен быть одинаковым у сравниваемых trial.

Документация и примеры

📍 Навигация: Вакансии • Задачи • Собесы

🐸 Библиотека дата-сайентиста
1KNov 9