Руководство по выбору оптимальной модели

Время на прочтение
7 мин

Количество просмотров 11K

Мы снова в эфире и продолжаем цикл заметок Дата Сайентиста и сегодня представляю мой абсолютно субъективный чек-лист по выбору модели машинного обучения.

Это топ-10 свойств задачи и просто пунктов (без порядка в них), с точки зрения которых я начинаю выбор модели и вообще моделирование задачи по анализу данных.

Совсем не обязательно, что у вас он будет таким же — здесь все субъективно, но делюсь опытом из жизни.

А какая у нас вообще цель? Интерпретируемость и точность — спектр

Источник

Пожалуй самый важный вопрос, который стоит перед дата сайентист перед тем, как начать моделирование это:

В чем, собственно, состоит бизнес задача?

Или исследовательская, если речь об академии, etc. 

Например, нам нужна аналитика на основе модели данных или наоборот нас только интересуют качественные предсказания вероятности того, что письмо — это спам.

Классический баланс, который я видел, это как раз спектр между интерпретируемостью метода и его точностью (как на графике выше).

Но по сути нужно не просто прогнать Catboost / Xgboost / Random Forest и выбрать модельку, а понять, что хочет бизнес, какие у нас есть данные и как это будет применяться.

На моей практике — это сразу будет задавать точку на спектре интерпретируемости и точности (чтобы это не значило здесь). А исходя из этого уже можно думать о методах моделирования задачи.

Тип самой задачи

Дальше, после того как мы поняли, что хочет бизнес — нам нужно понять к какому математическому типу задач машинного обучения относится наша, например

• Exploratory analysis — чистая аналитика имеющихся данных и тыканье палочкой
• Clustering — собрать данные в группы по какой-тому общему признаку(ам)
• Regression — нужно вернуть целочисленный результат или там вероятность события
• Classification — нужно вернуть одну метку класса 
• Multi-label — нужно вернуть одну или более меток класса для каждой записи

Примеры

Данные: имеются два класса и набор записей без меток:

И нужно построить модель, которая разметит эти самые данные:

Или как вариант никаких меток нет и нужно выделить группы:

Как например вот здесь:

Картинки отсюда.

А вот собственно пример иллюстрирует разницу между двумя понятиями: классификация, когда N > 2 классов — multi class vs. multi label

Взято отсюда

Вы удивитесь, но очень часто этот пункт тоже стоит напрямую проговорить с бизнесом — это может сэкономить вам действительно много сил и времени. Не стесняйтесь рисовать картинки и давать простые примеры (но не слишком упрощенные).

Точность и как она определена

Начну с простого примера, если вы банк и выдаете кредит, то на неудачном кредите мы теряем в пять раз больше, чем получаем на удачном.

Поэтому вопрос об измерении качества работы первичен! Или представьте, что у вас присутствует существенный дисбаланс в данных, класс А = 10%, а class B = 90%, тогда классификатор, который просто возвращает B всегда умеет 90% точность! Скорее всего это не то, чтобы хотели увидеть, обучая модель.

Поэтому критично определить метрику оценки модели включая:

• weight class — как в примере выше, вес плохого кредита 5, а хорошего 1
• cost matrix — возможно перепутать low и medium risk — это не беда, а вот low risk и high risk — уже проблема
• Должна ли метрика отражать баланс? как например ROC AUC
• А мы вообще считаем вероятности или прям метки классов?
• А может быть класс вообще «один» и у нас precision/recall и другие правила игры?

В целом выбор метрики обусловлен задачей и ее формулировкой — и именно у тех, кто ставит эту задачу (обычно бизнес-люди) и надо выяснять и уточнять все эти детали, иначе на выходе будет швах.

Model post analysis

Часто приходится проводить аналитику на основе самой модели. Например, какой вклад имеют разные признаки в исходный результат: как правило, большинство методов могут выдать что-то похожее на вот это:

Однако, что если нам нужно знать направление — большие значения признака A увеличивают принадлежность классу Z или наоборот? Назовем их направленные feature importance — их можно получить у некоторых моделей, например, линейных (через коэффициенты на нормированных данных)

Для ряда моделей, основанных на деревьях и бустинге — например, подходит метод SHapley Additive exPlanations.

SHAP

Это один из методов анализа модели, который позволяет заглянуть «под капот» модели.

Он позволяет оценить направление эффекта:

Причем для деревьев (и методах на них основанных) он точный. Подробнее об этом тут.

Noise level — устойчивость, линейная зависимость, outlier detection и тд

Устойчивость к шуму и все эти радости жизни — это отдельная тема и нужно крайне внимательно анализировать уровень шума, а также подбирать соответствующие методы. Если вы уверены, что в данных будут выбросы — нужно их обязательно качественно чистить и применять методы устойчивые к шуму (высокий bias, регуляризация и тд).

Также признаки могут быть коллинеарны и присутствовать бессмысленные признаки — разные модели по-разному на это реагируют. Приведем пример на классическом датасете German Credit Data (UCI) и трех простых (относительно) моделях обучения:

• Ridge regression classifier: классическая регрессия с регуляризатором Тихонова
• Decition trees
• CatBoost от Яндекса

# Create Ridge regression classifier
ridge_clf = RidgeClassifier(class_weight=class_weight, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(pd.get_dummies(X), y, test_size=0.33, random_state=42)
# Train model
ridge_model = ridge_clf.fit(X_train, y_train)
y_pred = ridge_model.predict(X_test)
print(classification_report(y_test,y_pred))
print("weighted_accuracy:",weighted_accuracy(y_test,y_pred))

# Create Ridge regression classifier
dt_clf = DecisionTreeClassifier(class_weight=class_weight, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(pd.get_dummies(X), y, test_size=0.33, random_state=42)
# Train model
dt_model = dt_clf.fit(X_train, y_train)
y_pred = dt_model.predict(X_test)
print(classification_report(y_test,y_pred))
print("weighted_accuracy:", weighted_accuracy(y_test,y_pred))

# Create boosting classifier
catboost_clf = CatBoostClassifier(class_weights=class_weight, random_state=42, cat_features = X.select_dtypes(include=['category', object]).columns)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
# Train model
catboost_model = catboost_clf.fit(X_train, y_train, verbose=False)
y_pred = catboost_model.predict(X_test)
print(classification_report(y_test,y_pred))
print("weighted_accuracy:",weighted_accuracy(y_test,y_pred))

Как мы видим просто модель гребневой регрессии, которая имеет высокий bias и регуляризацию, показывает результаты даже лучше, чем CatBoost — тут много признаков не слишком полезных и коллинеарных, поэтому методы, которые к ним устойчивы показывают хорошие результаты.

Еще про DT — а если чуть чуть поменять датасет? Feature importance может поменяться, так как decision trees вообще чувствительные методы, даже к перемешиванию данных.

Вывод: иногда проще — лучше и эффективнее.

Масштабируемость

Действительно ли вам нужен Spark или нейросети с миллиардами параметров?

Во-первых, нужно здраво оценивать объем данных, уже неоднократно доводилось наблюдать массовое использование спарка на задачах, которые легко умещаются в память одной машины. 

Спарк усложняет отладку, добавляет overhead и усложняет разработку — не стоит его применять там, где не нужно. Классика. 

Во-вторых, нужно конечно же оценивать сложность модели и соотносить ее с задачей. Если ваши конкуренты показывают отличные результаты и у них бегает RandomForest, возможно стоит дважды подумать нужна ли вам нейросеть на миллиарды параметров.

И конечно же необходимо учитывать, что если у вас и правда крупные данные, то модель должна быть способной работать на них — как обучаться по батчам, либо иметь какие-то механизмы распределенного обучения (и тд). А там же не слишком терять в скорости при увеличении объема данных. Например, мы знаем, что kernel methods требуют квадрата памяти для вычислений в dual space — если вы ожидаете увеличение размера данных в 10 раз, то стоит дважды подумать, а умещаетесь ли вы в имеющиеся ресурсы.

Наличие готовых моделей

Еще одна важнейшая деталь — это поиск уже натренированных моделей, которые можно до-обучить, идеально подходит, если:

• Данных не очень много, но они очень специфичны для нашей задачи — например, медицинские тексты.
• Тема в целом относительно популярна — например, выделением тем текста — много работ в NLP.
• Ваш подход допускает в принципе до-обучение — как например с некоторым типом нейросетей.

Pre-trained модели как GPT-2 и BERT могут существенно упростить решение вашей задачи и если уже натренированные модели существуют — крайне рекомендую не проходит мимо и использовать этот шанс.

Feature interactions и линейные модели

Некоторые модели лучше работают, когда между признаками (features) нет сложных взаимодействий — например весь класс линейных моделей — Generalized Additive Models. Есть расширение этих моделей на случай взаимодействия двух признаков под название GA2M — Generalized Additive Models with Pairwise Interactions.

Как правило такие модели показывают хорошие результаты на таких данных, отлично регуляризируются, интерпретируемые и устойчивы к шуму. Поэтому однозначно стоит обратить на них внимание.

Однако, если признаки активно взаимодействуют группами больше 2, то данные методы уже не показывают таких хороших результатов.

Package and model support

Многие крутые алгоритмы и модели из статей бывают оформлены в виде модуля или пакета для python, R и тд. Стоит реально дважды подумать, прежде чем использовать и в долгосрочной перспективе полагаться на такое решение (это я говорю, как человек написавший немало статей по ML с таким кодом). Вероятность того, что через год будет нулевая поддержка — очень высок, ибо автору скорее всего сейчас необходимо заниматься другими проектами нет времени, и никаких incentives вкладываться в развитие модуля или репозитория.

В этом плане библиотеки а-ля scikit learn хороши именно тем, что у них фактически есть гарантированная группа энтузиастов вокруг и если что-то будет серьезно поломано — это рано или поздно пофиксят.

Biases and Fairness

Вместе с автоматическими принятиями решений к нам в жизнь приходят люди недовольные такими решениями — представьте, что у нас есть какая-то система ранжирования заявок на стипендию или грант исследователя в универе. Универ у нас будет необычный — в нем только две группы студентов: историки и математики. Если вдруг система на основе своих данных и логики вдруг раздала все гранты историкам и ни одному математику их не присудила — это может неслабо так обидеть математиков. Они назовут такую систему предвзятой. Сейчас об это только ленивый не говорит, а компании и люди судятся между собой.

Условно, представьте упрощенную модель, которая просто считает цитирования статей и пусть историки друг друга цитируют активно — среднее 100 цитат, а математики нет, у них среднее 20 — и пишут вообще мало, тогда система распознает всех историков, как «хороших» ибо цитируемость высокая 100 > 60 (среднее), а математиков, как «плохих» потому что у них у всех цитируемость куда ниже среднего 20 < 60. Такая система вряд ли может показаться кому-то адекватной.

Классика сейчас предъявить логику принятия решения и тренировки моделей, которые борются с таким предвзятым подходом. Таким образом, для каждого решения у вас есть объяснение (условно) почему оно было принято и как вы собственно приложили усилия к тому, чтобы модель не сделала фигню (ELI5 GDPR).

Подробнее у гугла тут, или вот в статье тут.

В целом многие компании начали подобную деятельность особенно в свете выхода GDPR — подобные меры и проверки могут позволить избежать проблем в дальнейшем.

Если какая-то тема заинтересовала больше остальных — пишите в комментарии, будем идти в глубину. (DFS)!

Пошаговое руководство по выбору оптимальной видеокарты

Выбор оптимальной видеокарты может быть сложным процессом, но следуя нескольким простым шагам, вы будете более уверены в своем выборе.

Шаг 1: Определите свой бюджет

Первым шагом при выборе видеокарты должно быть определение вашего бюджета. Видеокарты могут варьироваться в цене от нескольких тысяч до десятков тысяч рублей. Поэтому заранее определите, сколько вы готовы потратить на новую видеокарту, чтобы не переплачивать или не получить более дешевую, чем вам нужно.

Шаг 2: Определите свои потребности

Определите, зачем вам нужна видеокарта. Если вы играете в игры, вам может потребоваться более мощная карта, чем если вы работаете с графикой или просматриваете видео. Определите, какие задачи вы хотите, чтобы ваша новая видеокарта выполняла, чтобы выбрать оптимальную модель.

Шаг 3: Исследуйте рынок

Исследуйте возможности рынка видеокарт. Просмотрите разные модели и их характеристики. Узнайте, какие карты поддерживаются вашей операционной системой или какие совместимы с вашей материнской платой. Изучите тесты производительности разных моделей, чтобы понять, насколько быстро карта может обрабатывать графику.

Шаг 4: Сравните модели

После того, как вы изучили рынок, сравните модели видеокарт на основе их характеристик и стоимости. Обратите внимание на различия в производительности, референсном дизайне или охлаждении моделей, опции разгона и т.д. Более дорогие модели обычно имеют лучше характеристики, но не всегда они дают существенное увеличение в производительности.

Шаг 5: Прочтите отзывы

Прочтите отзывы других пользователей о моделях, которые вы рассматриваете. Это может помочь вам понять, насколько надежна карта, какие у нее проблемы и достоинства.

Шаг 6: Сделайте свой выбор

После того, как вы проанализировали все возможные факторы, сделайте свой выбор. Определитесь с оптимальной моделью видеокарты, которая отвечает вашим требованиям и бюджету.

Вывод

Выбор оптимальной видеокарты может занять время, но если следовать приведенным выше шагам, вы сможете выбрать качественную видеокарту, которая удовлетворит ваши потребности.

Перед потенциальным оператором мотобура обязательно встает проблема выбора этого агрегата. Как выбрать мотобур? Какими критериями руководствоваться чтобы сделать правильный выбор? Чем отличаются модели одна от другой? Какие аксессуары к мотобуру не забыть купить?

Для правильного выбора оптимальной модели мотобура вам нужно ответить себе на три самых простых вопроса:

1. Для достижения каких именно целей Вам требуется мотобур? Мотобур может быть нужен вам для бурения отверстий для последующей установки столбов, для бурения льда и даже скважинного бурения. Таким образом, для установки столбов на вашем дачном участке и вокруг него, Вас скорее всего вполне устроит лёгкий мотобур для одного управления одним оператором (то есть, подобным мотобуром может осуществлять работы один человек), для бурения льда следует применять всё тот же лёгкий мотобур со шнеком (специальным сверлом для буров) для бурения отверстий во льду. Для осуществления более сложной и трудоёмкой работы и бурения отверстий больших диаметров Вам следует приобрести мотобур для двух операторов.
2. В комплектацию мотобуров не входят шнеки. В зависимости от поставленных задач, глубины бурения, диаметра нужного вам отверстия следует подбирать подходящий мотобур и шнек (шнеки) для него.
3. Как правило, обычная длина шнека (сверла мотобура) составляет — 1 м. Для увеличения глубины бурения вам обязательно понадобится удлинитель для шнека (удлинители бывают двух видов).

Мотобур является винтообразным буром (шнеком) с приводом от двигателя, как правило, это двухтактный бензиновый двигатель. Преимуществами шнекового бурения являются: довольно высокая скорость и практически полное отсутствие в необходимости выполнения вспомогательных работ в процессе бурения и после его завершения. Кроме того, не появляются проблемы с извлечением «выработанного» грунта, так, как в процессе углубления скважины он автоматически выбрасывается наверх, также как по ленте транспортёра. Мотобур выполнит аккуратные и ровные лунки нужной вам определенной ширины и глубины и даже в тяжелых для бурения почвах и при этом сэкономит ваше время и силы.

Обычно, для работы с мотобурами достаточно сил одного, порой даже не очень опытного оператора плюс шнек. К тому, же многие модели мотобуров оснащаются особыми системами безопасности, которые блокируют двигатель в случаях застревания шнека либо потери управления агрегатом, а также предупреждают случайный запуск мотобура. Мотобур обладает полной независимостью от наличия электросети и электрического кабеля. Такие параметры, конечно же по достоинству оценят владельцы небольших земельных участков, но тем не менее периодической заправки мотобура все-таки не избежать. Выбирая мотобур следует помнить, что в его техническом описании указан вес с пустым топливным баком, а заправленный горючим мотобур будет весить несколько больше.

Спектр задач, которые может решить тот или иной мотоинструмент (в том числе и мотобур), прежде всего зависит от мощности его двигателя. В компетенцию самых «младших» мотобуров входят рыхлый, посадочный грунт, а вот для для уплотненной либо глинистой почвы требуется выбрать мотобур помощнее. В тех критических случаях, когда потребуется сравнить почву с хорошо схватившимся бетоном, вас могут выручить профессиональные модели мотобуров. Ресурс двигателя таких агрегатов рассчитан на довольно продолжительное бурение в особо суровых условиях, а их конструкция предусматривает управление инструментом двумя операторами, так, как одному человеку это не под силу.

Полезные рекомендации

1. Особого внимания заслуживают вопросы безопасности при работе мотобуром. Несмотря на предусмотрительность и скрупулёзность производителей и наличие различных предохраняющих систем, вам не стоит пренебрегать и защитными аксессуарами, такими как: шлем, очки, перчатки и наушники (беруши). Кстати, по в вполне понятным причинам, нужно обязательно отказаться от длиннополой свисающей одежды.
2. Для того, чтобы мотобур (бензиновый) служил вам верой и правдой долгие годы, нужно заправлять его смесью бензина не ниже марки Аи-92 (отдельные специалисты настоятельно советуют не использовать 95-й) и масла для 2-тактных двигателей, хранить мотобур разобранным и тщательно смазанном, своевременно проводить его техобслуживание – одним словом, нужно соблюдать традиционные «правила хорошего тона» в отношении инструмента.

Задачами мотобура (ямобура) являются: эффективное и качественное бурение ям для установки столбов, опор заборов, небольших свай. Кроме того, мотобуром производится бурение скважин.

Пробурить отверстия мотобуром под столбы, значительно выгоднее, нежели заказывать целую буровую машину. Бурение отверстий для столбов или свайных фундаментов осуществляется весьма быстро, эффективно и качественно и при этом не нарушается существующий ландшафт.

Приобретя мотобур, вы сможете быстро и без лишней грязи установить опору, забор, сделать свайный фундамент. И всё это благодаря оборудованию для производства бурения.

В сети магазинов «Удачная техника» вы сможете приобрести надежные мотобуры ведущих брендов:

Stihl — это немецкий бренд высочайшего класса, основанный в 1926 году в Германии, в городе Штутгарде. Главными конкурентными преимуществами которого является высокое качество, надежность, долговечность, эргономичность и доступная цена.

Echo – американский бренд, основанный в 1963 году, одно из лидирующих предприятий мира по производству качественной садовой техники, инвентаря и оборудования, сельскохозяйственных и лесоводческих машин. Главными конкурентными преимуществами этого бренда являются высокое качество, эргономичность и удобство в эксплуатации.

HITACHI — японский бренд, основанный в 1910 г. Продукция этого бренда отличается следующими преимуществами: надежность и качество инструментов, экологичность, использование инновационных технологий, доступная цена.

Выбор модели машинного обучения

  Перевод

  Ссылка на автора

Часть искусства, часть науки выбора идеальной модели машинного обучения.

Количество блестящих моделей может быть огромным, что означает, что люди часто обращаются к тем, кому доверяют больше всего, и используют их для решения всех новых задач. Это может привести к неоптимальным результатам.

Сегодня мы узнаем, как быстро и эффективно сузить пространство доступных моделей, чтобы найти те из них, которые с наибольшей вероятностью будут наиболее эффективны для вашего типа проблемы. Мы также увидим, как мы можем отслеживать производительность наших моделей с использованием весов и уклонов и сравнивать их.

Вы можете найти сопроводительный код Вот,

Что мы покроем

• Выбор модели в конкурентной науке о данных против реального мира
• Королевский гул моделей
• Сравнение моделей

Давайте начнем!

В отличие от Властелина колец, в машинном обучении нет ни одного кольца (модели), чтобы управлять ими всеми. Различные классы моделей хороши для моделирования базовых шаблонов различных типов наборов данных. Например, деревья решений хорошо работают в тех случаях, когда ваши данные имеют сложную форму:

В то время как линейные модели работают лучше всего, когда набор данных линейно разделим:

Прежде чем мы начнем, давайте немного углубимся в несоответствие между выбором моделей в реальном мире и конкурентной наукой о данных.

Выбор модели в конкурентной науке о данных против реального мира

Как сказал Вильям Форхиес в своем Сообщение блога «Соревнования Kaggle подобны гонкам формулы для науки о данных. Победители вытесняют конкурентов с четвертого знака после запятой и, как и гоночные машины Формулы 1, не многие из нас приняли бы их за ежедневных гонщиков. Количество выделенного времени и иногда экстремальные методы не подходят для среды производства данных ».

Модели Kaggle действительно похожи на гоночные автомобили, они не созданы для повседневного использования. Реальные модели производства больше похожи на Lexus — надежные, но не кричащие.

Соревнования Kaggle и реальный мир оптимизируются под самые разные вещи, с некоторыми ключевыми отличиями:

Определение проблемы

Реальный мир позволяет вам определить вашу проблему и выбрать показатель, который определяет успех вашей модели. Это позволяет оптимизировать более сложную функцию полезности, чем просто единичную метрику, где соревнования Kaggle идут с одной заранее определенной метрикой и не позволяют эффективно определять проблему.

метрика

В реальном мире мы заботимся о выводах и скоростях обучения, ограничениях ресурсов и развертывания и других показателях производительности, тогда как в соревнованиях Kaggle единственное, что нас волнует, — это один показатель оценки. Представьте, что у нас есть модель с точностью 0,98, которая требует очень много ресурсов и времени, а другая — с точностью 0,95, которая намного быстрее и требует меньше вычислительных ресурсов. В реальном мире для многих доменов мы могли бы предпочесть модель точности 0,95, потому что, возможно, мы больше заботимся о времени вывода. В соревнованиях Kaggle не имеет значения, сколько времени потребуется для обучения модели или сколько графических процессоров ей требуется, чем выше точность, тем лучше.

Интерпретируемость

Точно так же в реальном мире мы предпочитаем более простые модели, которые легче объяснить заинтересованным сторонам, тогда как в Kaggle мы не обращаем внимания на сложность модели. Интерпретируемость модели важна, потому что она позволяет нам предпринимать конкретные действия для решения основной проблемы. Например, в реальном мире, глядя на нашу модель и видя корреляцию между особенностью (например, выбоины на улице) и проблемой (например, вероятность автомобильной аварии на улице), более полезна, чем повышение прогноза точность на 0,005%.

Качество данных

Наконец, в соревнованиях Kaggle наш набор данных собирается и спорется за нас. Любой, кто занимался наукой о данных, знает, что в реальной жизни это почти никогда не происходит. Но способность собирать и структурировать наши данные также дает нам больший контроль над процессом обработки данных.

стимулы

Все это стимулирует огромное количество времени, затрачиваемое на настройку наших гиперпараметров для извлечения последних падений производительности из нашей модели и, иногда, изощренных методологий инженера функций. Несмотря на то, что соревнования Kaggle являются отличным способом обучения науке данных и проектированию функций, они не учитывают реальные проблемы, такие как объяснение модели, определение проблемы или ограничения развертывания.

Королевский гул моделей

Пришло время начать выбор моделей!

Выбирая наш начальный набор моделей для тестирования, мы хотим помнить о нескольких вещах:

Выберите разнообразный набор начальных моделей

Различные классы моделей хороши для моделирования различных типов базовых шаблонов в данных Поэтому хорошим первым шагом является быстрое тестирование нескольких различных классов моделей, чтобы узнать, какие из них наиболее эффективно отражают базовую структуру вашего набора данных! В рамках нашего типа проблемы (регрессия, классификация, кластеризация) мы хотим попробовать сочетание моделей на основе дерева, экземпляра и ядра. Выберите модель из каждого класса, чтобы проверить. Мы расскажем больше о различных типах моделей в разделе «модели для тестирования» ниже.

Попробуйте несколько разных параметров для каждой модели

Хотя мы не хотим тратить слишком много времени на поиск оптимального набора гиперпараметров, мы хотим попробовать несколько различных комбинаций гиперпараметров, чтобы у каждого класса моделей была возможность работать хорошо.

Выберите сильнейших соперников

Мы можем использовать самые эффективные модели этого этапа, чтобы дать нам представление о том, в какой класс моделей мы хотим углубиться. Панель инструментов «Веса и уклоны» покажет вам класс моделей, которые лучше всего подходят для вашей задачи.

Погрузитесь глубже в модели в лучших классах моделей.

Затем мы выбираем больше моделей, относящихся к лучшим классам моделей, которые мы включили в шорт-лист выше! Например, если кажется, что линейная регрессия работает лучше всего, было бы неплохо также попробовать регрессию лассо или гребня.

Исследуйте гиперпараметрическое пространство более подробно.

На этом этапе я бы посоветовал вам потратить некоторое время на настройку гиперпараметров для ваших моделей-кандидатов. (В следующем посте этой серии мы углубимся в интуицию о выборе лучших гиперпараметров для ваших моделей.) В конце этого этапа у вас должны быть самые эффективные версии всех ваших самых сильных моделей.

Делая окончательный выбор — Kaggle

Выберите окончательные представления от разных моделей.В идеале мы хотим выбрать лучшие модели из более чем одного класса моделей. Это потому, что если вы сделаете свой выбор только из одного класса моделей, а он окажется неправильным, все ваши представления будут работать плохо. Соревнования Kaggle обычно позволяют вам выбрать более одной заявки для финального представления. Я бы порекомендовал выбирать прогнозы, сделанные вашими самыми сильными моделями из разных классов, чтобы добавить некоторую избыточность в ваши представления.

Таблица лидеров — это не ваш друг, ваши результаты перекрестной проверки.Самое важное, что нужно помнить, это то, что публичный список лидеров не ваш друг. Выбор моделей исключительно на основе ваших общедоступных рейтинговых таблиц приведет к переобучению набора данных обучения. И когда личный список лидеров раскрывается после окончания соревнования, иногда вы можете увидеть, что ваш рейтинг сильно падает. Вы можете избежать этой маленькой ловушки, используя перекрестную проверку при обучении ваших моделей. Затем выберите модели с лучшими показателями перекрестной проверки вместо лучших результатов в таблице лидеров. Делая это, вы противодействуете переобучению, измеряя производительность своей модели по нескольким наборам проверки, а не только по одному подмножеству тестовых данных, используемых публичной таблицей лидеров.

Делая окончательный выбор — Реальный мир

Ресурсные ограничения.Разные модели используют разные типы ресурсов, и знание правильности развертывания моделей на IoT / мобильном устройстве с небольшим жестким диском и процессором или в облаке может иметь решающее значение.

Время тренировки против времени прогноза против точности.Знание того, какие показатели вы оптимизируете, также важно для выбора правильной модели. Например, автомобили с самостоятельным вождением нуждаются в молниеносном прогнозировании, а системы обнаружения мошенничества должны быстро обновлять свои модели, чтобы быть в курсе последних фишинговых атак. Для других случаев, таких как медицинская диагностика, мы заботимся о точности (или площади под кривой ROC) гораздо больше, чем время обучения.

Сложность против объяснимости Компромисс.Более сложные модели могут использовать на порядок больше функций для обучения, а для прогнозирования требуется больше вычислений, но при правильном обучении можно получить действительно интересные шаблоны в наборе данных. Это также делает их запутанными и труднее объяснить, хотя. Знание того, как важно легко объяснить модель заинтересованным сторонам, а не просто захватить некоторые действительно интересные тенденции, в то время как отказ от объяснения является ключом к выбору модели.

Масштабируемость.Знание того, насколько быстро и насколько велика ваша модель для масштабирования, может помочь вам сузить выбор.

Размер обучающих данных.Для действительно больших наборов данных или тех, которые имеют много функций, нейронные сети или расширенные деревья могут быть отличным выбором. Принимая во внимание, что меньшие наборы данных могут лучше обслуживаться логистической регрессией, наивным байесовским или KNN.

Количество параметров.Модели с большим количеством параметров дают вам большую гибкость для получения действительно высокой производительности. Однако могут быть случаи, когда у вас нет времени, необходимого, например, для обучения параметров нейронной сети с нуля. Модель, которая хорошо работает из коробки, была бы подходящим вариантом в этом случае!

Сравнение моделей

Веса и уклоны позволяет отслеживать и сравнивать производительность ваших моделей с одной строкой кода.

После того, как вы выбрали модели, которые хотели бы попробовать, обучите их и просто добавьтеwandb.log ({‘Score’: cv_score})для регистрации вашего модельного состояния. После того, как вы закончили обучение, вы можете сравнить свои модели в одной простой панели!

Вы можете найти код, чтобы сделать это эффективно Вот, Я призываю вас раскошелиться это ядро и играть с кодом!

Вот и все, теперь у вас есть все инструменты, необходимые для выбора подходящих моделей для вашей задачи!

Выбор модели может быть очень сложным, но я надеюсь, что это руководство проливает свет и дает вам хорошую основу для выбора моделей.

Во второй части, «Вихревой тур по моделям машинного обучения», мы углубимся в модели ML, когда вы должны их использовать!

Если у вас есть какие-либо вопросы или пожелания, не стесняйтесь чирикать мне!