Заметки по инженерной практике

Супервайзированные и несупервайзированные задачи

В настоящее время супервайзированные модели значительно превосходят несупервайзированные модели по эффективности. В промышленной сфере всегда есть возможность пометить некоторое количество данных, даже если это означает нанять интернов для ручной пометки данных.

В процессе практической работы можно сначала использовать несупервайзированные методы, такие как алгоритмы кластеризации, чтобы сгруппировать данные, а затем потратить немного времени на ручную пометку данных, превращая несупервайзированные задачи в супервайзированные для их решения.

Выбор модели

В промышленной сфере при выборе модели для NLP учитываются множество факторов. Можно выделить следующие аспекты:1. Объем данных. Если это стартап или небольшая компания, в начале может не хватать достаточного количества данных. В этом случае следует рассмотреть традиционные методы машинного обучения, такие как классификация текста с помощью SVM. По мере накопления данных можно перейти к методам глубокого обучения. Если данных совсем мало, можно использовать правила для обработки данных. Например, регулярные выражения, которые могут быть очень мощными на ранних этапах проекта. 2. Предпочтение простым моделям. В промышленной сфере простые модели чаще всего используются, поскольку сложные модели могут легко выходить из-под контроля, особенно глубокие модели обучения. Чем проще модель, тем лучше она может быть объяснена. 3. Скорость выполнения имеет первостепенное значение. Чем глубже модель, тем больше времени она требует для вывода. Время, затраченное на предварительную обработку данных и время вывода, часто приводят к задержке вывода, что может негативно сказаться на пользовательском опыте.