Лучшие ресурсы по машинному обучению

Оригинал: The Best Machine Learning Resources Автор: Vishal Maini Переводчик: Фэйлун Лицензия: CC BY-NC-SA 4.0

Обзор ресурсов для разработки курсов по искусственному интеллекту, машинному и глубокому обучению.

Разработка курса: общие рекомендации

Получение формального образования не всегда возможно или желательно. Этот текст предназначен для тех, кто рассматривает возможность самостоятельного обучения.

1. Постройте фундамент, затем сосредоточьтесь на интересующей вас области

Невозможно глубоко изучить все аспекты машинного обучения. Существует слишком много материала, а область развивается быстро. Освойте базовые концепции, а затем сосредоточьтесь на конкретных проектах в интересующих вас областях — будь то понимание естественного языка, компьютерное зрение, глубокое обучение с подкреплением, робототехника или что-то ещё.

2. Спроектируйте свой курс вокруг наиболее интересных вам тем

Для долгосрочного обучения или карьерных целей мотивация важнее, чем слегка оптимизированная стратегия обучения. Если вам нравится то, что вы делаете, вы будете учиться быстрее. Если вы пытаетесь заставить себя двигаться вперёд, вы будете двигаться медленнее.

Мы включили ресурсы, которые мы исследовали или настоятельно рекомендуем. Список не претендует на исчерпывающий характер. Есть бесчисленное множество вариантов, и многие из них бесполезны. Но если мы пропустили хороший ресурс, он здесь, и вы можете помочь нам (ml4humans@gmail.com).

Основы

Примечание переводчика: Если есть бесплатная китайская версия перевода, она будет использоваться вместо неё. Если китайская версия платная, будут предоставлены англоязычные и китайские ссылки.

Программирование

• Грамматика и основные понятия: Google Python Course (https://developers.google.com/edu/python/), Learn Python the Hard Way (https://www.gitbook.com/book/wizardforcel/lpthw/details).
• Практика: CoderByte (https://coderbyte.com/), CodeWars (https://www.codewars.com/), HackerRank (https://www.hackerrank.com/).

Линейная алгебра

• Deep Learning Bible, Chapter 2: Linear Algebra (https://exacity.github.io/deeplearningbook-chinese/Chapter2_linear_algebra/). Быстрый обзор линейных алгебраических понятий, связанных с машинным обучением.
• A First Course in Linear Model Theory (https://www.amazon.com/First-Course-Linear-Model-Theory/dp/1584882476), авторы Nalini Ravishanker и Dipak Dey. Учебник по линейной алгебре в контексте статистики.

Статистика

• MIT 18.05, Introduction to Probability and Statistics (https://ocw.mit.edu/courses/mathematics/18-05-introduction-to-probability-and-statistics-spring-2014/index.htm), преподаватели Jeremy Orloff и Jonathan Bloom. Предоставляет знания о вероятностном выводе и статистическом умозаключении, необходимые для понимания того, как машины думают, планируют и принимают решения.
• All of Statistics: A Concise Course in Statistical Inference (https://www.ic.unicamp.br/~wainer/cursos/1s2013/ml/livro.pdf), автор Larry Wasserman. Вводный учебник по статистике.

Дифференциальное исчисление

• Khan Academy: Calculus (https://www.khanacademy.org/math/calculus-home/differential-calculus). Или любой курс или учебник по дифференциальному исчислению.

• Stanford CS231n: Derivatives, Backpropagation and Vectorization (https://zhuanlan.zhihu.com/p/21407711), автор Justin Johnson.

Машинное обучение

• Курсы
  • Курс машинного обучения от Эндрю Нг (https://open.163.com/special/opencourse/machinelearning.html) на платформе NetEase Cloud Classroom (более точно, это Stanford CS229 (https://github.com/Kivy-CN/Stanford-CS-229-CN)).
  • Data Science Bootcamp: Galvanize (https://www.galvanize.com/san-francisco/data-science) (полный день, три месяца, дорого); Thinkful (https://www.thinkful.com/bootcamp/data-science/flexible/) (гибкий график, шесть месяцев, дешевле).
• Учебники
  • The Elements of Statistical Learning (https://www-bcf.usc.edu/~gareth/ISL/), (https://book.douban.com/subject/26430936/), автор Gareth James и др. Отличный справочник по основным концепциям машинного обучения, английская версия бесплатна.

Глубокое обучение

• Курсы
  • DeepLearning.ai (https://mooc.study.163.com/university/deeplearning_ai), вводный курс глубокого обучения от Andrew Ng.
  • CS231n: Convolutional Neural Networks for Visual Recognition (https://zhuanlan.zhihu.com/p/21930884), курс глубокого обучения Стэнфорда. Помогает построить концепции, содержит увлекательные лекции и демонстрационные задачи.
• Проекты
  • Fast.ai, увлекательный и основанный на проектах курс. Проекты включают классификацию изображений кошек и собак и генерацию произведений искусства на основе философии Ницше.
  • Используйте TensorFlow для классификации MNIST рукописных цифр (https://codelabs.developers.google.com/codelabs/cloud-tensorflow-mnist/#0). Используя этот учебник Google, можно достичь точности более 99% при классификации рукописных цифр за три часа.
  • Попробуйте сами конкурсы Kaggle (https://www.kaggle.com/). Реализуйте интересные статьи о глубоком обучении, используя другие версии на GitHub в качестве справочных материалов.
• Чтение
  • Deep Learning Bible (https://github.com/exacity/deeplearningbook-chinese), Ian Goodfellow, Yoshua Bengio и Aaron Courville.
  • Neural Networks and Deep Learning (https://github.com/tigerneil/neural-networks-and-deep-learning-zh-cn), ясное и интерактивное руководство по глубокому обучению, автор Michael Nielsen. Заканчивается некоторыми достижениями человеческого уровня интеллекта.
  • Roadmap for Reading Papers on Deep Learning (https://github.com/songrotek/Deep-Learning-Papers-Reading-Roadmap), ключевые статьи, организованные по времени и областям исследований.

Усиленное обучение

• Курсы

  • John Schulman's CS294: Deep Reinforcement Learning (https://rll.berkeley.edu/deeprlcourse/), расположенный в UCB.
  • David Silver's Reinforcement Learning Course (https://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html), расположенный в Лондонском университете.
  • Deep RL Bootcamp (https://www.deepbootcamp.io/), организованный OpenAI и UCB. Приложение в настоящее время закрыто, но стоит посмотреть будущие курсы.

• Проекты

  • Andrej Karpathy's Pong from Pixels (https://karpathy.github.io/2016/05/31/rl/). Создайте интеллектуального агента для игры в пинг-понг с нуля, используя всего 130 строк кода.
  • Arthur Juliani's Simple Reinforcement Learning with Tensorflow (https://medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-0-q-learning-with-tables-and-neural-networks-d195264329d0). Используйте TensorFlow для реализации. Q-обучение, policy-обучение и метод actor-critic, а также стратегия исследования.

• Подробнее об этом можно узнать на сайте OpenAI в разделе requests for research.

• Также рекомендуется прочитать книгу Ричарда Саттона «Reinforcement Learning: An Introduction» («Введение в обучение с подкреплением»).

Искусственный интеллект

• Искусственный интеллект — это современный метод (на английском языке здесь, на китайском языке здесь), авторами которого являются Стюарт Рассел и Питер Норвиг.
• Курс Себастьяна Труна по искусственному интеллекту на платформе Udacity Intro to Artificial Intelligence.
• Стипендии: партнёрская программа Insight AI, стажировка проекта Google Brain.

Безопасность искусственного интеллекта

• Для краткой версии рекомендуется ознакомиться со следующими материалами: 1) статья Йоханнеса Хайдеке о рисках искусственного интеллекта Risks of Artificial Intelligence; 2) совместная работа OpenAI и Google Brain о конкретных проблемах безопасности искусственного интеллекта Concrete Problems in AI Safety; 3) статья Wait But Why об эволюции искусственного интеллекта AI Revolution.
• Для более детального изучения вопроса рекомендуется книга Ника Бострома «Superintelligence» («Сверхразум») Superintelligence.
• Рекомендуется ознакомиться с исследованиями в области безопасности искусственного интеллекта, проводимыми MIRI MIRI и FHI FHI.
• Следите за обсуждениями на Reddit в разделе /r/ControlProblem.

Актуальные новости

• Import AI — еженедельные новости об искусственном интеллекте, охватывающие последние события в отрасли. Проект организован Джеком Кларком из OpenAI.
• Machine Learnings — проект Сэма ДеБрюля, эксперта, часто выступающего в этой области.
• Nathan.ai — охватывает последние новости и комментарии об искусственном интеллекте и машинном обучении с точки зрения инвестиций.
• The Wild Week in AI — поддерживается Денни Бритцем. Название говорит само за себя.

Рекомендации других людей

• Что является лучшим способом изучения машинного обучения без прохождения онлайн-курсов?, ответ от Эрика Джанга из Google Brain.
• Каковы наилучшие способы приобретения навыков глубокого обучения для инженера?, ответ Грега Брокмана, технического директора OpenAI.
• AI Playbook от A16z — более ориентированное на код введение.
• Syllabus по безопасности искусственного интеллекта от 80,000 Hours — разработан 80,000 Hours.

Вы выбираете синюю таблетку, и история заканчивается. Вы просыпаетесь в своей постели и верите всему, чему хотите верить. Вы выбираете красную таблетку, остаётесь в Стране чудес, и я показываю вам, насколько глубока кроличья нора. — Морфеус.

Удачи и до встречи!