Глубокое обучение с точки зрения практика, Паттерсон Дж., Гибсон А., 2018

Глубокое обучение с точки зрения практика, Паттерсон Дж., Гибсон А., 2018.
        
   Интерес к машинному обучению зашкаливает, но завышенные ожидания нередко губят проекты еще на ранней стадии. Как машинное обучение — и особенно глубокие нейронные сети — может изменить вашу организацию? Эта книга не только содержит практически полезную информацию о предмете, но и поможет приступить к созданию эффективных сетей глубокого обучения.
Авторы сначала раскрывают фундаментальные вопросы глубокого обучения — настройка, распараллеливание, векторизация, конвейеры операций, а затем переходят к библиотеке Deeplearning4j (DL4J), предназначенной для разработки технологических процессов профессионального уровня. На реальных примерах читатель познакомится с методами и стратегиями обучения глубоких сетей с различной архитектурой и их распараллеливания в кластерах Hadoop и Spark.
Издание предназначено для специалистов по анализу данных, находящихся в поисках более широкого и практического понимания принципов глубокого обучения.




Обучающиеся машины.
Интерес к машинному обучению резко возрос в последние десять лет. Машинное обучение включают в программы факультетов информатики, по нему проводят конференции, а в заголовках «Wall Street Journal» оно встречается чуть ли не ежедневно. Говоря о машинном обучении, многие путают два вопроса: что оно действительно может и чего от него хотели бы. По большому счету, машинное обучение - это применение алгоритмов, которые извлекают информацию из исходных данных и представляют ее в виде той или иной модели. Эта модель используется, чтобы вывести другие данные, которые в модели отсутствуют.

Нейронные сети - один из типов моделей машинного обучения, они существуют уже по меньшей мере 50 лет. Фундаментальной единицей нейронной сети является блок, или узел, - приблизительный аналог биологического нейрона в мозге млекопитающих. Модель связей между нейронами также основана на работе биологического мозга, равно как и эволюция связей с течением времени (в результате «обучения»). В следующих двух главах мы будем подробно рассматривать функционирование таких моделей.

ОГЛАВЛЕНИЕ. 
Предисловие.
Глава 1. Обзор машинного обучения.
Обучающиеся машины.
Как машины могут обучаться?.
Биологические корни.
Что такое глубокое обучение?.
Вниз по кроличьей норе.
Формулировка вопросов.
Математические основания машинного обучения: линейная алгебра.
Скаляры.
Векторы.
Матрицы.
Тензоры.
Гиперплоскости.
Математические операции.
Преобразование данных в векторы.
Решение систем уравнений.
Математические основания машинного обучения: статистика.
Вероятность.
Условные вероятности.
Апостериорная вероятность.
Распределения вероятности.
Выборка и генеральная совокупность.
Методы с перевыборкой.
Смещение выборки.
Правдоподобие.
Как работает машинное обучение?.
Регрессия.
Классификация.
Кластеризация.
Недообучение и переобучение.
Оптимизация.
Выпуклая оптимизация.
Градиентный спуск.
Стохастический градиентный спуск.
Квазиньютоновские методы оптимизации.
Порождающие и дискриминантные модели.
Логистическая регрессия.
Логистическая функция.
Интерпретация результата логистической регрессии.
Оценивание модели.
Матрица неточностей.
Итоги.
Глава 2. Основы нейронных сетей и глубокого обучения.
Нейронные сети.
Биологический нейрон.
Перцептрон.
Многослойные сети прямого распространения.
Обучение нейронных сетей.
Обучение методом обратного распространения.
Функции активации.
Линейная функция.
Сигмоида.
Функция tanh.
Функция hardtanh.
Функция softmax.
Линейная ректификация.
Функции потерь.
Применяемые обозначения.
Функции потерь для регрессии.
Функции потерь для классификации.
Функции потерь для реконструкции.
Гиперпараметры.
Скорость обучения.
Регуляризация.
Импульс.
Разреженность.
Глава 3. Основания глубоких сетей.
Определение глубокого обучения.
Что такое глубокое обучение?.
Как организована эта глава.
Общие архитектурные принципы глубоких сетей.
Параметры.
Слои.
Функции активации.
Функции потерь.
Алгоритмы оптимизации.
Гиперпараметры.
Итоги.
Строительные блоки глубоких сетей.
Ограниченные машины Больцмана.
Автокодировщики.
Вариационные автокодировщики.
Глава 4. Основные архитектуры глубоких сетей.
Сети, предобученные без учителя.
Глубокие сети доверия.
Порождающие состязательные сети.
Сверточные нейронные сети (СНС).
Биологические корни.
Интуитивное описание.
Общий взгляд на архитектуру СНС.
Входной слой.
Пулинговые слои.
Полносвязные слои.
Другие применения СНС.
Самые известные СНС.
Итоги.
Рекуррентные нейронные сети.
Моделирование времени.
Трехмерный вход.
Почему не марковские модели?.
Общая архитектура рекуррентной нейронной сети.
LSTM-сети.
Предметно-ориентированные приложения и гибридные сети.
Рекурсивные нейронные сети.
Архитектура сети.
Разновидности рекурсивных нейронных сетей.
Применение рекурсивных нейронных сетей.
Итоги и обсуждение.
Приведет ли глубокое обучение к отмиранию всех прочих алгоритмов?.
Оптимальный метод зависит от задачи.
Когда мне может понадобиться глубокое обучение?.
Глава 5. Построение глубоких сетей.
Выбор глубокой сети для решения задачи.
Табличные данные и многослойные перцептроны.
Изображения и сверточные нейронные сети.
Последовательности, временные ряды и рекуррентные нейронные сети.
Применение гибридных сетей.
Инструментарий DL4J.
Векторизация и DataVec.
Среды выполнения и ND4J.
Основные концепции DL4J API.
Загрузка и сохранение моделей.
Получение входных данных для модели.
Задание архитектуры модели.
Обучение и оценивание.
Моделирование CSV-данных с помощью многослойных перцептронов.
Подготовка входных данных.
Задание архитектуры сети.
Обучение модели.
Оценивание модели.
Моделирование рукописных цифр с помощью СНС.
Реализация СНС LeNet на Java.
Загрузка и векторизация входных изображений.
Архитектура сети LeNet в DL4J.
Обучение СНС.
Моделирование последовательных данных с помощью рекуррентной нейронной сети.
Порождение текста в стиле Шекспира с помощью LSTM-сети.
Классификация временных рядов, содержащих показания датчика, с помощью LSTM-сети.
Применение автокодировщиков для обнаружения аномалий.
Java-программа автокодировщика.
Подготовка входных данных.
Архитектура и обучение сети автокодировщика.
Оценивание модели.
Использование вариационных автокодировщиков для реконструкции цифр из набора MNIST.
Программа реконструкции цифр для набора MNIST.
Изучение модели VAE.
Применение глубокого обучения в обработке естественного языка.
Обучение погружениям слов с помощью Word2Vec.
Распределенные представления предложений с помощью векторов абзацев.
Применение векторов абзацев для классификации документов.
Глава 6. Настройка глубоких сетей.
Основные концепции настройки глубоких сетей.
Интуитивное описание построения глубоких сетей.
Преобразование интуитивных представлений в пошаговую процедуру.
Подбор сетевой архитектуры, соответствующей входным данным.
Итоги.
Соотнесение назначения модели с выходным слоем.
Выходной слой регрессионной модели.
Выходной слой модели классификации.
Количество слоев, количество параметров и объем памяти.
Многослойные нейронные сети прямого распространения.
Управление количеством слоев и параметров.
Оценка требований к объему памяти.
Стратегии инициализации весов.
Ортогональная инициализация весов в РНС.
Выбор функции активации.
Сводная таблица функций активации.
Применение функций потерь.
Скорость обучения.
Использование отношения обновлений к параметрам.
Конкретные рекомендации по заданию скорости обучения.
Как разреженность влияет на обучение.
Применение методов оптимизации.
Рекомендации по применению СГС.
Применение распараллеливания и GPU для ускорения обучения.
Онлайновое обучение и параллельные итеративные алгоритмы.
Распараллеливание СГС в DL4J.
Графические процессоры.
Управление периодами и размером мини-пакета.
Компромиссы при определении размера мини-пакета.
О применении регуляризации.
Априорная функция как регуляризатор.
Регуляризация по максимальной норме.
Прореживание.
Другие вопросы, связанные с регуляризацией.
Дисбаланс классов.
Методы выборки из классов.
Взвешенные функции потерь.
Борьба с переобучением.
Использование статистики сети из интерфейса настройки.
Обнаружение неудачной инициализации весов.
Обнаружение неперемешанных данных.
Обнаружение проблем, относящихся к регуляризации.
Глава 7. Настройка глубоких сетей с конкретной архитектурой.
Сверточные нейронные сети (СНС).
Общие архитектурные паттерны сверточных сетей.
Конфигурирование сверточных слоев.
Конфигурирование пулинговых слоев.
Перенос обучения.
Рекуррентные нейронные сети.
Входные данные и входной слой сети.
Выходные слои и RnnOutputLayer.
Обучение сети.
Отладка типичных проблем в LSTM.
Дополнение и маскирование.
Применение маскирования для оценивания и скоринга.
Варианты архитектуры рекуррентных сетей.
Ограниченные машины Больцмана.
Скрытые блоки и моделирование доступной информации.
Типы блоков.
Регуляризация в ОМБ.
Глубокие сети доверия.
Применение импульса.
Применение регуляризации.
Задание числа скрытых блоков.
Глава 8. Векторизация.
Введение в векторизацию в машинном обучении.
Зачем нужно векторизовать данные?.
Стратегии обработки табличных исходных данных.
Конструирование признаков и методы нормировки.
Применение библиотеки DataVec для ETL и векторизации.
Векторизация изображений.
Представление изображений в DL4J.
Нормировка данных изображения с помощью DataVec.
Векторизация последовательных данных.
Основные виды источников последовательных данных.
Векторизация последовательных данных с помощью DataVec.
Векторизация текста.
Мешок слов.
TF-IDF.
Сравнение Word2Vec и векторной модели.
Работа с графами.
Глава 9. Глубокое обучение и DL4J на платформе Spark.
Введение в использование DL4J совместно с Spark и Hadoop.
Запуск Spark из командной строки.
Конфигурирование и настройка Spark.
Выполнение Spark в кластере Mesos.
Выполнение Spark поверх YARN.
Общее руководство по настройке Spark.
Настройка задач DL4J для Spark.
Подготовка проекта Maven для Spark и DL4J.
Шаблон секции зависимостей в файле pom.xml.
Настройка POM-файла для CDH 5.X.
Настройка POM-файла для HDP 2.4.
Отладка Spark и Hadoop.
Типичные проблемы при работе с ND4J.
Параллельное выполнение DL4J на платформе Spark.
Минимальный пример обучения на платформе Spark.
Рекомендации по использованию DL4J API для Spark.
Пример многослойного перцептрона на платформе Spark.
Конфигурирование архитектуры МСП для Spark.
Распределенное обучение и оценивание модели.
Создание и выполнение задачи Spark.
Порождение текстов в стиле Шекспира с помощью Spark и LSTM-сети.
Конфигурирование архитектуры LSTM-сети.
Обучение, наблюдение за ходом работы и интерпретация результатов.
Моделирование набора MNIST с помощью сверточной нейронной сети в кластере Spark.
Конфигурирование задачи Spark и загрузка набора данных MNIST.
Конфигурирование и обучение СНС LeNet.
Приложение А. Что такое искусственный интеллект?.
Положение на данный момент.
Определение глубокого обучения.
Определение искусственного интеллекта.
Зима не за горами.
Приложение В. RL4J и обучение с подкреплением.
Введение.
Марковский процесс принятия решений.
Терминология.
Различные варианты.
Безмодельное обучение.
Наблюдаемое состояние.
Однопользовательские и состязательные игры.
Q-обучение.
От политики к нейронным сетям.
Перебор политик.
Исследование и использование.
Уравнение Беллмана.
Выборка начальных состояний.
Реализация Q-обучения.
Моделирование Q(s,a).
Воспроизведение опыта.
Сверточные слои и предварительная обработка изображений.
Обработка истории.
Двойное Q-обучение.
Ограничение.
Масштабирование вознаграждений.
Приоритетное воспроизведение.
График, визуализация и среднее значение Q.
RL4J.
Заключение.
Приложение С. Числа, которые должен знать каждый.
Приложение D. Нейронные сети и обратное распространение: математическое описание.
Введение.
Обратное распространение в многослойном перцептроне.
Приложение Е. ND4J API.
Дизайн и основы использования.
Что такое NDArray?.
Общий синтаксис ND4J.
Основы работы с массивами NDArray.
Класс Dataset.
Создание входных векторов.
Основы создания векторов.
Класс MLLibUtil.
Преобразование INDArray в вектор MLLib.
Преобразование вектора MLLib в INDArray.
Получение предсказаний от модели в DL4J.
Совместное использование DL4J и ND4J.
Приложение F. Библиотека DataVec.
Загрузка данных для машинного обучения.
Загрузка CSV-данных для многослойного перцептрона.
Загрузка изображений для сверточной нейронной сети.
Загрузка последовательных данных для рекуррентных нейронных сетей.
Подготовка данных средствами DataVec.
Преобразования DataVec: основные понятия.
Преобразования DataVec: пример.
Приложение G. Работа с DL4J на уровне исходного кода.
Проверка, установлен ли Git.
Клонирование основных проектов, связанных с DL4J.
Скачивание исходного кода в виде zip-файла.
Сборка библиотеки из исходного кода с помощью Maven.
Приложение Н. Подготовка проектов на базе DL4J.
Создание нового проекта на базе DL4J.
Java.
Работа с Maven.
Интегрированные среды разработки (IDE).
Настройка других POM-файлов Maven.
ND4J и Maven.
Приложение I. Подготовка проектов на базе DL4J к работе с GPU.
Переключение библиотек в режим работы с GPU.
Выбор GPU.
Обучение на системе с несколькими GPU.
CUDA на разных платформах.
Мониторинг производительности GPU.
Приложение J. Отладка проблем с установкой DL4J.
Предыдущая установка.
Ошибки нехватки памяти при сборке из исходного кода.
Старые версии Maven.
Maven и переменная среды PATH.
Недопустимые версии JDK.
C++ и другие средства разработки.
Windows и путь к включаемым файлам.
Мониторинг GPU.
Использование JVisualVM.
Работа с Clojure.
Поддержка чисел с плавающей точкой в OS X.
Ошибка разветвления-соединения в Java 7.
Предостережения.
Клонирование других репозиториев.
Проверьте зависимости Maven.
Переустановка зависимостей.
Если ничего не помогает.
Различные платформы.
OS X.
Windows.
Linux.
Предметный указатель.
Об авторах.
Об иллюстрации на обложке.

Купить .





Теги: учебник по программированию :: программирование :: Паттерсон :: Гибсон :: машинное обучение :: нейросеть