Основы построения и обучения полносвязных нейросетей: от линейных преобразований к глубокому обучению

Попробуем составить простейшую нейросеть. Положим, у нас есть вектор x числовых значений, например, характеристик человека (старательность, внимательность, сила, ум, хитрость и т. д.), и мы хотим создать нейросеть, которая по ним будет определять, для выполнения какого рода задач (офисная работа, творческая, научная деятельность, инженерная и т. д.) этот человек годится лучше всего. Представим для начала, что нейросеть – это просто умножение некоторой матрицы весов A на вектор входных значений x, соответствующие соотношения для элементов векторов x и y и матрицы A выглядят так, как представлено на рисунке 1 (здесь и далее по тексту в случаях, когда одновременно используются переменные одним буквенным обозначением, но одна из них дополнительно обладает индексом, переменная с индексом является частью переменной без индекса (значение вектора, столбец или строка матрицы и т. д.). Рисунок 1. Соотношения для элементов векторов x и y и матрицы A. Теоретически может случиться так, что при наличии достаточного датасета в результате машинного обучения получится подобрать весовую матрицу A, которая будет решать поставленную задачу удовлетворительно. В противовес этой гипотезе можно высказать следующее сомнение: как правило, сложные выводы не делаются в один шаг, они состоят из некоторой цепочки умозаключений, в которой окончательным выводам предшествуют какие-то промежуточные тезисы. По этой причине, если и не в приведенном примере, то по крайней мере в других более сложных задачах будет недостаточно одного матричного умножения. Можно попробовать реализовать нейросеть в виде нескольких матричных умножений, однако в силу свойств матриц несколько матричных умножений сведутся снова к одному (рисунок 2).

Рисунок 2. Матричное умножение.

С другой стороны, можно представить себе массу зависимостей, которые если не точно, то хотя бы приблизительно, легче и точнее всего выразить Нелинейность /активация – нелинейная функция с одним входным аргументом и одним выходным значением.

линейно, поэтому не хотелось бы отказываться от линейных операций в составе нейросетей. Подобно тому, как нельзя сыграть музыкальную симфонию на одном барабане или нельзя построить прочное здание одной отверткой для того, чтобы линейные конструкции в нейросетях не вырождались, перемножаясь друг с другом, и могли выражать какие-то сложные зависимости, к ним добавляют нелинейные математические выражения. Изначально такие выражения появились в попытке смоделировать активацию нейрона в мозгу, благодаря чему их иногда называют «активациями».

Чаще всего функции активации применяют ко всем выходным значениям слоя, реализующего то или иное линейное преобразование, (простейшим примером такого слоя является матричное умножение, как на рисунок 1). Применение активации к выходу одного слоя нейросети иногда удобно интерпретировать, как отдельный слой, при этом у этого слоя совершенно необязательно наличие собственных весов.

Слой активации – слой, состоящий из применения функций активации к выходам предыдущего слоя. Чаще всего слой активации не содержит весов, т. е. необучаем.

Полносвязный слой/full connected/dense/ linear layer – слой, представляющий собой матричное умножение вектора из всех входных значений на матрицу, при этом все элементы матрицы подлежат определению в процессе машинного обучения, т. е. являются весами. Следует обратить внимание на то, что англоязычный термин «linear» хоть и используется, но является крайне неудачным, так как называет именем общего понятия частный случай этого понятия.

Перцептрон – нейросеть, составленная из одного полносвязного слоя и следующего за ним слоя активации. Первым придуманным типом нейросетей был именно перцептрон.

Многослойный перцептрон/полносвязная нейросеть – нейросеть, составленная из нескольких чередующихся полносвязных слоев и слоев активации.

Глубокая нейросеть – термин, означающий нейросеть с более чем одним слоем, возникший вместе с появлением многослойного перцептрона. Фактически все используемые в современной практике нейросети глубокие.

Глубокое обучение – машинное обучение глубоких нейросетей. В настоящее время (здесь и далее под настоящим временем понимается начало 2025 г.) термин фактически употребляется синонимично термину «машинное обучение», однако формально им правильно называть именно обучение с применением метода обратного распространения ошибки, противопоставляя его некоторым принципиально другим, но менее распространенным, подходам к обучению. Разумеется, не любая нелинейная функция одинаково хорошо подойдет для использования в нейросети. Следует иметь в виду, что при обучении нейросети градиентным спуском функции активации будут фигурировать в вычислении производных. Если функция активации будет обладать плохой аналитичностью, то зависимость ее выходного значения от входного будет плохо прослеживаться и, следовательно, градиентный спуск будет вести себя непредсказуемо, ломаться. Одной из наиболее распространенных и чуть ли не первой придуманной функцией активации является сигмоида (рисунок 3).

Рисунок 3. Сигмоида (формула № 4.3).

Сигмоида принимает значения от 0 до 1, ее первая производная везде больше нуля, а график функции тем более пологий, чем дальше значение аргумента от нуля. Если при обучении нейросети на некотором слое какое-то выходное значение окажется слишком большим по модулю, производная сигмоиды в соответствующей точке будет близка к нулю, что означает, что при вычислениях обратного хода соответствующая невязка будет близка к нулю. Следовательно, зависимые от него слагаемые при вычислении градиента также будут близки к нулю. Таким образом, использование сигмоиды тормозит изменение значений весов, которые порождают слишком большие выходные значения на слоях, стимулируя, наоборот, изменение значений остальных весов.

Можно придумать много функций, которые будут обладать теми же свойствами, что и сигмоида, в том числе и похожим графиком, однако конкретно сигмоида удобна тем, что ее производная легко вычисляется на основе самого значения сигмоиды, что упрощает подсчет невязок во время обратного хода (рисунок 4).

Рисунок 4. Подсчет невязок во время обратного хода Положим теперь, что мы определились с некоторым количеством полносвязных слоев и активациями между ними. Вернемся к задаче определения рода действительно по характеристикам человека. Положим, что выходной вектор последнего полносвязного слоя состоит из четырех значений, соответствующих четырем родам деятельности. В качестве обучающего датасета используем набор характеристик сотрудников, а в качестве разметки – векторы из четырех значений, описывающие числами от 0 до 1 способность каждого сотрудника заниматься каждым из четырех родов деятельности. Представим себе, что после обучения мы подставили в нейросеть данные двух сотрудников и получили следующие результаты (рисунок 5).

Рисунок 5. Данные двух сотрудников в нейросети. Второе значение первого вектора больше других значенийв векторе, из чего вытекает, что первый сотрудник лучше всего справится с задачами рода, соответствующего второй позиции в векторе. У второго сотрудника, наоборот, второе значение – наименьше в векторе. Однако любое значение второго вектора больше любого значения первого. Отсюда легко проследить, что второй сотрудник, с точки зрения нашей нейросети, во всем лучше первого, но может потеряться тот вывод, что тяга ко второму роду деятельности у первого сотрудника ярко выражена, в то время как второй сотрудник справляется со всеми примерно одинаково. Как видно, числовые значения векторов может быть сложно интерпретировать, не зная диапазон возможных значений или не имея возможности сравнить их с другими результатами.

Для ситуаций, когда от нейросети хотят, чтобы она выдавала некоторый всегда выровненный вывод в предсказуемом диапазоне, используют специальные выравнивающие функции, наиболее распространенной из которых является функция софтмакс (softmax) (рисунок 6).

Рисунок 6. Функция софтмакс (softmax).

Функция софтмакс всегда выдает вектор значений от 0 до 1, сумма которых всегда равна единице, при чем если одно значение входного вектора было больше другого, то это отношение сохранится для соответствующих значений выходного вектора. В силу указанных свойств выходные значения софтмакса удобно интерпретировать, как распределение вероятностей, и использовать при решении задачи классификации, т. е. присвоения переданному в нейросеть объекту того или иного класса из нескольких. Значения, полученные таким образом на одном запуске нейросети, часто небрежно называют вероятностями, из-за чего не погруженные в детали люди начинают путать эту величину с точностью работы нейросети в целом.

Задача классификации – задача, при которой заранее известны несколько классов и от нейросети требуется уметь отнести переданную ей единицу входных данных к одному из этих классов.

Конфиденс/confidence (в контексте реше� - ния нейросетью задачи классификации или похожей) – относительная вероятность принадлежности к указанному классу по сравнению с вероятностями принадлежности к другим классам.

Понятие конфиденса не имеет прямого отношения к реальной вероятности принадлежности объекта к тому или иному классу или к точности нейросети в целом. Например, если у нейросети высокая точность, т. е. она почти всегда идеально срабатывает, то это означает, что максимальное значение конфиденса с вероятностью, близкой к 1, соответствует действительному классу объекта, даже если оно будет числом около 0.1. Напротив, у нейросети с низкой точностью даже высокое значение конфиденса около 0.99 может ошибочно указывать на класс, к которому объект в действительности не принадлежит.

Теперь необходимо определить лосс. Для задачи классификации такой раздел математики, как математическая статистика, рекомендует функцию, называемую кросс-энтропией. Для вектора результатов y и вектора идеальных желаемых значений Y, взятого из разметки, кросс-эн� - тропия вычисляется по формуле (рисунок 7).

Рисунок 7. Вычисление кросс-энтропии.

Можно убедиться с помощью ручки и бумаги, что если совместить кросс-энтропию и софтмакс в единую функцию, то значения входных невязок r i лосса будут вычисляться по элементарной формуле (рисунок 8).

Рисунок 8. Вычисление входных невязок ri лосса. Определим теперь действия обратного хода для слоев нейросети. Для слоя активации с сигмоидой вычисление значений входных невязок r i по значениям выходных невязок q i и элементов x i входной карты признаков выполняется в соответствии с формулой на рисунке 9.

Рисунок 9. Вычисление значений входных невязок ri по значениям выходных невязок qi и элементов xi входной карты признаков Чтобы разобраться с тем, как выглядят вычисления обратного хода для полносвязного слоя, представим себе какой-нибудь лосс L и подсчитаем его производную по одному из входных значений полносвязного слоя и по одному из значений весов a ik. Для удобства снова обозначим входные и выходные невязки r соответственно (рисунок 10).

Рисунок 10. Производная лосса L. Формула, представленная на рисунке 9, демонстрирует удобное свойство слоев, выполняющих линейные операции. Как видно, число операций прямого хода для слоя равно числу операций обратного хода для вычисления невязок и числу операций обратного хода для вычисления градиентов. На самом деле в современных нейросетях чаще всего большая часть вычислений реализована в виде тех или иных комбинаций линейных слоев. Как следствие, количество операций во время обучения современных нейросетей, как правило, приблизительно в три раза больше числа операций во время инференса. Это следует помнить при оценке времени выполнения вычислений.

Слоям, осуществляющим линейные преобразования в прямом ходе, соответствуют также линейные преобразования в обратном ходе. Таким образом, мы разобрали все действия прямого и обратного хода для полносвязного слоя, слоя активации с сигмоидой и лосса, составленного из софтмакса и кросс-энтропии, что позволяет запрограммировать шаг градиентного спуска для любой нейросети, состоящей из указанных слоев и применяющих указанный лосс. Полносвязные нейросети относительно сложно учить, поскольку в них каждый вес используется для единственной операции, т. е. весов, попросту говоря, слишком много, в то время как значение каждого веса слишком незначительно. На практике полносвязные нейросети применяются в задачах, в которых входные данные обладают относительно небольшой размерностью, а природа задачи не подразумевает многоэтажных зависимостей, т. е. допускает составление нейросети из 2–4 слоев. Такие задачи, как правило, не сильно интеллектуальны. Примерами могут послужить некоторые простые задачи управления в робототехнике (или, что почти то же самое, управлении в компьютерных играх), разного рода примитивные сенсоры, а также классификация объектов на маленьких (около 32×32) фрагментах изображений. В последнем случае каждый пиксель фрагмента порождает как минимум одно входное значение нейросети, при этом обнаружение объекта требует, как минимум, сопоставления инфор- мации на соседних пикселях. Отсюда интуитивно понятно, что число выходных значений первого слоя будет сравнимо с числом входных. Таким образом, зависимость требуемого числа весов от размера изображения для полносвязных нейросетей близка квадратичной, поэтому применение полносвязных слоев для анализа изображений нормальных размеров практически неосуществимо.