Программное обеспечение для машинного обучения: архитектура, форматы и проблемы совместимости

Программное обеспечение (далее – ПО) для машинного обучения развивается и существует примерно по тем же законам, что и любое другое, т. е. не обладает каким-то экзотическими особенностями, хоть и имеет свои отличительные черты. Как правило, все программное обеспечение непосредственно для машинного обучения называют либо «фреймворками», либо «библиотеками».

413 ?ck{| ? ??ck{psjp - ? 5 - 2026 Четкой границы между двумя категориями нет, зачастую одно и то же программное обеспечение можно назвать как фреймворком, так и библиотекой. Однако все же термин «фреймворк» чаще применяют именно для обозначения удобной среды, в которой может работать разработчик нейросетей, а термин «библиотека» наоборот чаще применяют просто к библиотеке с набором функций, играющую для разработчика нейросетей роль наподобие драйвера устройства. Основные вычислительные функции библиотеки машинного обучения, как правило, вызывают вычисления одного слоя, типовой пример функции приведен на рисунке 1. Помимо вычислительных функций, в библиотеках, как правило, представлен ряд технических функций для корректного вычисления размеров карт признаков, инициализации переменных и тензоров и т. д. Рисунок1. Типовой пример функции.

Наиболее распространенными фреймворками являются Pytorch и Tensorflow, примерами библиотек могут служить CudNN от Nvidia для обучения нейросетей на видеокартах (сокращенно «GPU». Строго говоря, аббревиатура относится к самому процессору, а не видеокарте, но для простоты используется в обоих смыслах) этого производителя, ее аналог MIOpen для видеокарт от AMD и библиотека OpenVINO от Intel для работы с нейросетями на устройствах Intel (главным образом на обычных центральных процессорах, сокращенно CPU). Как правило, библиотеки разрабатываются под конкретный тип устройств, чаще всего это делает сам разработчик устройств.

Отдельно от фреймворков и библиотек существуют также программы, упрощающие процесс создания разметки для датасетов.

В связи с тем, что машинное обучение, развивается децентрализовано, в области программного обеспечения для машинного обучения существует постоянно действующая проблема совместимости используемых форматов.

Например, в разметке изображения для задачи детекции можно указывать координаты центра объекта с его размерами или координаты двух противоположных углов прямоугольника; в разметке изображения для задачи сегментации можно указывать принадлежность каждого пикселя к той или иной зоне, а можно – границы зон, и т. д. Разные форматы разметки могут использоваться разными разметчиками, фреймвор - ками и, собственно, разработчиками нейросетей, из-за чего часто возникает необходимость произвести преобразование разметки из одного формата в другой, что не всегда возможно сделать однозначно.

Еще острее данная проблема проявляется в вопросе описания самих нейросетей. В общем случае описание обученной нейросети должно содержать следующую информацию:

1) взаимосвязи между слоями, т. е. выходы каких слоев являются входами каких слоев, какие слои принимают входные данные извне нейросети и какие наоборот выдают выходные результаты вовне; 2) тип каждого слоя и значения его параметров (под «параметрами» будем понимать все параметры, которые мы не называем весами, т. е. необучаемые параметры, например, размеры ядра свертки сверточного слоя); 3) значения всех весов каждого слоя (как правило, в бинарном формате, не текстовом).

Иногда описание нейросети может содержать не только слои, но и непосредственно массивы данных, возникающих между слоями.

С развитием сверточных нейросетей за массивами данных в машинном обучении закрепился термин «тензор».

Рассмотрим, например, сверточный слой. Описание сверточного слоя должно содержать размеры ядра свертки, шаг свертки, размеры паддинга, число фильтров. Казалось бы, должны быть также указаны ширина, высота и глубина хотя бы входной карты признаков, но если в описании нейросети указаны тензор, подаваемый на вход слою, и размеры тензора также указаны, то в описании слоя необязательно указывать размеры карт признаков, достаточно сослаться на описание входного тензора. Число весов сверточного слоя не зависит от ширины и высоты входного тензора, и бывают фреймворки, в которых это свойство используется для универсального описания нейросети без указания размера входного изображения. Как следствие, в описании такой нейросети отсутствуют значения ширины и высоты тензоров и сверточных слоев. Данный подход одновременно и добавляет гибкость к описанию, и убавляет ее, поскольку добавление слоя нейросети, число весов которого зависит от размера входного тензора, в таком формате невозможно.

Представим себе теперь, что некоторый разработчик придумал новую модификацию сверточного слоя, которая показала свою эффективность на практике и теперь повсеместно применяется. Чтобы стало возможным описывать данную модификацию в прежнем формате описания нейросетей, необходимо его дополнить.

Нужно при этом не трогать существующие параметры сверточного слоя, а только ввести новые, чтобы уже существующие описания нейросетей оставались корректными. Допустим, мы говорим об изобретении свертки с «раздвинутым» ядром. Можно ввести параметр «раздвинутости», указывая число пикселей, пропускаемых по ширине и высоте, и считать, что если эта величина не указана, то она равная нулю, как у обычной свертки (рисунок 2).

Рисунок 2. Параметр «раздвинутости» Казалось бы, добавление такого параметра не нарушает никакую логику, но на самом деле оно порождает двусмысленность в том, как правильно читать описание слоя. Легко понять, что для свертки с нулевой «раздвинутостью» объем весов зависит от размеров ядра свертки, и от нее же, с учетом паддинга и шага, зависят размеры выходной карты признаков. Рассмотрим теперь свертку единичной «раздвинутостью», как на рисунке 2. Если отталкиваться от понимания того, что ядро свертки должно характеризовать число весов, то получается, размеры ядра равны 3. Если же смотреть с точки зрения того, как ядро свертки прикладывается к входной карте признаков и сколько раз в нее помещается, то получается, что размеры ядра такой свертки равны 5. В подобных случаях разные разработчики могут использовать разные интерпретации одного и того же описания, результатом чего становятся несовместимости фреймворков, библиотек и описаний.

Проблема несовместимости из-за разницы в описании или трактовки незначительных параметров встречается регулярно. Огромная масса таких проблем порождена одной только логикой понимания паддинга для сверток и пулинга.

Например, существовало не менее трех разных способов указания паддинга:

1) указание величин паддиннга отдельно слева, справа, сверху и снизу; 2) указание величин паддинга отдельно для горизонтального (слева и справа) и вертикального (сверху и снизу); 3) указание режима подгона размера выходной карты признаков к четному или нечетному числу.

Представим себе теперь, что разработчик придумал принципиально новый слой, который также оказался востребован мировым сообществом. По идее, для этого слоя должно появиться свое описание в каждом существующем формате. Однако сам разработчик в процессе изобретения, очевидно, не обладал еще этим инструментом, и для него мог быть велик соблазн воспользоваться уже существующими слоями. Аналогично, если разработчик написал статью, где описал алгоритмические особенности нового слоя, но не предложил явного способа его представления в описании нейросети, другие разработчики, которые воспроизведут его эксперимент, могут реализовать такое описание разными способами.

Так, например, для поканальной свертки, существуют и используются два способа ее описания:

1) в виде отдельного слоя, похожего на пулинг, но с весами; 2) виде совокупности нескольких обычных сверточных слоев, каждый из которых принимает на вход карту признаков единичной глубины и производит с помощью единственного фильтра выходную карту признаков единичной глубины.

Обратим внимание на второй вариант. В нем несколько сверточных слоев порождают несколько выходных карт признаков и их, соответственно, перед подачей в следующий слой нужно собрать в единую с помощью слоя склейки, который в первом варианте не возникает. Более того, чтобы интерпретировать входную карту признаков поканальной свертки в качестве нескольких карт признаков соответствующих сверток нужно выполнить обратную склейке операцию, т. е. нарезать карту признаков на несколько карт признаков (в англ. источниках используется термин split). Необходимости подобного рода состыковки разных слоев порождают массу своего рода технических слоев, которые выполняют всевозможные умозрительные перекладывания, раскладывания, переставления (часто называемые слоем reshape) и прочие преобразования карт признаков. Особенностью этих технических слоев является то, что они не подразумевают никаких вычислений вообще, их как бы нет в оригинальном чисто алгоритмическом описании нейросети, но они вынуждено появляются в ее описании для того, чтобы его можно было корректно программно обработать.

В свою очередь, корректное описание отдельных таких преобразований требует четкого указания порядка размерностей тензора.

Например, если сверточный слой выдал тензор с шириной и высотой, равными 5, и глубиной, равно 10, то для того, чтобы подать этот тензор в полносвязный слой, для которого все входы равнозначны, нужно четко условиться о том, в каком порядке значения этого слоя подаются. Программная реализация слоев будет, соответственно, подразумевать, что использован определенный порядок размерностей тензора и определенный порядок расположения значений тензора в памяти. Некоторым программистам может быть неочевидно, что по соображениям эффективности программы, выполняющие значительные математические вычисления, хранят любые большие массивы данных всегда плотно, одно значение за другим, какова бы ни была размерность массива. Например, матрицу A[5][10] хранят в виде массива из 50 значений a[50]. При этом возникает необходимость условиться о формате хранения, будут ли в массиве храниться значения по столбцам или по строкам матрицы. Соответственно, в зависимости от выбора формата значение матрицы A с индексами i и j может хра- ниться либо по адресу a[i+5*j], либо по адресу [10*i+j]. Таким образом, возникает необходимость указания или неявного подразумевания для тензоров порядка хранения данных. Для сверточных нейросетей существует более или менее прижившийся способ обозначения этих порядков.

Рассмотрим карту признаков из трех каналов. На рисунке 3 схематично изображено хранение этой карты признаков в форматах CHW (справа сверху) и HWC (справа снизу) соответственно.

Рисунок 3. Схематичное изображение хранения карты признаков. Представим себе теперь, что две такие карты признаков необходимо склеить в единую карту признаков с шестью каналами с сохранением формата. Для формата CHW такая операция достигается просто хранением двух массивов друг за другом. Однако для формата HWC потребуется после каждых трех значений первой карты признаков воткнуть три аналогичных значения второй карты признаков, т. е. выполнить существенные перемещения данных в памяти. Этот пример показывает, как из полностью умозрительного действия с нулевым алгоритмическим содержанием при программной реализации нейросетей появляется целая нетривиальная процедура, отнимающая время. В самых неудачных случаях время, затрачиваемое компьютером на подобные перекладывания, может составлять 99% и более всего времени выполнения вычислений нейросети. Может показаться, что из приведенных соображений следует, что формат CHW лучше формата HWC. Однако такой однозначный вывод сделать нельзя, достаточно представить себе, как вычленяются значения из входной карты признаков для выполнения свертки 3×3 с глубиной 128: в формате HWC потребуется прочесть три массива по 384 значения, а в формате CHW – 384 массива по три пикселя, что компьютер сделает в несколько раз медленнее.

Вернемся к примеру, в котором разработчик изобрел новый слой. Среди разработчиков в области машинного обучения сложилась мода на использование языка Python, обусловленная его простотой. Интерфейс фреймворков Pytorch и Tensorflow для языка Python представляет собой библиотеку функций. В контексте программирования будем использовать общий термин «функция» для обозначения как функций С-подобных языков, так и методов, подпрограмм и т. д. других языков. Соответственно, регулярно возникают случаи, когда разработчик, придумавший новый слой, реализовал его вручную, т. е. просто запрограммировал соответствующие вычисления. При этом такой код может идти вперемешку с вызовами вычислений стандартных для фреймворка слоев. Сохранение подобной нейросети в лучшем случае возможно только в специальном формате, используемом фреймворком, и лишь им же может быть воспроизведено. При этом о совместимости такого описания с другими существующими форматами описания нейросетей не может быть и речи. Соответственно, в данных ситуациях нейросеть в лучшем случае распространяется с авторским кодом, в худшем случае возникают разные реализации, откуда снова вытекают проблемы совместимости. В некоторых случаях, когда стандартные для фреймворка слои расположены единым куском, а авторские модификации приспособлены ко входу или выходу нейросети, нейросеть может распространяться без авторских модификаций. Так, нейросеть SSD, которая впервые решила задачу детекции. Фильтрация сгенерированных нейросетью баундин-боксов, существенно влияющая на конечный результат, с одной стороны, являлась неотъемлемой частью решения, предложенного разработчиками, но, с другой стороны, не могла быть описана в виде стандартных на тот момент форматов описания нейросетей и, соответственно, передана с ней в одном файле. В результате разные разработчики, повторявшие обучение нейросети по оригинальной статье, создавали отличающиеся реализации и, как следствие, получали разные результаты.

Наиболее широко известным и распространенным форматом описания нейросетей, не привязанным ни к какому фреймворку, является ONNX10F [16].

Из-за названных выше особенностей описание нейросети является ключевым объектом в любом программном обеспечении для машинного обучения, а разница во фреймворках и библиотеках как раз заключается в том, какие действия, как и в каком порядке эти фреймворки и библиотеки позволяют выполнять над нейросетью. Поэтому понимание устройства любого программного обеспечения для машинного обучения заключается в понимании того, что внутри него происходит с нейросетью.

Разберемся в этой логике в общем виде. Нет никакого строгого деления фреймворка на части, но можно условно говорить, что он разделен на интерфейсную и основную части. В общем случае фреймворк может также включать в себя одну или несколько библиотек, либо же быть стыкуемым с одной или несколькими внешними библиотеками. Общая схема, отражающая возможные действия с нейросетью с использованием фреймворка и библиотек, приведена на рисунке 4.

Рисунок 4. Общая схема, отражающая возможные действия с нейросетью с использованием фреймворка и библиотек.

Как было указано выше, использование определенного формата означает неявное использование некоторой логики нейросети. При этом во время разработки фреймворка в него самого закладывалась некоторая логика, и нейросеть внутри фреймворка хранится в его некотором внутреннем формате, который этой логике полностью соответствует. Внутренний формат может совпадать с одним из распространенных форматов описания нейросетей, быть уникальным или просто представлять собой совокупность разбросанных по массивам и переменным параметров и весов нейросети. В идеальном случае поддержка фреймворком некоторого формата означает, что этот формат полностью совместим с внутренним форматом фреймворка и их логики не противоречат друг другу.

В реальности противоречия все же встречаются, в особенности в связи с внесением изменений в версии фреймворков, библиотек или самих форматов, в лучшем случае они выявлены заранее и перечислены в документации к фреймворку. Вероятность этого увеличивается, если фреймворк поддерживает несколько форматов. Можно условно определить, что интерфейсная часть заканчивается и основная часть начинается там, где переданное во фреймворк из файла описание нейросети корректно преобразовано во внутренний формат. Интерфейсная часть, кроме того, предоставляет пользователю возможность передать датасет (как данные, так и разметку) и всяческие настройки, в том числе настройки машинного обучения. Фреймворки могут поддерживать разные форматы разметки, однако с ними нет такой путаницы, как с форматами описания нейросетей, поэтому мы не останавливаемся здесь на этом вопросе.

Для запуска машинного обучения фреймворк обращается к функциям библиотеки, приспособленной для обучения (на рисунке 4 это библиотека Х). Опять же, каждая библиотека также подразумевает некоторую логику работы с нейросетью, которая может соответствовать или не соответствовать внутренней логике фреймворка; поддержка фреймворком библиотеки в идеале означает, что его внутренняя логика совместима с логикой библиотеки, но на практике противоречия встречаются как в виде заранее описанных границ совместимости, так и в виде ошибок. Характерным примером является создание AMD библиотеки MIOpen. Идея была в том, чтобы сделать точную копию библиотеки CudNN от Nvidia, поэтому все функции были абсолютно одинаковыми, отличались только названия. Однако запуск даже такой элементарной нейросети, как VGG, с помощью одного и того же кода приводил к кардинально разным результатам для двух библиотек. Причиной было то, что в функции для вычислений слоя пулинга в двух библиотеках использовались разные формулы подсчета высоты и ширины выходной карты признаков, и, таким образом, выходные карты признаков слоя пулинга для двух библиотек отличались не просто значениями, но даже и размерами. Как видно, данная ошибка могла бы быть исключена на уровне элементарного теста. То, что ошибка все же была допущена, хорошо иллюстрирует то, как ошибки совместимости могут появляться во фреймворках и библиотеках, даже если они разрабатываются крупнейшими мировыми компаниями.

В зависимости от библиотеки, базовые действия, выполняемые в связи с обучением нейросети, в той или иной степени реализуется внутри библиотеки или вне ее, т. е. внутри фреймворка (или вручную, если никакой фреймворк не используется). К ним относятся:

1) выделение массивов памяти для хранения промежуточных данных; 2) определение порядка выполнения вычислений слоев; 3) определение конкретных вариантов программной реализации каждого слоя, если таковых в библиотеке несколько.

Соответственно, интерфейс (API) библиотеки зависит от того, какие действия вынесены за ее границы, а также от функционала и поддержки совместимости с разными фреймворками и форматами.

Помимо функциональности и совместимости, ключевым качеством библиотеки является способность обеспечить выполнение вычислений как можно быстрее. Именно необходимость достижения высокой скорости служит причиной разработки отдельных библиотек для разных устройств. При этом обеспечение максимальной скорости вычислений при широчайшей поддержке всевозможных форматов и фреймворков потребует от библиотеки содержания огромного множества оптимизированных функций, разработать их все может быть трудоемко. Поэтому разработчики библиотек ограничивают функционал теми границами, в которых они способны оптимизировать все вычислительные функции. После выполнения обучения нейросеть приводится к одному из поддерживаемых форматов описания и сохраняется в файл. Весь цикл из указанных выше преобразований проиллюстрирован на рисунке 4 оранжевыми стрелками, двунаправленность стрелок иллюстрирует «перетекание» описания нейросети из файла в некоторые данные библиотеки и обратно. Для инференса можно воспользоваться тем же маршрутом, но в одну сторону, т. е. прочесть нейросеть и вызы- вать только функции, осуществляющие прямой ход. На первый взгляд, это естественно, и в простых случаях так и поступают. Однако инференс по числу и характеру действий проще обучения, что позволяет гораздо лучше оптимизировать вычисления для инференса, в том числе применить некоторые оптимизации, недоступные при обучении. В связи с этим выделяются отдельно библиотеки для инференса, их использование несколько усложняет логику обработки нейросети во фреймворке. Наиболее важные отличия инференса от обучения:

1) размер батча, который может существенно влиять на результат обучения, на инференсе уже не имеет никакого алгоритмического значения и может быть выбран по другим соображениям; 2) промежуточные значения карт признаков, которые необходимо хранить для применения метода обратного распространения ошибки, на инференсе хранить не нужно; 3) некоторые слои в инференсе оказывается возможным объединить для целей более эффективной программной реализации (самый распространенный пример – объединение сверточного слоя и ReLU); 4) некоторые слои, играющие важную роль во время обучения, в инференсе вырождаются в более простые (например, нормализация) или вовсе исчезают (например, дропаут). Во время обучения слой нормализации приводит все значения к заданному диапазону, в конце обучения последние использованные в слое нормализации коэффициенты замораживаются и далее используются в инференсе неизменно, поэтому вычисления слоя нормализации выражаются в применение к каждому значению операции вида a*x+b; 5) исключение вычислений обратного хода позволяет проще определиться с порядком хранения данных в тензорах, в том числе оптимизировать его под особенности конечного устройства; 6) веса, изменяемые во время обучения, в инференсе являются фиксированными значениями, которые можно заранее преобразовывать, раскладывать и т. д.; 7) зная значения весов, можно анализировать диапазоны возникающих в картах признаках значений и использовать более компактные типы данных, чем использовались при обучении. Обычно при обучении нейросетей используют плавающую точку одинарной точности (float/fp32). Мировое сообщество делало попытки перейти на использование плавающей точки половинной точности (half float/fp16), но обнаружило, что при огромном количестве чисел в современных нейросетях и разницей между ними процесс обучения чувствителен к точности используемого типа, и отказ от fp32 в пользу fp16 означает в некоторых ситуациях значительное снижение достижимой точности, а в отдельных случаях и вовсе делает обучение невозможным. Как следствие, нет никаких предпосылок к переходу к fp16, стандартом машинного обучения де-факто является fp32, хотя в частных случаях для обучения пробуют использовать другие форматы.

Перечисленные отличия делают возможными массу оптимизаций. Обратим внимание, что нейросеть никогда не учится для того, чтобы быть использованной единожды. Напротив, количество ее использований исчисляется тысячами или миллионами. С другой стороны, оптимизации применяются единственный раз и используются одинаково при каждом запуске. Отсюда вытекает достаточно естественная идея разделить подготовку нейросети к запуску в библиотеке и, собственно, сами вычисления в библиотеке.

Поскольку инференс может выполняться не на том же устройстве, что и обучение, то возникает необходимость согласовать библиотеку, выполняющую вычисления на устройстве, с функциями фреймворка, подготавливающими нейросеть к исполнению в библиотеке. Это делается через еще одно описание нейросети в специальном формате, специфическом именно для используемой библиотеки.

В некоторых библиотеках подобное разделение на подготовку и запуск не видно программисту. Например, в библиотеке CudNN подготовка к вычислениям спрятана от программиста в функциях, выполняющих вычисления, при этом эта подготовка выполняется с первым запуском нейросети, в результате чего время первого запуска может быть в тысячи раз больше времени любого последующего. Nvidia это сделала для того, чтобы по содержимому описания нейросети в специальном формате нельзя было догадаться о каких-то особенностях библиотеки или даже самого устройства. Перед сохранением нейросети в специальном формате над ней выполняются преобразования, зачастую нетривиальные.

Часть фреймворка, способную выполнять такие преобразования, иногда называют нейросетевым компилятором. Существуют в том числе разработчики, пытающиеся создать самостоятельные нейросетевые компиляторы, не привязанные к конкретным библиотекам и соответствующим им устройствам.

Специальным форматам библиотек для инференса характерны следующие свойства:

1) преобразование в специальный формат выполняется только в одну сторону и не предполагает возможности восстановления по нему описания нейросети; 2) специальный формат не содержит предназначенной для чтения человеком информации, поэтому информация в нем хранится не в текстовом, а бинарном виде; 3) все веса и параметры нейросети разложены так, как удобно функциям библиотеки, поэтому они могут быть частично перемешаны, продублированы, разбавлены нулями и т. д., при этом ложатся в память единым куском, адреса нужных каждому слою данных также заранее просчитаны и содержатся в описании.

Нейросеть в специальном формате передается на устройство, где предполагается ее использование. В библиотеке предусмотрен своего рода плеер, который умеет прочитывать из файла с описанием нейросети описания слоев один за другим и вызывать функции библиотеки, выполняющие соответствующие вычисления.

Внешняя программа посредством функций библиотеки осуществляет прочтение нейросети из файла, передачу входных данных для нейросети, запуск инференса и получение его результатов.

Описанная выше схема справедлива для всех фреймворков и библиотек с той лишь поправкой, что многие фреймворки и библиотеки содержат не весь перечисленный функционал. Бывают, например, фреймворки только для инференса, библиотеки с нейросетевым компилятором, но без удобного пользовательского интерфейса и т. д. Следует понимать, что в нетривиальном исследовательском процессе, особенно при экспериментах с новыми слоями, разработчик нейросетей вынужден часть операций программировать вручную. Таким образом, если для обучения и инференса нейросетей под конкретную задачу, уже много раз решенную мировым сообществом, почти наверняка найдутся подходящие фреймворк и/или библиотека, то для разработки новых нейросетей и решения принципиально новых задач никакой фреймворк или библиотека никогда не будут достаточны.