Как работает нейросеть?

Нейронная сеть - это граф (чаще слоистая структура) взаимосвязанных искусственных нейронов соединённых между собой связями. Каждой связи присваивается цифровое значение, его вес.

Нейрон - это упрощённая математическая модель биологического нейрона, используемая для обработки сигналов идущих по связям нейронов, несущих в себе входное значение и на каждой связи нейронов входное значение подвергается обработка (как правило сложение) с весами нейронов.

Один нейрон в базовом варианте выполняет вычисление взвешенной суммы входных сигналов с добавлением смещения (bias): ∑(xᵢ · wᵢ) + b, после чего к результату применяется нелинейная функция активации, которая позволяет сети моделировать сложные зависимости.

Нелинейная функция активации - это то, что превращает нейрон из “просто сумматора” в реально обучаемый элемент. Сначала считается взвешенная сумма: ∑(xᵢ · wᵢ) + b , потом применяется функция активации: y=φ(z) .

Функций активации существует множество (исследования продолжаются), и они по-разному влияют на работу нейросети. Например, более простые функции ускоряют обучение и вычисления, а более сложные могут повысить выразительность модели, но не обязательно улучшают качество.

Каждый нейрон принимает набор входных значений, и каждому входу соответствует свой вес. Веса - это вещественные числа (могут быть отрицательные, больше 1 и т.д.), которые определяют силу и знак влияния входа на выход нейрона. Веса относятся не к самому нейрону, а к связям между нейронами. Совокупность всех весов и смещений определяет поведение нейронной сети.

На практике это выглядит примерно так: Допусти сумма всех весов нейрона, умноженная на входные значения, равна, к примеру, 0.3, ( и только в нашем случае ) этого недостаточно, чтобы функция активации передала в следующий слой значимые активные значения. Тем самым входные данные помноженные на веса этого нейрона не будут иметь ключевое значения на конечный результат (выходной слой) нейросети. А некоторые нейроны со своими весами наоборот активно влияют на значения выходного слоя. Таким образом нейронная сеть и обретает способность к аналитическому мышлению.

В реализации (например, в коде) веса обычно хранятся в виде массивов (матриц), где структура данных отражает связи между нейронами. Значения весов и смещений не задаются вручную, а настраиваются в процессе обучения (например, методом обратного распространения ошибки), позволяет нейронной сети обучатся.

Архитектура нейронной сети — это способ организации её слоёв и связей между нейронами. Связи между нейронами реализуются через веса. Обычно используется полносвязная схема между слоями (каждый нейрон слоя связан со всеми нейронами следующего), но это не обязательное правило, архитектуры могут отличаться.

Основные типы архитектур:

• Полносвязная (MLP) - каждый нейрон связан со всеми в следующем слое, используется для базовых задач.
• Сверточная (CNN) - работает с изображениями, выделяет признаки через фильтры.
• Рекуррентная (RNN) - учитывает порядок данных, используется для текста и последовательностей.
• Трансформеры (Transformer) - современная архитектура для текста и ИИ, работает через механизм внимания.

Чем сложнее архитектура, тем лучше она умеет извлекать сложные зависимости в данных.

Backpropagation

Алгоритм обучения обратного распространения ошибки (backpropagation) - это итерационный процесс настройки параметров нейронной сети (весов и смещений) на основе обучающего набора данных.

Обучение проходит по шагам (итерациям). На каждой итерации на вход сети подаётся очередной пример из датасета. Происходит нейросетевой анализ, и если на выходном слое результат не соответствует реальному значению из датасета, то вычисляется ошибка (функция потерь), и она распространяется по сети в обратном направлении, изменяя веса нейронов.

Рассмотрим детально процесс обучения нейросети с помощью backpropagation:

• - Изначально входные данные в датасете предварительно представляются в числовом виде. Например, изображение раскладывается на пиксели, и значение каждого пикселя нормализуется (обычно в диапазон от 0 до 1 или от 0 до 255 → 0–1). Эти значения формируют входной вектор, где каждый элемент соответствует входу нейрона, но сам пиксель не является нейроном.
• - Далее - данные проходят через сеть: входной слой → скрытые слои → выходной слой. Каждый нейрон вычисляет взвешенную сумму входов, добавляет смещение (bias) и пропускает результат через функцию активации. Полученный сигнал передаётся дальше.
• - После - прямого прохода (forward pass) сеть выдаёт результат. Затем он сравнивается с правильным ответом с помощью функции потерь (loss function), которая показывает величину ошибки.
• - Далее - запускается обратное распространение ошибки (backpropagation). Ошибка передаётся от выходного слоя к входному, и для каждого веса вычисляется, насколько он повлиял на итоговую ошибку (градиент).
• - Далее - веса и смещения корректируются с помощью метода оптимизации (например, градиентного спуска), чтобы уменьшить ошибку на следующих итерациях обучения.

Выходной слой интерпретируется в зависимости от задачи. Например, в задаче классификации значения нейронов могут преобразовываться в вероятности (через softmax), и чем выше значение (вероятность), тем выше уверенность модели, что входные данные принадлежат определённому классу.

Градиентный спуск

Градиентный спуск - это метод оптимизации, используемый для обучения нейронных сетей, целью которого является минимизация функции ошибки. В процессе обучения вычисляется градиент - вектор частных производных, показывающий направление наибольшего роста ошибки по каждому параметру модели.

Обучение проходит по шагам (итерациям). На каждой итерации на вход сети подаётся очередной пример из датасета. Происходит нейросетевой анализ, и если на выходном слое результат не соответствует реальному значению из датасета, то вычисляется ошибка (функция потерь), и она распространяется по сети в обратном направлении, изменяя веса нейронов.

Как работает обученная нейросеть

Теперь когда у нас уже есть обученная модель нейросети (программа с уже выявленным и сохранённым массивом всех весов). Она представляет собой модель с зафиксированными весами, которая используется только в режиме прямого прохода (inference).

Входные данные (например, пиксели изображения или текст) преобразуются в числовой вектор и последовательно проходят через все слои сети. На каждом слое выполняются вычисления: взвешенная сумма входов, добавление смещения и применение функции активации.

Обратное распространение ошибки при этом уже не используется.

На выходном слое формируется набор числовых значений, которые интерпретируются как вероятности принадлежности к определённым классам или как элементы сгенерированного результата.

Таким образом, нейросеть выполняет преобразование входных данных в выходные, используя уже выученные зависимости. И в результате например может распознать изображение на картинке с определённой долей вероятности.

Таким образом мы создаем программу способную обучиться распознавать входные значения. А путем усложнения этих данных и усложнения строения нейронной сети, мы можем добиться глубокого понимания и аналитического мышления.