AI Lab

От модели формального нейрона к импульсному нейрону

В заметке ранее была описана предыстория появления нашей модели нейрона.

А также представлено небольшое перечисление некоторых из существующих в настоящее время моделей нейронов.

В этой статье будет описаны основные отличия нашей модели от модели формального нейрона. Отталкиваемся именно от модели формального нейрона мы потому, что первоочередной целью является все-таки создание нейронных сетей для решения задач управления в технике. Для исследований в нейрофизилогии более подходящими будут известные классические модели, основанные на описании функционирования ионных каналов.

Тезисно можно выделить четыре этапа, первым из которых будет собственно немного расширенная модель формального нейрона:

1 – Универсальная модель формального нейрона
2 – Нейрон со структурной организацией мембраны
3 – Раздельное вычисление вкладов в мембранный потенциал
4 – Отказ от явного задания пороговой функции

Некоторые обозначения, которые будут использоваться ниже:

x₁–x_m – входные сигналы нейрона;
w₁–w_m – весовые функции входов;
y – выходной сигнал нейрона;
u – значение мембранного потенциала;
θ – пороговая функция;
F – функция активации;
N – число участков мембраны в узле ветвления дендрита;
C+, C- – константы ожидаемого уровня вклада в мембранный потенциал
u+, u- – вклады в мембранный потенциал от деполяризующих и гиперполяризующих ионных механизмов.

Рисунок 1 демонстрирует в общем виде универсальную модель формального нейрона.

Рис. 1. Формальный нейрон

Классический формальный нейрон может быть получен из этой модели, если отказаться от временной суммации сигналов, установить фиксированный порог и выбрать, например сигмоидальную функцию активации.
Дальнейшим развитием этой модели может быть введение описания структурной организации мембраны нейрона (Рисунок 2).

Рис. 2. Формальный нейрон со структурной организацией мембраны

Здесь значение потенциала в участке мембраны нейрона является производным не только от значений входов и весов синапсов, но и от среднего значения мембранного потенциала других, подключенных участков мембраны. Это позволит моделировать структуру дендритного и синаптического аппарата нейронов и осуществлять более сложные вычисления пространственной и временной суммации сигналов на мембране нейрона. Таким образом, минимальным функциональным элементом нейронной сети следует считать не нейрон, а участок мембраны.
С учетом наличия временной суммации сигналов, структурная организация позволяет реализовать раздельную обработку сигналов различного функционального назначения на одном нейроне. Для этого можно выделить отдельный дендрит, который будет осуществлять, например, суммацию только сигналов о текущем положении объекта управления формируемых афферентным нейроном, а также сигнала поправки к положению, формируемому управлению с высшего уровня управления. При этом отдельный дендрит будет реализовывать аналогичное поведение, например по скорости движения объекта. А тело нейрона будет осуществлять интегральное объединение этих контуров управления, которое в противном случае потребовало бы добавления и настройки параметров дополнительного нейрона.

Рисунок 3 демонстрирует отказ от описания потенциала мембраны одной функцией и вводим множество функций, которые будут абстрактно описывать ионные каналы, осуществляющие транспорт различных ионов внутрь и вне клетки. Назовем такие абстракции “ионными механизмами”. Подобный подход позволит организовать на различных участках мембраны более сложную временную суммацию сигналов (например, с различными постоянными времени).

Рис. 3. Нейрон с "ионными механизмами"

Применение двух (и более) переменных, описывающих состояние потенциала участка мембраны, позволит реализовать независимое поведение для возбуждающих и тормозных сигналов и для сигналов, которые должны суммироваться на мембране с различными постоянными времени. В общем случае это позволяет осуществлять временную суммацию возбуждающих и тормозных сигналов с неодинаковыми постоянными времени. Этот эффект может играть существенную роль например в случаях, когда нейрон обеспечивает относительно медленную суммацию динамических сигналов с заданного рецептивного поля. И при этом необходимо обеспечить возможность быстрого подавления влияния накопленной информации для временной смены функционального назначения нейрона (например необходимость вычисления ответа нейрона индивидуально по данным другого дендрита, интегрирующего сигналы с другого рецептивного поля). В этом случае переменная состояния, описывающая тормозный вклад в мембранный потенциал выбирается с меньшей постоянной времени.
Наконец Рисунок 4 демонстрирует следующую стадию развития модели – переход к импульсной модели нейрона.

Рис. 4. Переход к импульсной модели

Если предположить, что входы и выходы нейрона теперь являются импульсными величинами, и равным 0 при отсутствии сигнала, и 1 на время генерации импульса, то, полагая порог нейрона константой близкой к 0, вводя отрицательные ОС на некоторые ионные механизмы и полагая функцию активации пороговой функцией с гистерезисом, мы получим модель нейрона, в которой воспроизводятся многие известные особенности поведения естественных нейронов. В частности это деполяризация мембраны под действием внешнего возбуждения, скачкообразный рост мембранного потенциала на время генерации импульса, эффекты гиперполяризации и остаточной деполяризации. Таким образом мы получили модель нейрона, осуществляющую нелинейные аналоговые преобразования дискретных входных сигналов, качественно воспроизводящую большое количество особенностей поведения, свойственные более сложным моделям с меньшим число переменных состояния.
В отличие от непрерывной модели нейрона, обмен импульсными сигналами в нейронной сети позволяет локализовать во времени информацию о событиях, кодируемую в импульсах или пачках импульсов. В непрерывной модели, при передаче информации от нейрона к нейрону происходит размывание временного фронта сигнала, пик которого фактически характеризует максимальную вероятность некоторого события. В случае обмена непрерывным сигналом, при суммации на обобщающем нейроне информации со множества нейронов предыдущего слоя (уровня), мы получаем зашумление входа нейрона множеством потенциальных вероятностей наступления различных событий, и таким образом уменьшаем селективность нейрона на конкретное событие, т.к. вынуждены увеличивать порог срабатывания нейрона, или иным способом (тормозящим воздействием) подавлять постоянную составляющую сигнала в сети, которая складывается из этого множества малых вероятностей, на среднем фоне которых пики наступления событий выражены слабо. Эта проблема в полной мере будет проявляться именно в динамических моделях нейронов.
В случае аппаратной (аналоговой) реализации, существует потенциальная возможность обеспечить существенную экономию энергии, расходуемой на поддержание функционирования сети, т.к. основной расход энергии на обмен между нейронами будет осуществляться во время генерации импульсов, тогда как нейроны большую часть времени находятся в состоянии покоя.
Одной из проблем в применении таких моделей нейрона является сложность автоматизации формирования структуры мембраны нейрона и его структуры связей в зависимости от функционального назначения нейрона.