Модель искусственного нейрона

Искусственные нейронные сети являются попыткой имитировать процессы происходящие в мозге. Состоят они, по аналогии с биологическими нейронными сетями, из искусственных нейронов, которые являются математической моделью биологических нейронов.

В биологическом нейроне выделяют три области: дендриты, аксон и тело клетки (сома) ¹. Такое деление появилось достаточно давно, например в 1865 году Отто Дайтерс (Otto Deiters) отмечал в своих работах наличие аксонов ². Также часто отдельно выделяют аксонные окончания (терминали), которые соединяются с соседними нейронами в синапсах.

Работает нейрон по принципу «всё или ничего»: нейрон дает либо максимальный ответ, если его раздражение превышает пороговое значение, либо ничего, даже если раздражение близко к пороговому значению. В 1871 году Генри Боудич (Henry Pickering Bowditch) описал этот принцип для сердечной мышцы ³. А в 1902 году Френсис Готч (Francis Gotch) пришел к выводу о применении этого принципа к нервной ткани ⁴. Позже Эдгар Эдриан (Edgar Adrian) предоставил экспериментальные доказательства этому принципу и в 1932 году был удостоен нобелевской премии ⁵.

В 1892 году Рамон-и-Кахаль (Ramón y Cajal) постулировал закон динамической поляризации ⁶: нервные импульсы распространяются обычно в одном направлении — по дендритам к телу нейрона, а от него — по аксону ⁷. Так же было известно, что синапсы, передающие возбуждение от одной клетки к другой, бывают как возбуждающие, которые вызывают возбуждение постсинаптической клетки, так и тормозные, которые вызывают торможение постсинаптической клетки. Подобное деление рассматривал в своей работе 1906 года Чарльз Шеррингтон (Charles Sherrington) ⁸.

Итак, к этому моменту получается следующая модель нейрона:

• есть несколько входов и только один выход,
• на выходе возможны только два значения: нулевое и не нулевое,
• импульс на входе может как возбуждать нейрон, так и тормозить его,
• есть некий порог, и только если возбуждение нейрона превышает этот порог, то на выходе будет значение отличное от нуля.

И примерно такую модель построили Уоррен Мак-Каллок (Warren Sturgis McCulloch) и Уолтер Питтс (Walter Pitts) в 1943 году ⁹. Они рассматривали модель, в которой

• состояние нейрона меняется во времени,
• основные задержки приходятся на передачу импульса от нейрона к нейрону,
• раздражение любого тормозного синапса полностью предотвращает возбуждение нейрона,
• структура сети не меняется во времени.

Рассмотрим нейрон этой модели в какой-то из моментов времени. Пусть у него \(n \in \mathbb{Z}^+\) возбуждающих синапсов \(x_i \in \{0, 1\},; 1 \le i \le n\) и пусть \(m \in \mathbb{N}_0\) тормозящих синапсов \(y_j \in \{0, 1\},; 1 \le j \le m,\) порог возбуждения \(b \in \mathbb{Z}^+\). Тогда его ответ равен

\[ z(x, y) = \theta\bigg({-b} + \sum_{i=1}^n x_i\bigg) \cdot \prod_{j=1}^m \big(1 - y_j\big), \]

где \(\theta\) — функция Хевисайда

\[ \theta(x) = \begin{cases} 0, & x < 0; \\ 1, & x \ge 0. \end{cases} \]

В этой же работе допускается, что несколько синапсов одного нейрона могут быть соединены с одним другим нейроном. Это означает, что несколько возбуждающих синапсов могут быть заменены на один, который имеет некий натуральный коэффициент усиления раздражения. Так же абсолютное торможение может быть заменено на относительное торможение, которое вместо полного предотвращения возбуждения значительно повышает порог возбуждения:

\[ z(x, y) = \theta\bigg({-b} + \sum_{i=1}^n w_i^{(x)} x_i - \sum_{j=1}^m w_j^{(y)} y_j\bigg), \]

где \(w_i^{(x)} \in \mathbb{Z}^+,, w_j^{(y)} \in \mathbb{Z}^+\).

Так мы пришли к современной модели искусственного нейрона:

\[ z(x) = \theta\bigg({-b} + \sum_{i=1}^n w_i x_i\bigg), \]

где \(x \in \mathbb{R}^n,;\) \(b \in \mathbb{R},;\) \(w \in \mathbb{R}^n,;\) \(\theta\) — нелинейная монотонная функция.