АвтоАвтоматизацияАрхитектураАстрономияАудитБиологияБухгалтерияВоенное делоГенетикаГеографияГеологияГосударствоДомДругоеЖурналистика и СМИИзобретательствоИностранные языкиИнформатикаИскусствоИсторияКомпьютерыКулинарияКультураЛексикологияЛитератураЛогикаМаркетингМатематикаМашиностроениеМедицинаМенеджментМеталлы и СваркаМеханикаМузыкаНаселениеОбразованиеОхрана безопасности жизниОхрана ТрудаПедагогикаПолитикаПравоПриборостроениеПрограммированиеПроизводствоПромышленностьПсихологияРадиоРегилияСвязьСоциологияСпортСтандартизацияСтроительствоТехнологииТорговляТуризмФизикаФизиологияФилософияФинансыХимияХозяйствоЦеннообразованиеЧерчениеЭкологияЭконометрикаЭкономикаЭлектроникаЮриспунденкция

Сети с самоорганизацией на основе конкуренции

Читайте также:
  1. A) облегчает развитие конкуренции и поддерживает дух новаторства
  2. Анализ колебаний эконом.эф-ти на основе модели IS-LM с фиксированными ценами
  3. Анализ колебаний экономической активности на основе модели IS-LM с фиксированными ценами.
  4. Анализ конкурентоспособности организации на основе концепции 5 сил Портера
  5. Анализ макроэк-их результатов фискальной политики на основе кейнсианской модели общего макроэк-го равновесия.
  6. Анализ макроэкономических результатов денежно-кредитной политики на основе кейнсианской модели общего макроэкономического равновесия.
  7. Анализ макроэкономических результатов денежно-кредитной политики на основе кейнсианской модели общего макроэкономического равновесия.
  8. Анализ макроэкономических результатов фискальной политики на основе кейнсианской модели общего макроэкономического равновесия.
  9. Анализ макроэкономических результатов фискальной политики на основе кейнсианской модели общего макроэкономического равновесия.
  10. Анализ результатов воздействия денежно-кредитной политики на реальные и номинальные показатели функционирования национальной экономики на основе кейнсианской модели ОМР
  11. Анализ экономических колебаний на основе модели IS-LM с фиксированными ценами.
  12. Атрибуция на основе анализа документов

Основу самоорганизации нейронных сетей составляет закономерность, что глобальное упорядочение сети становится возможным в результате самоорганизующих операций, независимо друг от друга происходящих в различных локальных сегментах сети [4]. В соответствии с поданными на вход сигналами осуществляется активация нейронов, которые вследствие изменения значений синаптических весов адаптируется к поступающим обучающим выборкам. В процессе обучения наблюдается тенденция к росту значений весов, из-за которой создается своеобразная положительная обратная связь: более мощные возбуждающие импульсы – более высокие значения весов – большая активность нейронов. При этом происходит естественное расслоение нейронов на различные группы. Отдельные нейроны или их группы сотрудничают между собой и активизируются в ответ на возбуждение, создаваемое конкретными обучающими выборками, подавляя своей активностью другие нейроны. При этом можно говорить как о сотрудничестве, так и о конкуренции между нейронами внутри группы и между различными группами.

Среди механизмов самоорганизации можно выделить два основных класса: самоорганизация, основанная на ассоциативном правиле Хебба, и механизм конкуренции между нейронами на базе обобщенного правила Кохонена. Независимо от способов обучения самоорганизующихся сетей важное значение имеет избыточность обучающих данных, без которой обучение просто невозможно. Основу обучения сетей с самоорганизацией составляет конкуренция между нейронами. Как правило, это однослойные сети, в которых каждый нейрон соединен со всеми компонентами N-мерного входного вектора x так, как это схематически изображено для N=2 на рисунке 29.

Рисунок 29 - Структура самоорганизующейся сети Кохонена

Веса синаптических связей нейронов образуют вектор . После нормализации входных векторов при активации сети вектором x в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора. Для нейрона-победителя выполняется отношение

, (62)

где обозначает расстояние (в смысле выбранной метрики) между векторами , а – количество нейронов. Вокруг нейрона-победителя образуется топологическая окрестность с определенной энергетикой, уменьшающейся с течением времени. Нейрон-победитель и все нейроны, лежащие в пределах его окрестности, подвергаются адаптации, в ходе которой их векторы весов изменяются в направлении вектора x по правилу Кохонена [15]:

(63)

для , где – коэффициент обучения нейрона в окрестности в k-й момент времени. Значение уменьшается с увеличением расстояния между нейроном и победителем. Веса нейронов, находящихся за пределами , не изменяются. Размер окрестности и коэффициенты обучения нейронов являются функциями, значения которых уменьшаются с течением времени. Х. Риттер и К. Шультен в [18] доказали, что адаптация по формуле (63) эквивалентна градиентному методу обучения, основанному на минимизации целевой функции

, (64)

а представляет собой функцию определения окрестности, изменяющуюся в процессе обучения. Доказано [14, 15, 18], что при таком способе обучения функция плотности распределения векторов нейронов сводится к дискретизированной плотности распределения вынужденных векторов.

Процесс самоорганизации предполагает определение победителя каждого этапа, т.е. нейрона, вектор весов которого в наименьшей степени отличается от поданного на вход сети вектора x. В этой ситуации важной проблемой становится выбор метрики, в которой будет измеряться расстояние между векторами x и w. Чаще всего в качестве меры расстояния используется эвклидова мера:

d(x, wi) = = (65)

 

При инициализации весов сети случайным способом часть нейронов может оказаться в области пространства, в которой отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Таким образом, входные данные будут интерпретироваться меньшим количеством нейронов (мертвые нейроны не принимают участие в анализе), а погрешность интерпретации данных, иначе называемая погрешностью квантования, увеличится. Поэтому важной проблемой становится активация всех нейронов сети. Такую активацию можно осуществить, если в алгоритме обучения предусмотреть учет количества побед каждого нейрона, а процесс обучения организовать так, чтобы дать шанс победить и менее активным нейронам. Идея такого подхода к обучению возникла при наблюдении за поведением биологических нейронов. Такой способ учета активности нейронов будет называться в дальнейшем механизмом утомления. В другом очень удачном алгоритме обучения количество побед нейрона учитывается при подсчете эффективного расстояния между вектором весов и реализацией обучающего вектора xi. Это расстояние модифицируется пропорционально количеству побед данного нейрона в прошлом. Если обозначить количество побед i -го нейрона Ni, такую модификацию можно представить в виде

. (66)

Активные нейроны с большим значением Ni штрафуются искусственным завышением этого расстояния. Следует обратить внимание, что модификация расстояния производится только при выявлении победителя. В момент уточнения весов учитывается фактическое расстояние. Модификация этой характеристики имеет целью активизировать все нейроны путем введения их в область с большим количеством данных. После решения этой задачи (обычно после двух или трех циклов обучения) модификация прекращается, что позволяет продолжить «честную» конкуренцию нейронов[20].

Целью обучения сети с самоорганизацией на основе конкуренции нейронов считается такое упорядочение нейронов (подбор значений их весов), которое минимизирует значение ожидаемого искажения, оцениваемого погрешностью аппроксимации входного вектора x, значениями весов нейрона-победителя в конкурентной борьбе. При p входных векторах x и применении эвклидовой метрики эта погрешность, называемая также погрешностью квантования, может быть выражена в виде

, (67)

где – это вес нейрона-победителя при предъявлении вектора .

В соответствии с алгоритмом WTA после предъявления вектора x рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом, это равнозначно наименьшему эвклидову расстоянию между входным вектором и вектором весов нейронов. Победитель получает право уточнить свои веса в направлении вектора x согласно правилу

. (68)

Веса остальных нейронов уточнению не подлежат. Алгоритм позволяет учитывать усталость нейронов путем подсчета количества побед каждого из них и поощрять элементы с наименьшей активностью для выравнивания их шансов. Как уже отмечалось ранее, такая модификация применяется чаще всего на начальной стадии обучения с последующим отключением после активизации всех нейронов.

Помимо алгоритмов WTA, в которых в каждой итерации может обучаться только один нейрон, для обучения сетей с самоорганизацией широко применяются алгоритмы типа WTM(англ.: Winner Takes Most – Победитель получает больше), в которых, кроме победителя, уточняют значения своих весов и нейроны из его ближайшего окружения. При этом, чем дальше какой-либо нейрон находится от победителя, тем меньше изменяются его веса. Процесс уточнения вектора весов может быть определен обобщенной зависимостью, которая представляется в виде

(69)

для всех i нейронов, расположенных в окрестностях победителя. В приведенной формуле коэффициент обучения каждого нейрона отделен от его расстояния до предъявленного вектора x функцией . Если определяется в форме

(70)

где обозначает номер победителя, то мы получаем классический алгоритм WTA.

Существует множество вариантов алгоритма WTM, отличающихся прежде всего формой функции . Рассмотрим классический алгоритм Кохонена. Алгоритм Кохонена относится к наиболее старым алгоритмам обучения сетей с самоорганизацией на основе конкуренции, и в настоящее время существуют различные его версии. В классическом алгоритме Кохонена сеть инициализируется путем приписывания нейронам определенных позиций в пространстве и связывания их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но также и веса его соседей, находящихся в ближайшей окрестности. Таким образом, нейрон-победитель подвергается адаптации вместе со своими соседями. В классическом алгоритме Кохонена функция соседства определяется в виде

(71)

В этом выражении может обозначать как эвклидово расстояние между векторами весов нейрона-победителя w и i -го нейрона, так и расстояние, измеряемое количеством нейронов. Коэффициент 1 выступает в роли уровня соседства, его значение уменьшается в процессе обучения до нуля. Соседство такого рода называется прямоугольным.

Другой тип соседства, часто применяемый в картах Кохонена, - это соседство гауссовского типа, при котором функция определяется формулой (72).

(72)

Степень адаптации нейронов-соседей определяется не только эвклидовым расстоянием между i -м нейроном и победителем (w- м нейроном), но также и уровнем соседства λ. В отличие от соседства прямоугольного типа, где каждый нейрон, находящийся в окрестности победителя, адаптировался в равной степени, при соседстве гауссовского типа уровень адаптации отличается и зависит от значения функции Гаусса. Как правило, гауссовское соседство дает лучшие результаты обучения и обеспечивает лучшую организацию сети, чем прямоугольное соседство.

 


1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 |

Поиск по сайту:



Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Студалл.Орг (0.004 сек.)