Деструктор

Форум для предварительного обсуждения тем.
Прежде чем организовать обсуждение в отдельном форуме, полезно убедиться, что четко понимаешь о чем говоришь.
SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Деструктор

Post by SQ » Wed Jul 19, 2006 8:27 pm

Хочу сформировать мысль, которая пришла в голову.

В сети гуляют теории систем управления с обучением посредством наказания или поощрения того или иного действия системы. Поощрение или наказание усиливают или ослабляют связь между двумя некими объектами: например между двумя понятиями (яблоко->фрукт) или мотором и датчиком/рецептором). Постоянное/частое оценивание действий ученика (машины) учителем и выработкой у ученика (машины) положительной или отрицательной "эмоции" приводит (опосредованно через эмоцию) к тому, что "правильная" связь становится очень сильной, а "неправильная" очень слабой (или принимает требуемую "проводимость/силу"). Примерный сценарий такого обучения. Допустим машина сделала предположение что яблоко это овощ (например выбор принадлежности объекта одному из двух классов). Это не правильно, правильно - фрукт. Наказываем машину. Связь между яблоком и овощем чуть ослабла, а между яблоком и фруктом слегка окрепла. Не факт, что на повторный вопрос какому классу принадлежит яблоко, машина даст нужный ответ. С каждым ответом она будет всё чаще "склоняться" к ответу "фрукт" и всё реже к "овощ". Будет плавное изменение связей ("перетекание"). Человек же (если он не полный дебил) обучится с первого же своего ответа/реакции учителя.

Это обучение, что описано выше больше относится к мышечной памяти, обучению новому движению, когда требуется частый повтор одного и того же движения для оттачивания. Эта схема не подходит, когда обучить нужно прямо сейчас и без повтора: типа "купи батон хлеба". Не толдычеть же машине сто раз "купи батон хлеба", чтобы она наконец запомнила требуемое и не купила буханку чёрного. :) Здесь у неё метание между возможными вариантами того, что надо (можно) купить, должно быть исключено с первого же полученного от человека приказа. Она не должна постепенно склоняться к одному варианту больше чем к другим - "аналоговое" представление. Должно быть бинарное представление. (о том, что некоторые участки мозга работают чисто "бинарно" недавно что-то всплывало в СМИ)

Так вот моя мысля о том, что должен быть механизм одномоментного (с единичного обучения) исключения неверного варианта. Сказали машине, что её предположение "яблоко это овощ" неверно, то всё, исключили его разом. А раз оно исключено, то никакого метания, перетекания между вариантами у машины не будет (как и у человека). Как это может быть сделано. Допустим, что к семантической паре "яблоко-овощ" добавляем объект деструктор, получаем группу "яблоко-овощ-деструктор". Во первых, группа, помеченная деструктором сразу же исключается из рассмотрения. Во вторых, если группа активизируется (не сама) через некоторое время, то деструктор автоматически её блокирует. Например, ребёнку запретили что-то брать со стола, через некоторое время "запрет" как бы ослабевает, ребёнок тянет руку к предмету, но тут же осекается, вспомнив о запрете. Эксперимент не умозрительный, когда-то показывали в какой-то передаче, правда они изучали другие процессы. Дополнительно, следует из этого реального опыта, деструктор может быть связан с памятью о том кто или зачем его создали (ребёнок вспоминает, почему нельзя брать предмет - мать запретила), и это воспоминание активируется при активации деструктора. Третье, возможно (но нужно ли?) деструктор при активации (а активация деструктора происходит при активации всей группы) разрывает (постепенно) связи между объектами группы, уничтожает группу. Плохие воспоминания мозг уничтожает, были такие эксперименты.

Кто, что думает? Есть ли польза применительно к построению ИИ :)?

Dmitry_Milk
Posts: 396
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Thu Jul 20, 2006 8:15 am

Где то я читал такие нейрофизиологические предположения:

Более древний механизм формирования новых знаний - именно такой, через многократное повторение. У высших млекопитающих такой механизм используется на вегетативных, неинструментальных рефлексах (типа слюны у павловских собак).

Эволюционно более поздний механизм считается связанным с появлением гиппокампа - эдакого специального "резонатора возбуждения", работающего совместно с эмоциональными центрами. У высших млекопитающих на нем работают инструментальные рефлексы (нажми на педаль или сделай еще что-то хитро-сложное, если хочешь получить конфетку), которые могут выработаться даже за одно-два повторения.

И это понятно - ситуации, когда животное случайно делает правильную последовательность, возникают при произовльном переборе действий достаточно редко, и если не будет этого специального механизма, то шансы, что животное случайно выполнит правильную последовательность несколько десятков раз, практически равны нулю.

Также еще читал где-то очень интересное (и вроде спорное предположение) по поводу различия и взаимодействия этих механизмов памяти.
Всеобще признанным является, что если у человека поврежден или не функционирует гиппокамп, то он психически нормален, нормально полуьзуется уже имеющимися знаниями, языком, но не может запомнить ничего нового, например, лицо своего лечащего врача. А вот интересное предположение заключается в том, что несмотря на неработоспособность гиппокампа такой человек все же может формировать новые знания, но только путем многократного повторения. В частности, чтоб запомнить лицо своего лечащего врача, ему его надо увидеть несколько десятков раз.

То есть, как будто старый механизм памяти работает всегда, и новый механизм памяти включает его как часть, другая часть - гиппокамп-резонатор, который искусственно вызывает повторение ситуации "прямо внутри головы". Если он не работает - новые знания можно выработать только внешним повторением.

SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Thu Jul 20, 2006 8:56 am

Мда.. очень интересно. Гиппокамп получается "намертво прошивает" правильные связи. И он действительно в таком случае должен активироваться эмоциональным центром. Действие вызывает эмоцию, эмоция активирует гиппокамп, гиппокамп фиксирует связи, правильное движение запоминается. Могу предположить, что гиппокамп тогда должен делать серию мощных залпов. А эмоции нужны для оценки результата собственных действий.

Возник у меня такой вопрос: а может гиппокамп не зафиксировать найденное правильное решение, а наоборот уничтожить неверное ошибочное? Иногда требуется не только найти и совершить правильное действие, но и не совершить неправильное. Причём тут должно быть не просто уничтожение связей (как я предполагал в первом посте), а нечто другое. Например, животное должно помнить к чему может привести допустим приближение к чужой норе. Участвует ли гиппокам в формировании памяти о результате действия?

Хмур
Posts: 2552
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu Jul 20, 2006 9:28 am

Ну не хуху себе вопросы.. :) !

Помнится еще NO заметил, что что 2 пальца в розетку сувать не след чел запоминает с первого раза.. :)

Однако, при сильном уровне эмоциональной реакции (уровне мотивации) цикл обучения сильно сокращается и у животных.
Кажется, что здесь разница с чел не принципиальна: у чел порог фиксации ассоциации более низок. Но это непринципи-
альное различие в механике обучения привело к принципиальным следствиям (в способах обучения etc).

Вообще-то, гиппокампальные процессы след рассматривать специально при рассуждениях о памяти: Нр это и лимбическая
структура, и структура морфологически подобная кортексу: собственные ритмы сканирования (тета), многослойность,
колончатая организация, самый низкий порог из всех (!) мозговых структур возбуждения эпилемтиоморфной аактивности,
специфичные поля нейронов новизны и тождества (СА3 и СА1) и проч.

SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Thu Jul 20, 2006 10:00 am

Ну так правильно ли, что именно гиппокамп позволяет животному/чел запоминать с первого раза?

Хмур
Posts: 2552
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu Jul 20, 2006 11:01 am

Так считать было бы не совсем верно каж. Нужно (а) учесть его связи с напр. дорсальным таламусом и
(б) рассмотреть механизмы памяти с участием (пре)фронтальных полей.

SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Thu Jul 20, 2006 12:46 pm

Хмур wrote:Так считать было бы не совсем верно каж. Нужно (а) учесть его связи с напр. дорсальным таламусом и
(б) рассмотреть механизмы памяти с участием (пре)фронтальных полей.
А что дают связи с таламусом?

Дополнительный вопрос. Из всего что в данный момент активно (например, разные движения) как выбирается что именно должно быть закреплено?

Dmitry_Milk
Posts: 396
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Thu Jul 20, 2006 1:33 pm

SQ wrote:Мда.. очень интересно. Гиппокамп получается "намертво прошивает" правильные связи.
...
а может гиппокамп не зафиксировать найденное правильное решение, а наоборот уничтожить неверное ошибочное? Иногда требуется не только найти и совершить правильное действие, но и не совершить неправильное.
Не знаю, как на самом деле, я склонен считать, что эмоциональная регулировка носит U-образный характер, то есть, связи хорошо запоминаются при сильно положительных и при сильно отрицательных эмоциях.

Интегрально схема видится примерно так:
Есть мотивационный центр - некая область, возбуждение которой регулируется только гуморально или другими внешними причинами, но не может регулироваться нервными связями. Мотивационный центр проецирует возбуждающие связи на моторные области. Это приводит к каким либо действиям. В результате действий причина возбуждения мотивационного центра устраняется (избегание боли, утоление голода), либо не устраняется или еще больше увеличивается. Существенное ослабление возбуждения мотивационного центра вызывает положительную эмоцию/удовольствие, усиление возбуждения мотивационного центра - отрицательную/неудовольствие. Если результаты одного или нескольких действий привели либо к сильному удовольствию, либо к сильному неудовольствию - в обоих случаях запоминается связь цепочки действий с соответствующими эмоциональными центрами. Центры положительных эмоций проецируют возбуждающие связи на моторные области, центры отрицательных - тормозящие связи на моторные области. В последствии, при возбуждении мотивационного центра из всего набора возможных действий приоритет будут получать те цепочки действий, которые в прошлом привели к удовольствию, а цепочки действий, приведшие к неудовольствию - наоборот будут подтормаживаться.

Хмур
Posts: 2552
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu Jul 20, 2006 2:35 pm

А таламические ядра и определяют во многом что и как мы увидим, скажем. Т.е. что с чем бум сочетать.

SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Thu Jul 20, 2006 5:45 pm

Хотел бы разобрать всё по полкам.

1. Есть мотивационный центр. На_него сигнал (возбуждение) идёт с рецепторов. С_него сигнал идёт на моторные центры, отвечающие за разные движения.
2. Есть центр/ы положительной эмоции. Он возбуждается при ослаблении возбуждения мотивационного центра.
3. Есть центр/ы отрицательной эмоции. Он возбуждается при усилении возбуждения мотивационного центра.

Следствие: само собой должны существовать связи между мотивационным центром и центрами эмоций.

4. От центра положительной эмоции идут возбуждающие связи на моторные центры.
5. От центра отрицательной эмоции идут тормозящие связи на моторные центры.

// Получается, что на моторные зоны идут возбуждающие связи от мотивационного и положительного эмоционального центра и тормозящие связи только от отрицательного эмоционального центра.

Проверка. Допустим организм движется в сторону сонцепёка, ему становится всё жарче, мотивационный центр соответственно, всё более возбуждается. Следовательно, возбуждается и центр отрицательной эмоции и он тормозит движение. Вроде бы работает.
----------
Обычно к эмоциональному всплеску приводит длинная цепочка "нейтральных" действий, не вызывающих каких-либо эмоций (или очень слабых). Эта схема слишком проста для этого (либо её надо чем-то ещё дополнить). Для цепочки она явно не годится. На ней можно организовать систему реакций на простые действия, вызывающие эмоции сразу же и причём сильные эмоции. Процесс запоминания активируется сильной эмоцией, а откуда "ей" знать какое прошлое действие нужно скорректировать/запомнить?

Dmitry_Milk
Posts: 396
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Thu Jul 20, 2006 7:55 pm

SQ wrote: 1. Есть мотивационный центр. На_него сигнал (возбуждение) идёт с рецепторов.
Поправка-замечание: не рецепторы органов чувств.
Мотивационный центр удобнее рассматривать, как состоящий из двух частей, двух центров, действующих реципрокно (взаимотормозяще, типа двух половинок RS-триггера). У некоторых из них удобнее рассматривать, что непосредственно рецепторы действуют на одну половину, а другая - собственно мотивационная. Например, центр голода: одна половинка - рецепторы уровня глюкозы в крови, вторая - мотивационная. Глюкозы в крови достаточно - мотивационная половинка тормозится. Уровень глюкозы падает - мотивационная растормаживается.

SQ wrote: Обычно к эмоциональному всплеску приводит длинная цепочка "нейтральных" действий, не вызывающих каких-либо эмоций (или очень слабых). Эта схема слишком проста для этого (либо её надо чем-то ещё дополнить). Для цепочки она явно не годится. На ней можно организовать систему реакций на простые действия, вызывающие эмоции сразу же и причём сильные эмоции. Процесс запоминания активируется сильной эмоцией, а откуда "ей" знать какое прошлое действие нужно скорректировать/запомнить?
Согласен, здесь - слабое место. Нормальную схему пока построить не получается. Сдругой стороны, в подтверждение этого можно расссматривать тот факт, что человек легко вспоминает нейтральные события,произошедшие в тот день, когда было сильное положительное или отрицательное эмоциональное состояние, независимо от того, явилось ли данное событие причиной, или просто так случилось попутно.

SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Fri Jul 21, 2006 9:51 am

Dmitry_Milk wrote:Мотивационный центр удобнее рассматривать, как состоящий из двух частей, двух центров...
...непосредственно рецепторы действуют на одну половину, а другая - собственно мотивационная.
Например, центр голода: одна половинка - рецепторы уровня глюкозы в крови, вторая - мотивационная. Глюкозы в крови достаточно - мотивационная половинка тормозится. Уровень глюкозы падает - мотивационная растормаживается.
Попробуем описать парой простейших формул:
PR = R - Kpm*PM;
PM = N - Kpr*PR;
, где
PR - уровень возбуждения рецепторной половины (р.п.)
PM - уровень возбуждения мотивационной половины (м.п.)
Kpm - коэффициент обратной связи от м.п. на р.п.
Kpr - коэффициент обратной связи от р.п. на м.п.
N - уровень некого исходного возбуждения мотивационной половины.

Схема получается несимметричная, на рецепторную половину приходит извне возбуждение, а на мотивационную - нет. Но тогда мотивационная либо должна сама пытаться поддерживать своё возбуждение, либо получать его также по какому-то каналу извне. Иначе она будет всегда в заторможенном состоянии (так как N = 0)

Вопрос: зачем такое разделение, только для того, чтобы съинвертировать сигнал от рецепторов (возбуждение от рецепторов есть - мотивации нет)?
Dmitry_Milk wrote: Согласен, здесь - слабое место. Нормальную схему пока построить не получается. Сдругой стороны, в подтверждение этого можно расссматривать тот факт, что человек легко вспоминает нейтральные события,произошедшие в тот день, когда было сильное положительное или отрицательное эмоциональное состояние, независимо от того, явилось ли данное событие причиной, или просто так случилось попутно.
Думаю, эту схему менять не надо, её надо дополнить/надстроить. Допустим, ближайшие прошлые действия организма запоминаются в некой краткосрочной памяти. Когда происходит эмоциональный всплеск (добились результата или испортили ещё хуже), то фиксируется всё что в этот момент лежало в буфере.
Недавно читал, что, если обезьяна добилась нужного результата, то её мозг запоминает все недавние совершённые действия досконально. Когда эксперимент немного меняется и некоторые действия уже не надо совершать, обезьяна всё равно тупо как ритуал совершает всё по старому. Переучить её можно только, если условия поменять кардинально, чтобы ситуация мозгом не распозналась как ранее известная.

Dmitry_Milk
Posts: 396
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Fri Jul 21, 2006 11:18 am

SQ wrote: Вопрос: зачем такое разделение, только для того, чтобы съинвертировать сигнал от рецепторов (возбуждение от рецепторов есть - мотивации нет)?
Наверное действительно, если мы не пытаемся скопировать один к одному у природы, а просто хотим использовать такие принципы для построения искусственных систем, то нет смысла делить, а просто использовать либо прямые, либо инвертированные по необходимости. Но в нейрофизиологической литературе мотивационные центры обычно упоминаются реципрокными парами. Возможно природа использует это в качестве "усилителя" (если учесть возможность пейсмейкерной активности половинок в качестве "питания усилителя", то есть исходно N>0, R>0).
SQ wrote: Думаю, эту схему менять не надо, её надо дополнить/надстроить. Допустим, ближайшие прошлые действия организма запоминаются в некой краткосрочной памяти. Когда происходит эмоциональный всплеск (добились результата или испортили ещё хуже), то фиксируется всё что в этот момент лежало в буфере.
Недавно читал, что, если обезьяна добилась нужного результата, то её мозг запоминает все недавние совершённые действия досконально. Когда эксперимент немного меняется и некоторые действия уже не надо совершать, обезьяна всё равно тупо как ритуал совершает всё по старому. Переучить её можно только, если условия поменять кардинально, чтобы ситуация мозгом не распозналась как ранее известная.
А уж сколько таких ритуалов и прочего шаманства у людей! (Когда-то кто-то постучал в тамтамы, а после этого пошел долгожданный дождь, теперь они всегда бьют в тамтамы, чтоб вызвать дождь) :lol:
А если серьезно, то у меня на тему этой самой краткосрочной памяти есть такие умозрительные построения, касающиеся нейробиологии, а именно синаптической модификации, я их уже неоднократно излагал:
при совпадении пре- и постсинаптической активности возникает врЕменное усиление связи, которое затем (несколько часов) спадает к исходному уровню, если не было эмоционального подкрепления. При наличии же эмоционального подкрепления спад уже не достигает исходного уровня, и связи, которые усиливались временно, сохраняют это усиление навсегда.

Правда здесь никак не учитываются гиппокампальные эффекты. Может быть, для учета гиппокампальных эффектов можно это модифицировать таким образом - кортикальные синапсы "жесткие", усиливаются только при многократном совпадении пре- и пост- независимо от эмоционального подкрепления, никогда не ослабляются; гиппокампальные синапсы - "мягкие", усиливаются очень быстро при пре-/пост- совпадении, со временем ослабляются к исходному уровню, причем время ослабления зависит от эмоционального подкрепления. Тогда действительно, если учитывать петли кортекс-гиппокамп-кортекс, то гиппокамп действительно выступает как управляемый ревербератор возбуждения, продляющий реверберацию в случае сильных эмоций. Ну а для того, чтоб кортекс, работающий только в сторону усиления связей, не ушел в постоянное возбуждение - диффузная регуляция его активности с помощью центров неспецифической активации в ретикулярной формации и таламусе.

Хех, давно надо это реализовать "в коде", только уже полгода ни за что не берусь - дал себе обещание почитать дополнительного материала и понабрать дополнительных мыслей, прежде чем "ваять", может и не зря... 8)

Хмур
Posts: 2552
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Sat Jul 22, 2006 1:48 am

SQ>

Из такой модели следует PR(t)=(R(t)-KmN)/(1-KmKr)<>f(PM(t)) что неудовлетворительно. PR'=K1R'[-K2N'].

Такого класса моделей пруд пруди в литературе. Проблема в представлении механизмов памяти,
рекомбинационной и рекомпозиционной активности памяти, в представлении структуры памяти etc.

Элементы базовой нейрокибернетики общеизвестны: лимбическая система (упрощенно - мотивирующая)
направляет импульсные потоки через септум и амигдалу в сенсорную кору, предактивируя ее (фор-
мируются сенсорные рецептивные поверхности). Активирующее влияние ретикулярной формации (соче-
тание с лимбич. потоками) запускает cептальный тета-ритм как ориентировочную реакцию, который распростра-
няется через гиппокамп Нр на кору. Поле СА1-Нр суть буфер (накопитель) знакомых, ожидаемых собы-
тий; на новое 'резонирует' поле СА3, тормозя ретикулярн. ф. и тем самым перестраивая корковые
ассоциативные процессы (при этом в коре появляется бета-ритм, отражающий эмоциональную напряжен-
ность при переходе от поиска в памяти (сканирования памяти) к оперативной активности в рабочей
памяти как реакции на новое). По мере угасания СА3-активности ретикулярн.ф. растормаживается и
возобнавляется мнемическая активность (циркуляция кора-Нр-Сd-RF при реализации энграмм). Вцелом
это выглядит как обновление состояния лимбики (мотивационно-ассоциативный циклопроцессинг).

Это крайне упрощенно. (Напр. роль ядер амигдалярного комплекса - селекция энграмм по вероятности
реализации в текущих условиях, и как это делается - особь статья, + связка Нр-Th, дифференциро-
ваное представление о корковых полях etc etc.) Но мне важно здесь и сейчас упомянуть вот о чем:

у человека из-за повышенного ассоциативного потенциала третичных зон неокортекса по ср. c живот-
ными появляется как бы дополнительная группа степеней свободы в описанном процессе ремодуляции
лимбики, свободные потоки, метаактивность. Это качество ассоциативной памяти-процессора еще очень
плохо отражается в известных нейрокибмоделях типа приведенной выше.

SQ
Posts: 418
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Sat Jul 22, 2006 8:41 am

Dmitry_Milk wrote:нет смысла делить
Мотивационная половина может быть заторможена чем-то ещё кроме рецепторной половины?
Dmitry_Milk wrote:если учесть возможность пейсмейкерной активности половинок в качестве "питания усилителя",
А что это за активность?
Dmitry_Milk wrote: А уж сколько таких ритуалов и прочего шаманства у людей! (Когда-то кто-то постучал в тамтамы, а после этого пошел долгожданный дождь, теперь они всегда бьют в тамтамы, чтоб вызвать дождь) :lol:
Думаю это другой процесс, осознаваемый. Построение логической цепочки, когда решение что связать и с чем принимается сознательно.
Dmitry_Milk wrote: при совпадении пре- и постсинаптической активности возникает врЕменное усиление связи, которое затем (несколько часов) спадает к исходному уровню, если не было эмоционального подкрепления. При наличии же эмоционального подкрепления спад уже не достигает исходного уровня, и связи, которые усиливались временно, сохраняют это усиление навсегда.
Разумно.
Dmitry_Milk wrote: диффузная регуляция его активности с помощью центров неспецифической активации в ретикулярной формации и таламусе.
Как бы всё это в программную модель загнать? :)
Dmitry_Milk wrote: Хех, давно надо это реализовать "в коде", только уже полгода ни за что не берусь - дал себе обещание почитать дополнительного материала и понабрать дополнительных мыслей, прежде чем "ваять", может и не зря... 8)
Проходили это, чужые мысли забивают свои проблески. Я сделал вчера набросок программы, эмулирующей то, о чём тут говорим. Мотивация - объекту хорошо рядом с курсором мышки. Мотивационный центр работает как генератор шума, активируя 4 возможных направления движения. При этом если возникает положительная эмоция (как описано в постах выше), то текущие активные движения фиксируются на некоторое время. При этом они исключаются из зоны действия мотивационного центра - сужается область поиска нужного движения. При появлении отрицательной эмоции активные движения тормозятся на некоторое время и также исключаются из зоны поиска. Примитив, но похоже на процессы в "кролик дышит лапой". На бумаге просчитал несколько фаз, работает, нодо в живую проверить. Важно - регуляция силы связей не происходит, только временное фиксирвоание, так как "организм" владаеет только входным сигналом - далеко/близко.

Locked

Who is online

Users browsing this forum: No registered users and 2 guests