Обсуждение "On Intelligence"

Форум для предварительного обсуждения тем.
Прежде чем организовать обсуждение в отдельном форуме, полезно убедиться, что четко понимаешь о чем говоришь.
Locked
SQ
Posts: 107
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Tue Sep 12, 2006 4:56 pm

Комбинатор wrote:Что-то я не вьезжаю...
Я же, кажется, русским языком сказал, что количество точек квантования у меня, как и у Хокинса, ограничено. В данном случае, например, сотней.
У Хокинса.
Чтобы увидеть, как это происходит, давайте начнем с того, что вообразим один узел внизу иерархии, узел, смотрящий на маленькую часть визуального поля. Если этот узел смотрел бы на кусочек изображения 10x10 (100 двоичных пикселей), количество возможных паттернов, которое он мог бы увидеть, составляет 2 в 100й степени, это очень большое число. Даже если узел видел только крошечную долю возможных паттернов, он не смог бы хранить каждый паттерн, который он предположительно видел бы за свою жизнь. Вместо этого, узел хранит ограниченное, фиксированное число паттернов, скажем 50 или 100. Эти сохраненные паттерны являются точками квантования. Вы можете рассматривать точки квантования как наиболее общие паттерны из тех, что узел видел за время обучения. Дальнейшее обучение не может увеличить число точек квантования, но оно может изменить сами точки.

Для того чтобы узел сам получил эти квантовые точки, вы предлагаете брать входной паттерн и делать его точкой (вы назвали её классом). Потом брать следующий входной паттерн и смотреть - отличается ли он от существующего класса/квантовой_точки? Если отличается, то делать из него следующий класс. Если нет, то "прибавить" к существующему классу.
Ответьте, я правильно понял вас?

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Tue Sep 12, 2006 5:05 pm

Кстати, вот что подумалось. Почему при передвижении точек квантования никак не учитывается то, что для системы может быть важным очень тонко различать паттерны в одних областях и совершенно ненужно различать в других областях фазового пространства? ведь в данном случае точки квантования должны располагаться плотнее именно в важных областях. Как вообще могла бы учитываться "важность"? Может быть, тут было бы очень неплохо привязать механизм эмоций и мотиваций?

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Tue Sep 12, 2006 5:13 pm

SQ wrote:Для того чтобы узел сам получил эти квантовые точки, вы предлагаете брать входной паттерн и делать его точкой (вы назвали её классом). Потом брать следующий входной паттерн и смотреть - отличается ли он от существующего класса/квантовой_точки? Если отличается, то делать из него следующий класс. Если нет, то "прибавить" к существующему классу.
Ответьте, я правильно понял вас?
Отвечу за Комбинатора :) Вы невнимательно прочли его пост на предыдущей странице. То, что вы только что написали - это только пока не заполнились все точки квантования. То есть, если точек квантования 100 штук, то этот процесс практически только на 100 первых выборок. Дальше уже идет другой процесс. Для каждого нового паттерна теперь уже ищется, к какому классу его отнести, и соответственно, модифицируется точка квантования данного класса. Причем, чем больше паттернов уже успели попасть в данный класс, тем "труднее" модифицируется его точка квантования.

SQ
Posts: 107
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Tue Sep 12, 2006 5:19 pm

Правильный вопрос, Dmitry_Milk!
Пока читал эти статьи, где-то отметил его себе на корочке ( :) ). Эскимосы, как многим известно, различают несколько десятков оттенков снега. Значит эти точки (если они вообще есть) не сливаются.

Коллерирующий вопрос возник. А с какого перепугу узел считает что причина изменилась? Кто ему говорит, что ситуация поменялась? Ведь для узла входная информация не несёт какой-либо специфики.

Кто-то сверху должен оценивать работу узла, корректировать по обратной связи его выбор того или иного узла. То что в коре обратных связей больше чем прямых Хокинс все уши прожужал, но в своей HTM использует только прямые. Это "идиотизм" отметать самую суть коры, или ловкий ход отвечь читателей от этой мысли во второй его статье?

SQ
Posts: 107
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Tue Sep 12, 2006 5:27 pm

Dmitry_Milk wrote: Отвечу за Комбинатора :) Вы невнимательно прочли его пост на предыдущей странице. То, что вы только что написали - это только пока не заполнились все точки квантования. То есть, если точек квантования 100 штук, то этот процесс практически только на 100 первых выборок. Дальше уже идет другой процесс. Для каждого нового паттерна теперь уже ищется, к какому классу его отнести, и соответственно, модифицируется точка квантования данного класса. Причем, чем больше паттернов уже успели попасть в данный класс, тем "труднее" модифицируется его точка квантования.
Хе-хе :? Вы лучше разъясняете. Теперь понятно. Но это же намного хуже заранее рапределённых по всему пространству точек. 8) Если бы первые выборки содержали в себе характерные значения входного сигнала, то фокус прошёл бы, но в реальных условиях на реальных сигналах вероятнее всего получить какую-либо помеху при включении. Поди потом выправь эту однобокость в распределении квантовых точках от первого запуска.

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Tue Sep 12, 2006 5:42 pm

SQ wrote:Если бы первые выборки содержали в себе характерные значения входного сигнала, то фокус прошёл бы, но в реальных условиях на реальных сигналах вероятнее всего получить какую-либо помеху при включении. Поди потом выправь эту однобокость в распределении квантовых точках от первого запуска.
Угу, согласен. Но тут же вопрос, "а когда надо считать, что на входе появилась новая выборка"? Не взаимосязано ли это с вашим вопросом
А с какого перепугу узел считает что причина изменилась? Кто ему говорит, что ситуация поменялась? Ведь для узла входная информация не несёт какой-либо специфики
SQ wrote:То что в коре обратных связей больше чем прямых Хокинс все уши прожужал, но в своей HTM использует только прямые.
Согласен, темнит он что-то в концепциях. Мож у него не получается то, что он изначально хотел, но не хочет потерять бабки?

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Tue Sep 12, 2006 5:45 pm

Dmitry_Milk wrote:Кстати, вот что подумалось. Почему при передвижении точек квантования никак не учитывается то, что для системы может быть важным очень тонко различать паттерны в одних областях и совершенно ненужно различать в других областях фазового пространства? ведь в данном случае точки квантования должны располагаться плотнее именно в важных областях. Как вообще могла бы учитываться "важность"? Может быть, тут было бы очень неплохо привязать механизм эмоций и мотиваций?
Согласен.
На верхних уровнях ВИП могут учитываться и сигналы, приходящие из блока эмоций. В случае достаточно сильных эмоциональных сигналов активизируется описанный Хокинсом механизм внимания, и к нижним урованям идёт сигнал обратной связи, заставляющий их придавать больший вес активным в текущий момент точкам квантования, что может приводить к их расщеплению за счёт объединения точек квантования, отстоящих наиболее далеко от активных в настоящее время (что бы общее число точек квантования оставалось неизменным). Если это будет происходить многократно, то те области фазового пространства, которые были наиболее часто возбуждены в момент сильных эмоциональных сигналов, по идее, должны быть заполнены более плотно, чем те, которые возбуждались преимущественно при нейтральном эмоциональном фоне.
Может быть, в частности, именно поэтому мы, как правило, лучше (в деталях) запоминаем события, вызвавшие у нас сильные эмоции, чем "серые будни"?
Last edited by Комбинатор on Tue Sep 12, 2006 5:53 pm, edited 1 time in total.

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Tue Sep 12, 2006 5:52 pm

SQ wrote: Если бы первые выборки содержали в себе характерные значения входного сигнала, то фокус прошёл бы, но в реальных условиях на реальных сигналах вероятнее всего получить какую-либо помеху при включении. Поди потом выправь эту однобокость в распределении квантовых точках от первого запуска.
В моём случае (распознавание статических изображений) первый сигнал в потоке ничем не отличается от остальных.
А в общем случае, если действительно сразу же после включения идут какие-то переходные процессы можно и подождать, пока поток устаканится. Это в любом случае будет полезно, каким бы методом назначения перичных точек квантования вы не пользовались. :wink:

SQ
Posts: 107
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Tue Sep 12, 2006 5:56 pm

А что если так: если узел (не Хокинский) успешно предсказывает последовательность входных паттернов, то считается что причина не изменяется.

У Хокинса есть пример с картинками про двигающуюся вертикальную линию. Паттерны разные (4 штуки), но причина "линия" остаётся прежней. Вот тот кто сможет написать программу, которая отнесёт все эти 4-ре паттерна к одной причине, можно сказать создал по крайней мере половину того, что описывал Хокинс в своей HTM.

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Tue Sep 12, 2006 11:31 pm

Слава> //Долой морфологию-физиологию!
Хмур> ..паук
С.> //бионический научпоп!

Ээ, нет! Это weakly cоnnected ANN (того же Хопенштадта). Как пример - слабосвязанные динами-
ческие системы в виде малой сети двухтранзисторных нейронов, управляющей ногами робонасекомого.
Классика. Сеть синхронизировалась в зависимости от режима передвижения (отбор аттракторной моды).
Некоторые режимы соответствовали весьма проворной и правильной локомоции.

В контексте символически-ориентированного ИИ динамический хаос тож небесперспективен в смысле
возможного выхода из известных тупиков, например в виде запоминания образа в виде цикла динами-
ческой системы с попиксельным шагом или запись слова (побуквенно) на итерационном цикле одномер-
ного отображения.. Рассматривая сеть взаимосвязанных отображений ее хаотический режим можно свя-
зать с поисковым (стохастическое сканирование памяти) или квазихаотический с когнитивным (ассоци-
ативным).

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Wed Sep 13, 2006 10:01 am

SQ wrote:Эскимосы, как многим известно, различают несколько десятков оттенков снега. Значит эти точки (если они вообще есть) не сливаются.
btw, вроде как у Пинкера в "Язык как инстинкт", написано, что это общее заблуждение, один из мифов, полученных в результате постепенного преукрашивания цифр, фигурирующих в первоначальном исследовании
(ну, это так, не по существу)
"Кто знает, тот делает, кто не знает, тот учит"

Бугульдей
Posts: 172
Joined: Sun Aug 13, 2006 2:29 am
Location: Цыган
Contact:

Post by Бугульдей » Sun Sep 17, 2006 3:35 pm

Википедия о книге Хокинса `On Intelligence': http://en.wikipedia.org/wiki/On_Intelligence

Includes many Reviews and Related links.
Меня прот, меня прот, потому как гололёт, потому как снег идёт, меня проот
Голубая Луна - Голубая!

SQ
Posts: 107
Joined: Fri Jun 23, 2006 4:42 pm

Post by SQ » Sun Oct 08, 2006 9:47 am

Ну что?.. Аминь?

Balor
Posts: 3
Joined: Sat Oct 14, 2006 11:50 pm
Location: Тверь.

Post by Balor » Sun Oct 15, 2006 12:05 am

Прошу прощения что со свиным рылом - да в калашный ряд, но вот ТУТ не были? Это страничка Дилепа, главного имплементатора идей Хокинса, как я понял.

В особенности интересно еще ЭТО (ссылка с той страницы).
И еще даже новая работа появилась:
Belief Propagation and Wiring Length Optimization as Organizing Principles for Cortical Microcircuits.
Куча формул, наверно может оказаться полезным.

Сам я в этих вопросах в общем-то профан, но прочтение On Intellligence просто перевернуло мое представление о процессе мышления и AI.
Теперь, злобно потирая ручки, с нетерпением жду сингулярности.
We'll be living in interesting times :).
Sapienti Sat.

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Sun Oct 15, 2006 2:03 pm

Balor wrote:Прошу прощения что со свиным рылом - да в калашный ряд, но вот ТУТ не были? Это страничка Дилепа, главного имплементатора идей Хокинса, как я понял.
Огромное спасибо!
Balor wrote: Сам я в этих вопросах в общем-то профан, но прочтение On Intellligence просто перевернуло мое представление о процессе мышления и AI.
Теперь, злобно потирая ручки, с нетерпением жду сингулярности.
We'll be living in interesting times :).
Ага. :)
Кстати, по тех. сингулярности здесь есть специальная ветка:
http://www.forum.aicommunity.org/viewto ... 41&start=0

Locked

Who is online

Users browsing this forum: No registered users and 3 guests