Обсуждение "On Intelligence"

Форум для предварительного обсуждения тем.
Прежде чем организовать обсуждение в отдельном форуме, полезно убедиться, что четко понимаешь о чем говоришь.
Locked
Slava
Posts: 2082
Joined: Tue Apr 20, 2004 9:20 am
Location: Moskow

Post by Slava » Tue Nov 14, 2006 4:12 pm

Комбинатор Вт Ноя 14, 2006 7:58 pm
<...если начинать танцевать от метрики, а не от признаков, можно добиться лучшего качества распознавания, и я, возможно, с тобой соглашусь...>

На мой взгляд, танцевать нужно от классификатора. Тогда метрика синтезируется под решаемую задачу, и признаки отбираются те, что нужны. Классная была когда-то книжка Неймарка и Васина - что-то про медицинскую диагностику. Неймарк - велик - первый и, похоже, единственный обратил внимание на то, что гипотзе о постоянстве метрики - крайнее опримитивление сути задач узнавания
PS ========================

Skunk
Posts: 83
Joined: Tue Mar 14, 2006 11:25 am
Contact:

Post by Skunk » Sun Nov 19, 2006 8:37 am

Хотел бы продолжить обсуждение Хокинса. В даном случае буду шмалять по статье "Временная Иерархическая Память". Указанную статью чуть позже размещу здесь же. Прошу простить за истерический тон. Начну.

Определение паттернов должно продолжаться. То есть, процесс обучения и рабочий процесс НЕЛЬЗЯ разрывать!
Выделение устойчивого паттерна возможно только с течением времени.
Далее поясню на примере перемешанного изображения (принцип "спутанных рецепторов")
Хокинс говорит
маловероятно, что один и тот же паттерн попадет в HTM дважды.
Не основана ли на этом какая-нибудь западлянка для него?
HTM показывает, что невозможно обнаружить причины, не имея непрерывно изменяющейся информации.
– Ага! Точно какой-то бок! Наверняка он не знает как распознаётся статическое изображение!
Кстати, если иерархия элементов кортекса по Хокинсу конечна, то конечен и предел абстрагирования. Бред.
Как убрать конфликт предустановленного движения и "выученного"?
В чём таки сила предсказательной способности НТМ и не путает ли Хокинс понятие предсказание с понятием предвычисление?
Узел работает так: паттерн увидел... и что – сразу же предсказал его причину? Ну ладно, обучился. Обучился тому, что вот такой паттерн имеет вот эту причину, а вот такой – вот эту???
каждый узел ... открывает причины своей входной информации.
Гипотеза – это внутреннее состояние каждого узла. Вы можете рассматривать ее как вектор чисел, каждое из которых представляет вероятность того, что причина активна.
Странность в описании базовых операций для узлов. Первая операция – связать входной паттерн с одной из точек квантования узла. ЭТО ЛИ НЕ РАСПОЗНАВАНИЕ???
Узел представляет каждую последовательность переменной.
Усё понятно – типа сжатие информации. Вот только описан ли так "красиво" алгоритм "раскодирования" этих переменных? Будем искать.
Ага. Вот:
По мере продвижения информации вниз по иерархии каждый узел принимает относительно стабильные паттерны от своих родителей и пытается обратить их в последовательности пространственных паттернов.
Каким же это образом он пытается??????
Вот одна из отмазок.
Дальнейшее обучение не может увеличить число точек квантования, но оно может изменить сами точки.
Да. Всё сходится. Эта НТМ не сможет находить закономерности в перемешанном изображении. Он, к примеру, говорит, что НТМ будет находить углы или прямые линии на сегментах 10х10. Но позвольте, а кто ему предоставит такую же компактно уложенную информацию по поводу биржевых курсов?.. Да пусть даже изображения! Ведь Хокинс доказывает, что НТМ будет находить ЗАКОНОМЕРНОСТИ во всём!... Н-да...
Ага. Вот оно:
Заметьте, что если бы вы произвольно перемешали пиксели с камеры, то визуальная система HTM не смогла бы больше работать. Она не смогла бы обнаруживать причины в мире, поскольку она не смогла бы находить сперва локальные корреляции в поступающей информации.
Одна из причин, по которой HTM эффективны при обнаружении новых причин и выдвижении гипотез, заключается в том, что структура мира иерархична.
Ну тут уже брякнул так брякнул... Это он так отмазался от того, что перемешанные паттерны (хоть в них и есть закономерность!) его система не распознает.
Таким образом, HTM работают потому что в мире есть пространственные и временные иерархически организованные корреляции.
Хокинсу хочется чтобы так было (имею ввиду корреляции). По большому счёту подозреваю, что корреляции на длительных участках времени и пространства такой (если не считать её мифической) системе не по зубам.
Например, если вы хотите, чтобы HTM понимала финансовый рынок, вы могли бы захотеть предоставлять такие данные HTM, где смежные сенсорные данные вероятнее всего были бы скоррелированы в пространстве и во времени. Возможно это означало бы первоначальное группирование биржевых курсов по категориям, и затем по индустриальным сегментам.
Ржушонимагу. Короче, опять "небольшое" участие человека – первичное выявление корреляций.
Вы могли бы построить аналогичную иерархию...
Все поняли? :)
И вот самый честный вопрос и ответ:
Интересный вопрос – могут ли HTM получать на входе информацию, не имеющую пространственной иерархии?... Мы еще не знаем ответа на этот вопрос, но мы подозреваем, что HTM могут работать с такой информацией.
Они подозревают! Я умираю!!!...Что за истерика?
Биологический мозг решает такую задачу, полагаю, HTM так же должны уметь.
С какой это радости???
Интуитивно кажется,...
... Ну вы в курсе, что нет более ошибочного мнения чем "интуитивно очевидное".

Важно и интересно одно: Хокинс протупил, или целенаправленно пускает дезу?
Многомерные HTM – это широкое поле для изучения.
Да ты, сирый, хотя бы с одномерной памятью разобрался...
...ключевые предпосылки при разработке систем, основанных на HTM:
1) Понять, имеет ли пространство задачи соответствующую пространственно-временную структуру.
Это должен сделать человек-оператор. Ага.
2) Убедиться, что сенсорные данные организованы так, чтоб в первую очередь обнаруживать локальные корреляции в пространстве задачи.
Оператор обнаруживает локальные корреляции... А на кой тогда система???
3) Разработать иерархию для наиболее эффективного использования иерархической структуры в пространстве задачи.
Это ещё что? Это похоже на такую ситуацию. Приходит человек. Ему дают задачу. Он смотрит КАК её решить, он думает ЧЕМ её решить, а потом думает как собрать ТО, что сможет её решить... Весело.
...если два узла соединены таблицей условных вероятностей...
Узел это 100 уровней квантования (как было сказано ранее), другой узел тоже. Комбинация соединений узлов (таблица условных вероятностей) это 100х100=10000 элементов на всего лишь 2 узла... А если их больше? А их намного больше! Вот и тут сказано
...память, требуемая HTM, растет экспоненциально с увеличением количества уровней.
Оказывается, что время также необходимо для самообучения сети, даже для таких задач, как распознавание статических изображений...
Вот ведь засада! Как он удивлён! Но уже второй раз читаем:
Необходимость введения времени будет объяснена детально позднее.
Что же. Подождём.
Для HTM были разработаны и протестированы методы переключения скрытого внимания.
Вот чисто ради интереса: переключать узлы тоже будет программист? Или даже целая толпа индусов? Радует то что кто-то указал Хокинсу на отсутствие описания феномена "фокусировки внимания" в "On Intelligence".
Вспомните, что «причина» - это всего лишь постоянная или повторяющаяся структура в мире.
Бешеная подмена понятий.
Предположим, у узла есть сотня входов, и два из этих входов, i1 и i2 стали активными одновременно. Если это происходит достаточно часто,... то мы можем предположить, что у i1 и i2 общая причина. Это просто здравый смысл.
Ну, в данном случае возможно. И там далее по тексту о том как определяются паттерны. По сути, по корреляции между их появлениями.
В принципе, движение изображения линии по "сенсору" 4х4 давало бы много устойчивых корреляций между элементами этого паттерна. Почему не использовать это? Ведь в таком случае корреляции будут даже в случае перекрученных и перепутанных проводов от сенсора!
...идея последовательности в HTM... Но для большинства причин в мире не ясно, когда начинается и заканчивается последовательность...
Самокритика на высоте.
Корпорация Numenta понимает, что нам необходимо расширить алгоритмы для будущего использования и другие исследователи захотят сделать то же самое. Они могут захотеть улучшить производительность, поэкспериментировать с вариациями и модифицировать алгоритмы для подстройки их к конкретным типам задач. Чтобы облегчить это, корпорация Numenta сделает доступными исходные коды этих алгоритмов. Программная платформа Numenta разработана так, чтобы облегчить вставки в новые алгоритмы.
Короче, длительные планы по запудриванию мозгов. Пока разберутся, а деньги уже тю-тю.
Обучение корректной категоризации, то есть обучение корректным причинам может быть выполнено гораздо быстрее и определеннее при использовании обучения с учителем.
Ну так и не морочил бы голову с этой иерархической памятью!
HTM нужен эквивалентный механизм для обнаружения и распознавания причин, которые требуют конкретной временной информации.
И ещё один малюсенький бок.
В традиционной Байесовской сети, если три дочерних узла проецируются на единый родительский узел, должно быть три отдельных CTP, каждая между своим дочерним узлом и родительским. Биология наводит на мысль, что мозг не использует такой способ.
Что правда, то правда.
Есть причины верить, что биологический метод лучше.
Адназначна.
Именно этот метод Numenta реализовала в своей теории HTM.
Прямо таки тот метод? Кто-то увидел схожесть методов?
В корпорации Numenta мы экспериментировали с обоими методами. Возможно, что оба могут работать.
А возможны и нет. Гы-гы!
Процесс обнаружения причин в мире – это изучение «постоянной» структуры мира, а не изучение конкретных паттернов, которые попадались только однажды.
Все согласны? Чисто ради интереса.
Дизайнеры HTM-систем могут делать запрос к HTM, чтобы увидеть, что было распознано
Интересно, сам запрос дизайнера будет входить в область "причин" НТМ-системы?
Предсказание сверху вниз может влиять на процесс выдвижения гипотез, путем склонения сети к выбору из предсказанных причин.
Похоже, что этот механизм Numenta не в силах раскусить.
Нам необходимо разработать полезные эвристики, чтобы знать, какая иерархия будет лучше соответствовать конкретной задаче
. Ну бредятина же! Заявляют, что сеть сама подстроится под проблему и тут же говорят о специальной "заточке" этой сети.

Хотя бы как парадигма каких-то вычислений эта НТМ катит? Кто скажет?

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu Nov 23, 2006 7:21 am

Сейчас размышляю над Хокинсом. Есть еще несколько сугубо предварительных наблюдений.

Интеллект как предсказание на базе целемерной модели мира в памяти суть механизм функциональной системы. Интересно,
что уже у Анохина матрица акцептора формировалась на пирамидах L5/6 на обратных коллатералях. У Хокинса интересна
конкретная роль L4 и L1.

Главное - понять механизмы творчества и понимания.

Нейрокибернетика на ядрах таламической группировки действительно дана неадекватно. Сверхупрощение.

Механика иерархической автоассоциативной памяти - весьма перспективно; но как именно инициируется эндогенная
когнитивная целенаправленная активность? (типа ЧТО зовет нас мыслить сверх как о хлебе насущном..).

Хебба мало, а метапластичность?..

Сходство архитектоники всех полей наводит автора на мысли об универсальности 'кортикального алгоритма', а
я сразу думаю о гетерогенности кортекса, о новейших третичных лобных гранулярных долях, о специфике плани-
рующей деятельности, о повышенной плотности сети коротких связей фронтальных зон, создающих градиентный
континиум, о том, что что возможно важно именно не взаимодействие модулей, но антериорных градиентов..

Ограничение '100 шагов' - неточность, если рассматривать пролонгированную центральную активность ('эхо'?).

Пример с ловлей мяча - не выборка из памяти! скорее координированная динамика нейронных экранных отображе-
ний (моторной и пространственной карт)..

Последовательная структура потока паттернов VS полифоническая (гармонически-полифоническая) структура (с
'поперечными' связями, кросс-корреляциями, гетероассоциативными эффектами (мотив-мысль-нейро'смысл').

Рефлексивные коды сознания, циклические коды самосознания. Иерархия кодов в динамике. См. тж. Радченко.

Моделирование среды НЕ чисто прогнозирование (альтерирующие сервоэффекты), понимание НЕ чисто распознавание,
интеллект per se НЕ чисто перцептивный интеллект.

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu Nov 23, 2006 11:00 am

> Хокинс> HTM показывает, что невозможно обнаружить причины, не имея непрерывно изменяющейся информации.
Skunk> – Ага! Наверняка он не знает как распознаётся статическое изображение!

Не, не, тута речь идет именно о ПРИЧИНАХ (их идентификации), а не о собственно распознавани; о каузальной
атрибуции сенсорного события, объекта восприятия (следствием чего именно (имя!) является данное положение
дел), ситуация.
В этой связи уместно упомянуть переход от коррелятивной статистики к материальной импликации в рамках GUHA-
методов (автоматического распознавания гипотез). Там мне каажется интересной фитча с анализом динамической
улучшаемости ассоциативного и/или импликационного кванторов.

Skunk
Posts: 83
Joined: Tue Mar 14, 2006 11:25 am
Contact:

Post by Skunk » Thu Nov 23, 2006 6:51 pm

Ув. Хмур! Вы знаете, я вас почти понял, вот прямо сейчас - под допингом :)

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu Nov 23, 2006 11:06 pm

Брависсимо! Травой поделитесь.

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Fri Nov 24, 2006 3:13 am

Пару слов в небольшое добавление к текущим наблюдениям.

Ограничение 100 шагов – это до 500 мс. Ясно, что это полисинаптический
трек. Однако, как представляется, рефлексивные процессы поддерживаются
циркуляцией активности, обновляющей оперативные ‘регистры’ рабочей
памяти. Эта рециркуляция суть многопроходные алгоритмы высокоуровне-
вых процессов обработки информации, посему акцентирование внимания
на этом ограничении выглядит несколько странным.

Альтерирующие информационные процессы – это и размышления в режиме
‘что вообще можно сделать’ (активное моделирование, не сводимое к экстрапо-
ляции простого прогноза).

Нейрокоды суть ‘неравновесные’ коды, суть совмещение перцептивных, ситу-
ационно-концептуальных, смысловых, аффективно-смысловых, мотивационно-
аффективных кодов. Аппликационные коды. Кодовая дискриминация. Порож-
дение связных структур при многократном наложении возвратной активности.

Кортикальные алгоритмы не могут быть единообразными и по тому соображе-
нию, что есть выраженная филогенетическая эволюция (cуб)кортикальной структу-
ры в линии насекоядные-хищные-субприматы-приматы. Ароморфизм нейрокон-
струкции: фронтальные области получают дополнительные сенсорные входы,
отключаются от (пре)моторных зон и развивают как длинные ассоциативные
системы связей (поясной, крючковидный (лоб-висок) - cтарые, - дугообразный
(нижне-продольный, Брока-Вернике) и лобно-затылочный (верхне-прод.) – новые –
пучки), так и сеть коротких связей; развивают связи с амигдалой [типа на старых
связях реализованы механизмы внимания, поискового рефлекса, базовые эмоциональ-
ные регуляции, а на новых моносинаптических – речевая, волевая регуляция, как
разрешение сложных мотивационных конфликтов и эмоциональных коллизий].

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Fri Nov 24, 2006 8:51 am

Хмур wrote: Сходство архитектоники всех полей наводит автора на мысли об универсальности 'кортикального алгоритма', а
я сразу думаю о гетерогенности кортекса, о новейших третичных лобных гранулярных долях, о специфике плани-
рующей деятельности, о повышенной плотности сети коротких связей фронтальных зон, создающих градиентный
континиум, о том, что что возможно важно именно не взаимодействие модулей, но антериорных градиентов..
А вот у Мауткасла (на которого опирается Хокинс) сказано наоборот. то есть, архитектонические отличия объективно есть, но они не первичны, а возникают лишь как следствие специфичности внешних связей тех или иных полей, но по локальным правилам, единым для всех модулей всех полей.

Хокинс же возможно действительно переборщил, полностью исключив горизонтальные связи между колонками. Мауткасл не был столь категоричен, он всего лишь сказал, что функция колонки везде едина. Но ничто не мешает ввести в интерфейс колонки помимо вертикальных связей и горизонтальные. Тем более, Хокинс совершенно проигнорировал еще одну концепцию, постоянно проскальзывающую в работе Мауткасла - отображение нескольких переменных на двумерную карту и более того, частичное сохранение этой "топии" от уровня к уровню. А без горизонтальных связей (в частности, латерального торможения) такие карты вряд ли бы могли организовываться.
Хмур wrote: Последовательная структура потока паттернов VS полифоническая (гармонически-полифоническая) структура (с
'поперечными' связями, кросс-корреляциями, гетероассоциативными эффектами (мотив-мысль-нейро'смысл').
Кстати, все таки в реализации HTM наверное следует видеть именно эту "полифонию", ведь каждый модуль выдет не конкретное "имя" последовательности, а именно набор "гипотез". Хотя, с другой стороны, наверное зря они выполняют квантование пространственных паттернов, наверное это тоже надо было реализовать как "набор пространственных гипотез", и гипотезы по последовательностям выдвигать именно на основе континуально изменяющихся "наборов пространственных гипотез", а не точек пространственного квантования.

А может уже и не выполняют пространственного квантования, Нументовские инженеры на тамошнем форуме говорят, что уже значительно изменили алгоритм.

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Fri Nov 24, 2006 9:01 am

Комбинатор, отредактируйте, пожалуйста, свое сообщение от
Пн Ноя 13, 2006 9:46 pm (или какое там у вас время), то, где длиннющая ссылка http://209.85.135.104/search?......

очень похоже, что из-за того, что браузер не имеет права переносить ссылку на новую строку, а структура документа содержит таблицу, он просто растягивает всю таблицу вширь за пределы экрана, соответственно растягивая и все остальные сообщения...

Правда у Хмура они почему-то не растягиваются, видать он искусственно переносы вставляет
:)

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Fri Nov 24, 2006 9:28 am

Более того, IE у меня и легко порезал эту ссылку на 4 строки.. :)

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Fri Nov 24, 2006 9:58 am

Dmitry_Milk wrote:Комбинатор, отредактируйте, пожалуйста, свое сообщение от
Пн Ноя 13, 2006 9:46 pm (или какое там у вас время), то, где длиннющая ссылка http://209.85.135.104/search?......

очень похоже, что из-за того, что браузер не имеет права переносить ссылку на новую строку, а структура документа содержит таблицу, он просто растягивает всю таблицу вширь за пределы экрана, соответственно растягивая и все остальные сообщения...

Правда у Хмура они почему-то не растягиваются, видать он искусственно переносы вставляет
:)
Да, действительно, Мозилла, в отличии от IE, ссылки на строки не крошит. А что можно сделать, что бы и ссылка работала, и окно не растягивалось? Я вообще то в HTML не Копенгаген...

Хмур
Posts: 1246
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Fri Nov 24, 2006 10:13 am

Dm.Milk> А вот у Мауткасла..

Ээ.. Ну уж этой работе сто лет в обед. Кстати, это не статья, а опубликованный
книгой (вместе с работой Эдельмена по клональной селекции нейрогрупп) доклад
на одном полузакрытом собрании. Помнится, много лет назад когда я достал совер-
шенно случайно эту книжку она стала на некоторый срок для меня чем-то вроде
библии..

Я так понимаю, что многие нейроморфологи при описании цитоархитектоники коры
отнюдь не всегда в восторге от лихих обобщений Маунткасла. Да и что есть такое
‘микромодуль’ до сих пор есть споры.. да, клон нейробласта-прародителя.. Но моду-
лярная структура в чистом виде выделяется часто лишь условно.. искаженные гекса-
гоны пучков апикальных дендритов..

Но проблема настоящая в том, что микроструктурно колонки реально РАЗЛИЧАЮТСЯ.
И мощная гранулярная (L4) пыль лба, и наличие специфических нейрональных группи-
ровок в лобных полях – т.н. нейронных ловушек, которые делают очевидным тезис о
взаимосвязи структуры и функции.. – и др. факторы.

Что до –

> ..архитектонические отличия объективно есть, но они не первичны, а возникают лишь как
> следствие специфичности внешних связей тех или иных полей, но по локальным
> правилам, единым для всех модулей всех полей.

То это отчасти верно. НО спецификация нейромодулей лба-темени-виска-затылка (и полей
гиппокампа) очевидно идет под влиянием функционально различных воздействий (идущих
от разных подкорковых структур, с различием в медиаторной химии). Т.е. есть как первичная,
так и вторичная микроархитектоническая дифференцировка.
Тут могу указать на фронтальное глазодвигательное поле (п.8 ) - благоприобретение субпри-
матов, которое первым функционально специфицируется в онтогенезе (затем теменные, и затем
затылочные поля только подключаются к регуляции окуломоторики).
Кстати, общая функциональная организация корковых зрительных полей низших обезьян
мне кажется более сложной (‘неоптимизированной’! более 20 изотопических проекций), чем у
высших, где все ‘упаковано’..

Насчет континиума градиентов и векторного квантования, - то механизмы нейрокластеризации
(микрофункциональной) выглядят возможными; и думать надо, похоже, над совмещением этих
механик. Какие-то иерархии с переменным индексом дискретности..
Last edited by Хмур on Sat Nov 25, 2006 8:19 am, edited 1 time in total.

Серый
Posts: 47
Joined: Sat Feb 28, 2004 3:09 pm

Post by Серый » Fri Nov 24, 2006 11:52 am

Dmitry_Milk wrote: Нументовские инженеры на тамошнем форуме говорят, что уже значительно изменили алгоритм.
А ссылочку на этот форум можно?

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Fri Nov 24, 2006 7:24 pm

Серый wrote: А ссылочку на этот форум можно?
http://www.onintelligence.org/forum

Серый
Posts: 47
Joined: Sat Feb 28, 2004 3:09 pm

Post by Серый » Sat Nov 25, 2006 1:31 pm

Dmitry_Milk wrote:
Серый wrote: А ссылочку на этот форум можно?
http://www.onintelligence.org/forum
Благодарю. Сразу же наткнулся на весьма занятный топик - "intellectual property?". Как я понял, эти ребята уже подали несколько заявок на патенты, но содержание их не разглашается до официального выпуска патента. Если это будет попытка застолбить те общие принципы, что изложены в On Intelligence, то это скверно - все равно что патентовать законы Ньютона.

Представителю Numenta там задали несколько толковых вопросов. Если то, что изложено в On Intelligence, действительно является принципом работы реального неокортекса, то как можно патентовать модель природного феномена? Вразумительного ответа на это дано не было. Другой вопрос: HTM - довольно общий принцип, который можно реализовать разными способами. Если Numenta запатентует одну из конкретных реализаций, значит ли это, что другие фирмы могут независимо от Numenta создавать другие варианты HTM? На это никакого вразумительного ответа тоже не получено (кроме упоминания, что у этих фирм могут начаться определенные проблемы :)).

Скорее всего, как предположил один из участников форума, содержание патентов самом деле еще не определено, и его изменяют по мере того как продвигается разработка.

Locked

Who is online

Users browsing this forum: No registered users and 3 guests