Модели стереозрения

Ссылки на ресурсы интернета по ИИ и близким к нему темам.
Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Wed Jun 21, 2006 10:16 am

Кажется, так.
1) Стереопсис сохраняется в каллозальной зоне для кошек и некоторых видов обезьян
2) Да
3) да, если перерезана хиазма. нет - иначе
4) Ну да. Половина - или больше - зависит от методики. Еще хочется уточнить, что от коленчатых тел идут проекции в верхние холмы (superior colliculus). Это таламическая структура, управляющая движениями глаз. в принципе там могут быть клетки с бинокулярным входом.
5) Ну да. большинство обладает.

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Wed Jun 21, 2006 11:40 am

иными словами, наиболее правдоподобно, что стериопсис начинает выполняться лишь в стриарной коре, причем не на клетках, получающих инфу от НКТ, а чуть позже - в сложных клетках
эти клетки имеют достаточно широкие рецептивные поля (по крайней мере, если их сравнивать с ганглиозными клетками сетчатки или даже простыми клетками зоны 17), реагируют на границы с определенной ориентацией, полосы, концы отрезков или углы, причем реагируют тогда, когда подобного типа стимул проецируется на сетчатки обоих глаз примерно в одном и том же месте (+- 2 градуса по горизонтали и несколько угловых минут по вертикали)
из-за влияния латерального торможения возбуждаются клетки только для одной ориентации стимула; клетки, отвечающие за близкие ориентации, подавляются
так ли все это?
если так, то получается, что стереопсис выполняется, по сути, на уровне структурных элементов, а не отдельных пикселей... разве нет?
"Кто знает, тот делает, кто не знает, тот учит"

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Wed Jun 21, 2006 12:09 pm

Кажется, так.
1) у обезьяны (в отличие от кошки) нет простых бинокулярных клеток. Только сложные.
2) рецептивные поля бинокулярных клеток достаточно велики.
3) Про ориентационную настройку дело сложное и запутанное. Вот что писали на прошлом ECVP испанцы из Сантьяго де Компостелы. Насколько я помню - они в процессе исследований. Вот их URL www.usc.es/fspaco. Вот фрагмент тезисов.

We studied the activity of 225 cells recorded from area V1 in two awake
monkeys (Macaca mulatta) trained to perform a visual fixation task. Cell
sensitivity to orientation for solid bars was assessed by means of a bright bar flashing over the receptive field with eight different orientations. Cell
sensitivity to orientation for stereoscopic bars was assesed with a stereobar generated by means of dynamic random dot stereograms sweeping back and forth in eight different orientations.
...

In our sample, 72,58% of cells showed orientation sensitivity for solid bars
and 38% of the cells showed orientation sensitivity for sterobars. The
correlation coefficient for orientation sensitivity between solid and
stereoscopic bars was 0.84.
Our preliminary data suggest that encoding orientation of visual stimulus in
visual cortical cells of area V1 may share the same neural mechanisms for
solid and stereoscopic figures.

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Fri Jun 23, 2006 3:37 pm

То есть данные, приводимые Хьюбелом, может, немного утрированные, но в целом достаточно достоверны?
тогда, имхо, работу сложных бинокулярных клеток стриарной коры можно вполне интерпретировать как одновременное выделение и стереоматчинг простых структурных элементов.

Sevolod, твой аргумент, почему тебе не нравится идея того, что стереопсис реализуется на контурном или структурном уровне, был в скорости, с которой он выполняется, а в случайно-точечных стереопарах.

Насчет скорости. Успевает ли за это время сигнал дойти до стриарной коры?

Кстати, ведь работу ганглиозных клеток уже можно интерпретировать как выделение контуров (или, вернее, как дифференцирование перед выделением контуров). Стереопсис явно выполняется позже. Поэтому скорость стереопсиса не должна быть аргументом. Может, мы по-разному понимаем то, где выделяются контуры и структурные элементы, и ты просто не согласен с тем, что структурные элементы уже выделяются в стриарной коре?

Насчет случайно-точечных стереопар вопрос сложнее. А не проводились исследования времени стереопсиса в зависимости от характера изображений? И где, по-твоему, в мозгу стереопсис может выполняться поточечно? На какие данные ты опирался в своих моделях?
"Кто знает, тот делает, кто не знает, тот учит"

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Fri Jun 23, 2006 4:08 pm

2 Sevolod

Тут Neuronus выкладывал текст книжки Хокинза "On intelligance". Он там толкает свою теорию об общих принципах работы нейрокортекса, причём, в основном, в качестве примера рассматривает как раз канал визуального восприятия. Если ты прочитал эту книжку, хотелось бы услышать твоё мнение о ней, особенно, что касается конкретно его теории работы нейрокортекса.

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Fri Jun 23, 2006 7:01 pm

Inex
Ой! Пришлось перечитать ветку.
1) Да, данные Хьюбела достаточно достоверны, хотя и утрированы. Скорее он именно и стал таким крупным ученым, т.к. научился красиво утрировать данные.

2) Стереопсис наверняка идет в коре, поэтому время фузии больше времени распространения сигнала до коры. Время фузии исследовать непросто (я пробовал исследовать только время реакции на стереограммы, про что и выкладывал ссылку). . Предлагаю считать, что для случайно-точечных стереограмм, содержащих диспаратности в комфортном диапазоне (не очень большие, не очень маленькие), порядок времени фузии примерно такой же, как и для обычных стереограмм.

3) Понимаешь, в свое время у меня
а) сложилось впечатление, что работу любой нейронной структуры можно интерпретировать как выделение фрагментов контура. А вот Н.Ф. Подвигин пишет, что в НКТ и в ганглиозных клетках происходит "оконтуривание", но не в пространственной, а во временной области.
б) Я знаю, что человек способен "сливать" стереопары, в которых глубина задана интенсивностью освещенности. Но контура в изображении отсутствуют (например, в том смысле, что эффект Корел Дро "контура" начисто стирает изображения).
Поэтому я строил простую почти попиксельную модель.

4) А ты знаешь вычислительные модели сложных бинокулярных клеток? Мне кажется, они сложные именно потому, что их ответы сложно смоделировать. Что ты понимаешь под структурным элементом.


Комбинатор
Просмотрел первые 25 страниц книги. Дочитал до его рассуждений о памяти. Меня не впечатлило.
Дело в том, что я сейчас изучаю память человека. Моя дипломница не далее, как 20 июня, защитила на пятерку диплом о моделировании оперативной памяти с помощью нейронных сетей. Мы моделировали в продолжение модели, придуманной Инексом, запоминание шахматных позиций на сетях с различной матрицей весов. Если хотите – пришлю ее диплом, хотя он сырой.
Есть 2 вида сетей типа ассоциативная память. АВТО, о которых пишет Хокинс, и ГЕТЕРО, о которых он, видимо, не знает. Гетероассоциативные сети предназначены для запоминания пар образцов. Т.е., например, по первому элементу последовательности сеть вспомнит второй элемент и так далее. Логичнее в рамках воззрений Хокинса предположить, что зашумленные одиночные образы узнаются по своим фрагментам с помощью АВТОассоциативных сетей. А последовательности запоминаются на ГЕТЕРОассоциативных сетях.
Проблема в том, что модификаций сетей такого типа существует достаточно много, а поставить опыты на человеке, которые бы показывали, какой именно тип сетей используется, очень сложно потому, что непонятно в каком признаковом пространстве идет запоминание.
И еще один момент. Как я понял, Хокинсу нравится ассоциативные сети потому, что там, также как и в мозгу, есть обратные связи. Теоретически на этапе воспроизведения запомненного активность сети неоднократно передается со входного слоя на выходной и обратно вплоть до достижения равновесия. Однако если сети предъявлять «хорошие» образцы, то она сразу же придет в положение равновесия. То есть фактически при работе с «хорошим» стимульным материалом обратные связи в ассоциативных сетях могут быть не нужны. Чтобы понять, насколько эти связи необходимы, надо опять-таки ставить опыты на человеке.

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Sun Jun 25, 2006 9:03 am

Вот еще из обзора достаточно нового

Cumming, De Angelis, 2001
In summary, the responses of disparity tuned cells can be explained with the energy model or some similar model in which there is no substantial nonlinearity in monocular processing prior to binocular combination. There is NO NEED to postulate any complex feature detection prior to representation of disparity in V1.

И еще, помнится, от формы монокулярных рецептивных полей форма бинокулярного рецептивного поля зависит слабо.

NO
Posts: 1815
Joined: Fri Jan 30, 2004 7:43 pm
Contact:

Post by NO » Sun Jun 25, 2006 12:29 pm

Я думаю нейросети нужно запретить как другие тяжелые наркотики. Потому, что реально людей теряем. Некоторые лет по 5 пытаются втиснуть все в эти 2-3 таблицы. Очень похоже на наркотики, также небо в овчинку, друзья в сеточку. Ни разу еще не видел чтобы человек занимался нейросетями и потом вернулся к нормальной жизни. Чаще просто пропадают. То есть он всем надоедал своими перспективами, считал что делает мышление, естественно ничего не получилось, и пропал. Лучше ИИ начинать с Лиспа, такой человек в своих исследованиях будет на одну жизнь впереди самого крутого нейросетевика.
Мне кажется все это понимают, но есть какие-то серьезные ребята из серьезных структур, которым приказали копать нейросеть. Они разум вообще в глаза не видели, и в лучшем случае делают модель своего рабовладельца. А тот, естественно все, что они ищут и так знает, но сказать не может, т.к. останется без рабов. Не, они конечно достижения имеют, их изделия в 66 году сбивали американские изделия, которые американцы сделают только в 2040. Только ИИ это другая задача и этот опыт тут стоит не больше, чем накачанные в тяжелой атлетике мышцы в гонках Формулы 1. И ваш сигнальный процессор останется сигнальным процессором независимо ни от чего. Зато ребят дурить научились в совершенстве. Я слышал у нас собираются ученых сильно почистить, прекрасно это понимаю. Не то чтобы налогов было жалко, но прекратить агонию когда мозг уже мертв это считаю хорошо. Хотя с другой стороны вот единственное чем люди всегда будут лучше любых роботов это тем что живут недолго. Короче вся эта нейросетевщина заключается в том, что молодежь тащится от трупных ядов и прочих токсинов, дает друг-другу попробовать, меняется впечатлениями, сами что-то там смешивают и выпаривают, "А вот стереопсис не пробовали?". Умело теряют время и постепенно доходят до кондиции когда сами уже смогут быть этими, не знаю как у наркоманов их авторитеты называются.

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Sun Jun 25, 2006 2:07 pm

Sevolod wrote: Комбинатор
Просмотрел первые 25 страниц книги. Дочитал до его рассуждений о памяти. Меня не впечатлило.
Дело в том, что я сейчас изучаю память человека. Моя дипломница не далее, как 20 июня, защитила на пятерку диплом о моделировании оперативной памяти с помощью нейронных сетей. Мы моделировали в продолжение модели, придуманной Инексом, запоминание шахматных позиций на сетях с различной матрицей весов. Если хотите – пришлю ее диплом, хотя он сырой.
Было бы интересно посмотреть. А есть ли принципиальные препятствия, что бы выложить его прямо на этом сайте для обсуждения?
Sevolod wrote: Есть 2 вида сетей типа ассоциативная память. АВТО, о которых пишет Хокинс, и ГЕТЕРО, о которых он, видимо, не знает. Гетероассоциативные сети предназначены для запоминания пар образцов. Т.е., например, по первому элементу последовательности сеть вспомнит второй элемент и так далее. Логичнее в рамках воззрений Хокинса предположить, что зашумленные одиночные образы узнаются по своим фрагментам с помощью АВТОассоциативных сетей. А последовательности запоминаются на ГЕТЕРОассоциативных сетях.
Я в теории нейронный сетей, отличных от тривиального BP, к сожалению, не силён. Однако, тот факт, что запоминаеются именно последовательности событий, является, на сколько я помню, одним из краеугольных камней теории Хокинса. Отсюда, кстати, он выводит и первые ступени создания пирамиды абстрактных представлений (в случае такой возможности, запоминаются не абсолютные значения сигналов в последовательности, а лишь разность между ними) и объяснение того факта, что для "проигрывания в уме" последовательности в обратном порядке, обычно приходится всё равно мысленно проиграть её в "нормальном" направлении, а потом запоминать элемент, непосредственно предшествовавший текушему. То есть, он, грубо говоря, считает, что последовательность событий хранится в мозгу в одном кластере памяти, и доступ к нему возможен лишь как одному неделимому объекту, с точкой входа, расположенной в начале последовательности.

Sevolod wrote: Проблема в том, что модификаций сетей такого типа существует достаточно много, а поставить опыты на человеке, которые бы показывали, какой именно тип сетей используется, очень сложно потому, что непонятно в каком признаковом пространстве идет запоминание.
И еще один момент. Как я понял, Хокинсу нравится ассоциативные сети потому, что там, также как и в мозгу, есть обратные связи. Теоретически на этапе воспроизведения запомненного активность сети неоднократно передается со входного слоя на выходной и обратно вплоть до достижения равновесия. Однако если сети предъявлять «хорошие» образцы, то она сразу же придет в положение равновесия. То есть фактически при работе с «хорошим» стимульным материалом обратные связи в ассоциативных сетях могут быть не нужны. Чтобы понять, насколько эти связи необходимы, надо опять-таки ставить опыты на человеке.
А почему нельзя ставить опыты на животных? Во всяком случае, Хокнис утверждает, что структура нейрокортеска у всех млекопитающих примерно одинакова. Различие лишь в числе слоёв, и в специализации различных участков...

Dmitry_Milk
Posts: 225
Joined: Sat Apr 15, 2006 5:59 am
Location: Казань
Contact:

Post by Dmitry_Milk » Sun Jun 25, 2006 6:16 pm

Чего Хокинс так внятно и не написал в своей книжке - так это почему человек способен к обучению человеческому языку, а животные - не способны, хотя и указал, что наличие человеческого языка - это одна из двух причин, отличающих разум человека от разума животных.

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Sun Jun 25, 2006 7:14 pm

Sevolod wrote:In summary, the responses of disparity tuned cells can be explained with the energy model or some similar model in which there is no substantial nonlinearity in monocular processing prior to binocular combination.
ну и как это согласуется с фактом, что подавляющее большинство бинокулярных клеток ориентационно-избирательные?
кстати, Хьюбел в заключении книги говорит немного о поле 18 и более высоких корковых полях вплоть до V4, что там, в частности, идет стереопсис; ты об этом что-нить знаешь?
я этому охотно верю, так как знаю, что стереопсис просто не может не выполняться иерархически... кстати, ты что-то упоминал о проблемах стереопсиса на разрывах по глубине, зеркальном отражении, полупрозрачных поверхностях... такие проблемы явно не могут решаться на пиксельном уровне тупо-энергетическими методами
ты занимался моделированием стереопсиса в условиях полупрозрачности? что-нибудь можешь на этот счет сказать?
Sevolod wrote:There is NO NEED to postulate any complex feature detection prior to representation of disparity in V1.
1) в V1 сложных признаков, вроде как, нет - только непроизводные структурные элементы
2) эти признаки выделяются не перед вычисления стереодиспаратности, а одновременно с ним; необходимость этого тоже легко объяснить с чисто информационной точки зрения
3) что значит "NO NEED"? нет необходимости в каком смысле? на основании нейрофизиологических данных или с точки зрения того, как это все должно быть устроено оптимально? Я понимаю, что на эти вопросы тебе сложно ответить, так как ты цитируешь лишь чей-то абстракт, но все же...
"Кто знает, тот делает, кто не знает, тот учит"

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Sun Jun 25, 2006 7:22 pm

Sevolod wrote: 3) Понимаешь, в свое время у меня
а) сложилось впечатление, что работу любой нейронной структуры можно интерпретировать как выделение фрагментов контура.
хм... по-моему, это немного спорно, хотя что-то в этом есть :)
Sevolod wrote: А вот Н.Ф. Подвигин пишет, что в НКТ и в ганглиозных клетках происходит "оконтуривание", но не в пространственной, а во временной области.
если мне не изменяет память, так есть два типа ганглиозных клеток, одни из которых выполняют временное, а другие - пространственное дифференцирование, так что тут нет противоречия

Sevolod wrote: Я знаю, что человек способен "сливать" стереопары, в которых глубина задана интенсивностью освещенности. Но контура в изображении отсутствуют (например, в том смысле, что эффект Корел Дро "контура" начисто стирает изображения).
Поэтому я строил простую почти попиксельную модель.
Это вовсе не противоречит иерархической модели. Зато чисто попиксельная модель не может объяснить многих других эффектов.
Sevolod wrote:А ты знаешь вычислительные модели сложных бинокулярных клеток? Мне кажется, они сложные именно потому, что их ответы сложно смоделировать. Что ты понимаешь под структурным элементом.
честно говоря, с моделями бинокулярных клеток я не знакомился :(
стереопсис меня интересовал как задача технического зрения; просто интересно, как это делается у человека и животных....
"Кто знает, тот делает, кто не знает, тот учит"

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Mon Jun 26, 2006 11:24 am

NO
Ну я стереопсисом занимаюсь без нейросетей. И памятью тоже почти без нейросетей. Просто в теории ИНС есть развитый математический аппарат для решения интересных мне проблем.

Комбинатор
1) Да. В принципе и на животных можно опыты ставить по запоминанию последовательностей. Только у меня своего обезьянника все равно нет. А в Израиле, например, в институте Вейцмана смотрят как зверушки запоминают последовательности изображений.
Есть еще опыты по дрессировке собак, но они очень медленно обучаются.
2) Требуемую главу диплома про нейросети я постараюсь чуть высушить - и выложим на сайт.
3) про хранение последовательности в одном кластере c одной точкой входа. Тут дело для меня темное. Я не знаю хороших опытов на человеке и хороших моделей, которые могли бы с уверенностью показать что и как хранится. Вариантов можно нафантазировать много. Если Вы знаете хороший материал по этой теме - делитесь!

Inex
1) В этом обзоре Cumming нет про ориентационные свойства. Не забывай, что бинокулярных клеток примерно четыре вида (TI, TE, N, F). И как по ним распределены те 38% клеток, которые обладают чувствительностью к стереополосе, не известно.
2) Да. Бинокулярные клетки есть и ниже. Чем ниже, тем больше рецептивные поля. И меняется взаимное отношение TI, TE, N, F клеток.
3) NO NEED - нет необходимости на основании нейрофизиологических данных
4) Да. Стереопсис - иерархический процесс. Моя модель просто выделяла интересные планы диспаратности. Чтобы выделять поверхности, лежащие в этих планах диспаратности, нужны следующие уровни.[/b]

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Mon Jun 26, 2006 12:05 pm

Sevolod wrote:1) Да. В принципе и на животных можно опыты ставить по запоминанию последовательностей. Только у меня своего обезьянника все равно нет. А в Израиле, например, в институте Вейцмана смотрят как зверушки запоминают последовательности изображений.
Есть еще опыты по дрессировке собак, но они очень медленно обучаются.
Я думаю, можно и на воронах. Они обучаются на уровне низших обезьян.
Sevolod wrote: 2) Требуемую главу диплома про нейросети я постараюсь чуть высушить - и выложим на сайт.
ОК, спасибо.
Sevolod wrote: 3) про хранение последовательности в одном кластере c одной точкой входа. Тут дело для меня темное. Я не знаю хороших опытов на человеке и хороших моделей, которые могли бы с уверенностью показать что и как хранится. Вариантов можно нафантазировать много. Если Вы знаете хороший материал по этой теме - делитесь!
Я думаю, в рамках ТФС, не особено и важно, как конкретно это реализовано на нейронном уровне (тем более, что, например, у млеков и птиц это, скорее всего, организовано совершенно по разному, не говоря уже про интеллектуальных насекомых типа муравьёв), гораздо важнее - общие принципы. Материалами на эту тему я обсобенно не интересовался, но некоторые опыты можно легко ставит на себе.
Попробуйте, например, прочитать какое-нибудь хорошо известное вам стихотворение задом-наперёд. :wink:

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Mon Jun 26, 2006 6:34 pm

Комбинатор
Мне кажется, обычно ставят опыты на тех, кто не летает.

Про стихи. Если они знакомые - я могу их читать с любой строфы или с любой строки. Особенно если мне подскажут первые слова этой строфы или строки.
В общем смотрите, что сразу приходит на ум. Есть две схемы хранения последующего объекта
а) по отношению к предыдущему
б) независимо
и два варианта хранения
1) в том же "кластере" памяти
2) в другом

Вариант "а" плох тем, что
-есть шанс запомнить одно и то же 2 раза для разных предыдущих объектов
-есть шанс, что по отношению к предыдущему запоминать "дороже", чем само по себе. Этот шанс зависит от признакового пространства, в котором запоминаем. А о нем мы знаем мало очень.
Вариант "1" может быть плох тем, что в один "кластер" может быть только одна точка входа.
Ну и так далее... Опыты на себе ставить - это чудесно. Но все-таки мы живем чуть позже Эббингауза и Гельмгольца. Я как придумаю хороший опыт про запоминание 3D сцен, сразу вам расскажу.

Locked

Who is online

Users browsing this forum: No registered users and 1 guest