Модели стереозрения

Ссылки на ресурсы интернета по ИИ и близким к нему темам.
Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Модели стереозрения

Post by Sevolod » Mon Jun 13, 2005 12:51 pm

Добрый день.
Я занимаюсь исследованиями стереозрения человека. В том числе моделированием.
Моя страничка http://sevolod.narod.ru

Хотелось бы услышать мнение community.

kak
Posts: 900
Joined: Mon Apr 12, 2004 4:12 pm
Location: Вологда

Post by kak » Tue Jun 14, 2005 2:21 am

2 Sevolod:
Может ли "однаглазый" видеть объем (глубину)?

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Tue Jun 14, 2005 5:27 am

Может на основе монокулярных признаков глубины (перекрытие предметов, размер их ретинальных проекций и пр.). Но расстояние между предметами по оси аппликат двуглазый будет оценивать гораздо точнее.

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Re: Модели стереозрения

Post by Комбинатор » Tue Jun 14, 2005 8:41 am

Sevolod wrote:Добрый день.
Я занимаюсь исследованиями стереозрения человека. В том числе моделированием.
Моя страничка http://sevolod.narod.ru

Хотелось бы услышать мнение community.
Привет.
Из списка работ я не очень понял, есть ли у вас какая-то реальная программа, преобразующая пару изображений, поступающих от видеокамер, в трёхмерную модель сцены?
Ещё интересно было бы узнать ваше мнение о перспективности метода, предложенного (и уже даже практически используемого) Гансем Моравеком.
Спасибо.

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Tue Jun 14, 2005 10:47 am

Комбинатор
Спасибо за вопрос.
Есть работающая программа, на выходе которой функция, значения которой зависят от диспаратности поверхностей сцены. Идея в том, что значения функции коррелируют с возможностями выделения диспаратных поверхностей человеком. И, следовательно, проводя модельные эксперименты с программой, мы можем высказывать правдоподобные гипотезы о стереозрении человека.
Собственно трехмерная сцена не восстанавливается - имитируются слои мозгов, которые в этом не участвуют (расположены ближе к сетчатке). Эти слои мозгов только говорят о том, какие диспаратности встречаются в сцене. + анализируются статические стереопары (не динамический поток с видеокамер).

А что за метод Моравека?

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Tue Jun 14, 2005 5:31 pm

Sevolod wrote:Комбинатор
Спасибо за вопрос.
Есть работающая программа, на выходе которой функция, значения которой зависят от диспаратности поверхностей сцены. Идея в том, что значения функции коррелируют с возможностями выделения диспаратных поверхностей человеком. И, следовательно, проводя модельные эксперименты с программой, мы можем высказывать правдоподобные гипотезы о стереозрении человека.
Собственно трехмерная сцена не восстанавливается - имитируются слои мозгов, которые в этом не участвуют (расположены ближе к сетчатке). Эти слои мозгов только говорят о том, какие диспаратности встречаются в сцене. + анализируются статические стереопары (не динамический поток с видеокамер).
Спасибо, понятно. А кто-нибудь пытался, основываясь на вашем выходе, заниматься собственено восстановлением трёхмерной картинки? На сколько быстро работает ваш алгоритм?
Sevolod wrote: А что за метод Моравека?
Можно почитать, например, здесь:
http://www.frc.ri.cmu.edu/users/hpm/pro ... .0202.html

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Wed Jun 15, 2005 5:28 am

Комбинатор
И еще спасибо за вопрос.

Нет. Пока никто не пытался - части стереопары на выходе модельных сетчаток с переменным разрешением (чем дальше от центра сетчатки, тем грубее). Если и далее придерживаться биологического правдоподобия, то сначала надо моделировать движения глаз. А движения глаз по стереокартинкам сейчас никто почему-то не пишет.

Мой алгоритм должен работать быстро - там просто попиксельное неитеративное вычитание между частями стереограммы (гляньте мой автореферат на дом. страничке). Идеи восстановления трехмерных сцен с использованием алгоритмов, подобных моим, были у Юлеша (Julesz) еще в его первой программе AUTOMAP-1. Если вам интересно - я выложу (кину куда-нить) краткий перевод. Если серьезно, я считаю, что используемый мной алгоритм хорошо бы подошел для предобработки стереопар.

Про Моравека. Сразу могу сказать, что общая проблема таких методов - выбор формы и размера окна. Проблемные изображения - полупрозрачные поверхности, непарные объекты, скосы (slanted surfaces). Насколько я помню, есть изощренные алгоритмы, в которых форма окна адаптируется под стереокартинку. Я почитаю подробнее и потом отвечу подробнее.

kak
Posts: 900
Joined: Mon Apr 12, 2004 4:12 pm
Location: Вологда

Post by kak » Wed Jun 15, 2005 5:41 am

2 Sevolod :
"...двуглазый будет оценивать гораздо точнее", неточнее, а быстрее, если говорить о биообразованиях.

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Wed Jun 15, 2005 7:55 am

kak
Предлагаю компромисс , двуглазый будет оценивать и точнее, и быстрее.

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Wed Jun 15, 2005 2:20 pm

2 Sevolod
Почему-то doc-овские файлы статей с вашей странички не скачиваются :(
Не могли бы вы их выслать мне на мыло (оно указано в моем профиле). Буду благодарен.
Было бы совсем здорово увидеть не автореферат, а диссертацию целиком.

Еще такой вопрос: ваша первичная цель - моделирование зрительного восприятия человека или создание системы технического зрения?

Как вы относитесь к методам, работающим со стереопарами не на пиксельном, а на более высоком (контурном или структурном) уровне?

Знакомы ли вы с работами Марра по стереозрению и что можете плохого/хорошего про них сказать?
"Кто знает, тот делает, кто не знает, тот учит"

Sevolod
Posts: 56
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Wed Jun 15, 2005 6:55 pm

Inex
Сорри, что публикации не скачиваются. Не скажете – какие именно у Вас не получилось закачать? Просто я сейчас глянул – у меня вышло. Может у браузера вашего проблемы с этим narod.ru бесплатным?

Первичная цель – моделирование зрительного восприятия человека. Меня больше привлекает биология.

Марр – классик, но мне больше нравятся работы Юлеша. Мне кажется, Юлеш лучше чувствовал суть вопроса. Или, если хотите, Юлеш более гениален. А Марр слишком сухо все пытался формализовать. Мне было очень тяжело читать его работы. С другой стороны, умер он совсем молодой (:
Насколько я понимаю, критика модели (моделей) Марра, которую реализовал его ученик Grimson, последовала еще в конце 80-х, непосредственно после реализации. Я хочу отметить следующие 2 момента в моделях Марра, которые мне не нравятся. 1. Нельзя обрабатывать полупрозрачные стереограммы (эту проблему решил Prazdny несколько позже).
2. Сравнение частей стереограммы идет поконтурно. Между тем, мне известно несколько работ, которые показывают, что сравнение осуществляется именно попиксельно. Один из примеров – статья Mallot и Arndt. Они предъявляли стереограмму с неравномерно освещенным цилиндром. С точки зрения Марра (легко проверить, скопировав их стереограмму в CorelDraw и выбрав опцию «контура», что нет контуров в смысле Марра) фузия невозможна. Между тем, стереоизображение такого цилиндра легко видимо.

Т.о. к моделям поконтурного стереопсиса я отношусь скорее негативно. Моделей структурного стереопсиса я не встречал. Интуитивно кажется, что они должны отражать некую высокоуровневую мыслительную деятельность. Вы не дадите какую-нибудь ссылку, чтобы я мог ответить предметно? Открыв этот топик, хочется узнать как можно больше нового.

Slava
Posts: 2082
Joined: Tue Apr 20, 2004 9:20 am
Location: Moskow

Post by Slava » Thu Jun 16, 2005 6:45 am

Sevolod Ср Июн 15, 2005 11:55 pm
<...мне больше нравятся работы Юлеша. Мне кажется, Юлеш лучше чувствовал суть вопроса. Или, если хотите, Юлеш более гениален...>

Присоединяюсь.
PS ========================

Комбинатор
Posts: 858
Joined: Fri Jan 16, 2004 4:47 pm
Location: Санкт-Перербург <=> Париж

Post by Комбинатор » Thu Jun 16, 2005 9:47 am

Sevolod wrote:Идеи восстановления трехмерных сцен с использованием алгоритмов, подобных моим, были у Юлеша (Julesz) еще в его первой программе AUTOMAP-1. Если вам интересно - я выложу (кину куда-нить) краткий перевод.
Был бы очень благодарен. Можете кинуть прямо на мыло, на адрес combinator.собака.fromru.com
Sevolod wrote: Я почитаю подробнее и потом отвечу подробнее.
ОК. Спасибо.

У Марра, конечно, есть слабые места, но его заслуга, на мой взгляд, заключается в том, что он одним из первых понял необходимость переключения с изучения работы системы зрительного восприятия на уровне её конкретной нейронной организации, на уровень собственно информационных потоков и алгоритмов переработки информации, которые могут быть реализованы независимо от конкретной аппаратной платформы.

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Thu Jun 16, 2005 11:01 am

Sevolod wrote: Сорри, что публикации не скачиваются.
Странно, сейчас скачиваются все...
Кстати, спасибо за диссертацию. Пока бегло посмотрел - весьма интересно. Как только появится возможность, прочитаю целиком :wink:

Sevolod wrote: Первичная цель – моделирование зрительного восприятия человека.
Жаль :D
Просто я рассматриваю зрительную систему человека как подсказку, которой можно воспользоваться, но которую необязательно воспроизводить.
(это я к тому, что если я в разговоре скажу, что для реализации стереозрения было бы неплохо использовать то-то и то-то, то это вовсе не значит, что я имею в виду, что именно это реализовано у человека).
Sevolod wrote: Я хочу отметить следующие 2 момента в моделях Марра, которые мне не нравятся. 1. Нельзя обрабатывать полупрозрачные стереограммы (эту проблему решил Prazdny несколько позже).
2. Сравнение частей стереограммы идет поконтурно. Между тем, мне известно несколько работ, которые показывают, что сравнение осуществляется именно попиксельно. Один из примеров – статья Mallot и Arndt. Они предъявляли стереограмму с неравномерно освещенным цилиндром. С точки зрения Марра (легко проверить, скопировав их стереограмму в CorelDraw и выбрав опцию «контура», что нет контуров в смысле Марра) фузия невозможна. Между тем, стереоизображение такого цилиндра легко видимо.
Хм... я немного неточно выразился. Сами по себе работы Марра по стереозрению далеко не панацея. Но я имел в виду его концепцию стереозрения в контексте его общей теории зрения человека.
В моем понимании, он довольно четко показал, что стреозрение неотделимо от общей цепочки интерпретации изображений зрительной системой. О чем это говорит? О том, что если есть некоторая проблема для стереозрения, например, проблема прозрачности, то это общая проблема для всей зрительной системы. Она не должна отдельно решаться для "модулей" стереозрения, формы из текстру, формы из затенения и т.д. Вместо этого должно строиться общее представление изображения сцены, включающее понятие прозрачности. А различные "модули" лишь уточняют описание сцены в рамках этого представления. Возможно, Марр "не угадал" место в этом представлении, на которое нанизывается "модуль" стереозрения. Хотя он также приводил убедительные доводы и в пользу того, почему стереозрение не должно реализовываться кооперативными алгоритмами, действующими на пиксельном уровне.
Мое мнение (хотя я не специалист в области стереозрения, так что своему мнению сам не очень доверяю), что стереозрение работает на всех уровнях абстракции - контурном, пиксельном, структурном, уровне составных структурных элементов и т.д. Марр исходил из контурного уровня и объяснил ряд феноменов, при этом, очевидно, что для многих типов изображений, на которых контуры слабые или отсутствуют, такой подход работать и не будет. Многие авторы используют низкоуровневые пиксельные представления для построения карт диспаратности. Но, как показывает опыт, такие методы, с технической точки зрения, неробастны и тоже далеки от совершенства. Однако же, если вслед за Марром пытаться строить общее представление изображений, то кто сказал, что в следующий уровень абстракции после пиксельного должны входить только контуры? Конечно, туда должны входить и характерные элементы других типов. Вот используя такое общее иерархическое представление может быть достигнут робастный стереопсис: сначала "забираемся" на тот уровень абстракции, на котором элементы на стереопаре надежно отождествляются, а потом спускаемся ниже, уточняя эти отождествления и распространяя диспаратности на другие точки изображения. Конечно, если на изображении отсутствуют характерные элементы, то придется работать на самом нижнем уровне...

Sevolod wrote: Т.о. к моделям поконтурного стереопсиса я отношусь скорее негативно. Моделей структурного стереопсиса я не встречал. Интуитивно кажется, что они должны отражать некую высокоуровневую мыслительную деятельность. Вы не дадите какую-нибудь ссылку, чтобы я мог ответить предметно?
К сожалению, таких работ я не встречал... :P
Возможно, до структурного уровня в целях стереопсиса добираться излишне.
Хотя сам я один раз разрабатывал и реализовывал алгоритм структурного стереопсиса. Проблема была в следующем. Необходимо было выполнять обзор рабочего пространства робота на автоматизированном производстве в целях обнаружения появления посторонних предметов в области передвижения руки-манипулятора (в таких случаях требовалось выполнить остановку робота, чтобы избежать его поломки). Корреляционные методы, использовавшиеся до нас, слишком сильно "шумели": появлялись отдельные точки или группы точек с ложной диспаратностью, и они могли быть отождествлены как инородный объект (хотя относились к полу - камера стояла на потолке и смотрела вниз). В общем, требовалось очень быстро и робастно решать такую ограниченную задачу стереозрения: диспаратности для всех точек изображения были вовсе не нужны: если появлялся какой-то объект, то он на фоне пола имел вполне четкий контур. В общем, производилось выделение контуров и на их основе строились структурные элементы (их использование позволило достичь еще большей скорости работы и робастности). Благодаря тому, что сопоставлялись структурные элементы, неопределенности в диспаратности практически не возникало и никакой итеративной оптимизации выпонять не нужно было. Далее решения уточнялись сначала на уровне контуров путем чамферного матчинга, а потом - на уровне пикселей (вплоть до субпиксельной точности), но на этом уровне неопределенности в диспаратности уже были разрешены и требовалось лишь уточнение значение, то есть опять можно было обойтись без итеративности (была очень важна скорость).
В общем, подход сработал и дал неплохие результаты (не знаю, правда, дошло ли дело до внедрения). Конечно, решалась весьма ограниченная задача стереозрения (никаких прозрачных поверхностей, случайных стереограмм и т.д.) и никто не говорит, что что-то похожее делается у человека, но кое-какие полезные выводы можно сделать и для "теории".
По результатам работы статьи нет, так как сия интеллектуальная собственность была передана заказчику. Есть технических отчет, но я не уверен насчет возможности его распространения. :(
"Кто знает, тот делает, кто не знает, тот учит"

Inex
Posts: 1897
Joined: Mon Jan 05, 2004 10:33 am
Location: Санкт-Петербург

Post by Inex » Thu Jun 16, 2005 11:13 am

Комбинатор wrote:
Sevolod wrote:Идеи восстановления трехмерных сцен с использованием алгоритмов, подобных моим, были у Юлеша (Julesz) еще в его первой программе AUTOMAP-1. Если вам интересно - я выложу (кину куда-нить) краткий перевод.
Был бы очень благодарен. Можете кинуть прямо на мыло, на адрес combinator.собака.fromru.com
И мне, и мне :lol:
"Кто знает, тот делает, кто не знает, тот учит"

Locked

Who is online

Users browsing this forum: No registered users and 1 guest