Вероятность успеха при обучении нейронной сети

Форум для предварительного обсуждения тем.
Прежде чем организовать обсуждение в отдельном форуме, полезно убедиться, что четко понимаешь о чем говоришь.
Locked
monax
Posts: 19
Joined: Sat Mar 17, 2007 9:04 pm
Contact:

Вероятность успеха при обучении нейронной сети

Post by monax » Mon May 19, 2008 7:30 pm

Где можно найти оценки вероятности того, что нейронная сеть правильно обучится, для уже существующих структур сетей?

Как рассчитывается такая вероятность для нового типа сети?
<a href="http://tinycode.ru/">browser mini-game</a>

Lex
Posts: 1862
Joined: Thu Aug 26, 2004 8:12 pm

Post by Lex » Tue May 20, 2008 8:24 am

Решение задачи на нейросетях худшее из возможного.
весь мир, бензин и спички ;)

Shuklin
Posts: 339
Joined: Thu Jun 16, 2005 3:41 pm
Location: Харьков
Contact:

Post by Shuklin » Tue May 20, 2008 8:47 am

Lex wrote:Решение задачи на нейросетях худшее из возможного.
Могу в некоторой степени согласится с этим, если говорить об обучаемых ИНС (персептронах с бакпроп) . Если же мы говорим о необучаемых, то это вовсе не так. Необучаемые означает что их структура синтезируется или программируется однозначным и детерминированным алгоритмом, дающим гарантированный результат в 100% случаев для которых он расчитан. Если задача попадает в область допустимых значений, ИНС дадут 100% гарантированное верное решение. Однако тут уже начинается философский спор можно ли считать такие стурктуры ИНС, иногда их называют автоматы. Это уже зависит от личных предпочтений авторов, я вслед за фон-Нейманом предпочитаю называть такие структуры ИНС Маккаллока-Питтса. Или даже ИНС фон-Неймана.

Sevolod
Posts: 65
Joined: Mon Jun 13, 2005 12:39 pm
Location: Санкт-Петербург
Contact:

Post by Sevolod » Tue May 20, 2008 8:05 pm

Хочу отметить, что в необучаемых ИНС типа двунаправленная ассоциативная память (ДАП) использование простых детерминированных алгоритмов не дает 100% гарантированного верного запоминания. Существуют формулы для вычисления средней емкости сети.

Egg
Posts: 2693
Joined: Fri Jan 02, 2004 9:13 pm
Location: Boulder, CO
Contact:

Post by Egg » Tue May 20, 2008 8:13 pm

Sevolod wrote:Существуют формулы для вычисления средней емкости сети.
вы не в том месте вычисляли... существует страна, в которой законы природы, а так же информационные технологии протекают совершенно иначе, чем в прочем мире и уж тем более в С.-П.

З.Ы. уверен, что названные 100% - это минимум...
Давайте уже отделять котят от котлет!

РЫМ
Posts: 27
Joined: Sat May 03, 2008 2:13 am
Location: из народа

Post by РЫМ » Tue May 20, 2008 9:11 pm

есть конечно нейросетевые парадигмы для функционально законченных случаев для них указанные 100 % обязательны. но есть и другие, логика которых далека от совершенства, зато они примечательны тем что пыхают терминологическими войнушками :) в немалой степени потому что терминаторы-парадигматики обозревают НС тематику со своей колокольни. спокойней надо к этому относиться, ведь все в курсе что основные ниши здесь застолблены полста лет назад - http://wm-help.net/books-online/book/25102/25102-3.html

monax надо хотя бы уточнить какой класс НС рассматривается?

Egg
Posts: 2693
Joined: Fri Jan 02, 2004 9:13 pm
Location: Boulder, CO
Contact:

Post by Egg » Tue May 20, 2008 9:21 pm

РЫМ wrote:спокойней надо к этому относиться
куда уж спокойнее, если первую модель нейрона через запятую употребляют с машиной фон Неймана, все это называют искусственными нейронными сетями без обучения и говорят о гарантированности решения...
:) :) :)

я так понимаю, что алгоритм - это теперь ИНС... :) :) :)
Давайте уже отделять котят от котлет!

monax
Posts: 19
Joined: Sat Mar 17, 2007 9:04 pm
Contact:

Post by monax » Thu May 22, 2008 5:15 am

monax надо хотя бы уточнить какой класс НС рассматривается?
Мне нужны ИНС, которые могут проводить классификацию данных на основе ограниченной информации об этих данных.
<a href="http://tinycode.ru/">browser mini-game</a>

Хмур
Posts: 2552
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu May 22, 2008 7:01 am

Позвольте пару общих, 'историко-философических' замечаний, одно методологическое и одно более конкретное по предмету. -

Помнится сначала Тьюринг рассматривал вычисления на чём-то вроде нейросетевой машины, архитектура Неймана появилась
позже, как некое радикальное упрощение (с потерей некоторых возможностей). Еще помнится, что еще в 40ые наши аутопоэзы
печатались вместе с Маккалоком-Питсом.
Мне кажется разговоры о 'плохости' нейросетей - пустое.. cети разные, нейроны разные, способы обучения разные.. это
методология, для многих задач её термины и понятия - естественны.. если залезть 'внутрь' нейроалгоритмов - то, конечно,
останется лишь вычматематика..
Есть один нюанс. - Cети не обязательно сводимы к CЛАУ с эвристическими приемами работы с 'большими' матрицами, часто
они представляют дифференциальную динамику общего вида, выражаемую итерационными процедурами; - но суть в том, что некоторые
классы машин - клеточные автоматы, напр. - не представимы, не вычислимы аналитически. Их приходится исследовать в лоб,
экспериментально.. какая-бы линейная алгебра не была базой, но генерируемые конфигурации, их свойства, исследуются НА ДРУГОМ
УРОВНЕ, иными средствами..
Имеет смысл ознакомиться с общей теорией (а единой теории - метатеории - еще нет) статистического обучения нейросетей.
Можно обратить особое внимание на понятие VC-измерения, связанное с оценокй вычислительной мощности семейства функций
классификации (п. 2.14-.15 у Хайкина).

Lex
Posts: 1862
Joined: Thu Aug 26, 2004 8:12 pm

Post by Lex » Thu May 22, 2008 8:19 am

monax wrote:Мне нужны ИНС, которые могут проводить классификацию данных на основе ограниченной информации об этих данных.
Это как? Думаю что-бы провести классификацию крокодилов по длине хвоста, их всетаки придется поймать и померить им хвосты ))
весь мир, бензин и спички ;)

Хмур
Posts: 2552
Joined: Mon Jan 10, 2005 7:08 pm
Location: CПб

Post by Хмур » Thu May 22, 2008 8:32 am

Запросто. Постулируем самый длинный хвост, придумываем обоснованное распределение по длине хвоста (самый хвостатый самый
привлекательный, самый сильный, но и самый рисковый по сердечным осложнениям :) ). Cтроим модель корреляции длины хвоста
и прочих признаков. Вписываем модель в ареал. Моделируем по Монте-Карло там разные сценарии эволюции различных возможных
исходных распределений (типа потоки охотников, болезни, засухи, циклы моды на крокодиловую бижутерию, строгость законов по
охране etc), кластеризуем результаты, проводим исследование вариаций, пермутаций.. предъявляем устойчивые результаты.. :) :)

monax
Posts: 19
Joined: Sat Mar 17, 2007 9:04 pm
Contact:

Post by monax » Fri May 23, 2008 1:34 pm

2Хмур, ну именно такой подход мне и нужен. Какие архитектуры ИНС можно для этого использовать и насколько трудно будет их обучить?
<a href="http://tinycode.ru/">browser mini-game</a>

Locked

Who is online

Users browsing this forum: No registered users and 10 guests