AI Lab

Open Artificial Intelligence Laboratory

Добро пожаловать, Гость
Логин: Пароль: Запомнить меня
  • Страница:
  • 1
  • 2

ТЕМА: Когнитивные архитектуры в России.

Когнитивные архитектуры в России. 18 Июль 2013 19:12 #26425

  • Lex
  • Lex аватар
  • Не в сети
  • Модератор
  • Сообщений: 3810
  • Спасибо получено: 589
Какой там успех и где там решение проблемы токсичности обучения?
Утри сопли и давай к нам на тёмную сторону
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 19 Июль 2013 04:32 #26426

  • YNK
  • YNK аватар
  • Не в сети
  • Модератор
  • Сообщений: 3236
  • Спасибо получено: 163
Ну, кошек то гуглонейросеть давненько различает вполне себе успешно. Так что с обучаемостью все ок, у нее. Там по ссылке pdf-файл имеется, полюбопытствуйте на тему самообучения нейросети self-taught learning.
И да, Андрей еще раз если вас не затруднит, объясните какой смысл вы вкладываете в понятие "токсичность обучения", заранее спасибо.
"Долог путь наставлений. Краток и убедителен путь примеров" - (С) Сенека
Последнее редактирование: 19 Июль 2013 18:20 от YNK. Причина: уточнение
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 22 Июль 2013 12:37 #26430

  • Lex
  • Lex аватар
  • Не в сети
  • Модератор
  • Сообщений: 3810
  • Спасибо получено: 589
Токсичность алгоритмов обучения нейросетей вещь простая и всем знакомая. В самом простом случае это проявляется в виде процесса "переобучения". Аттрактор создаваемый в нейросети путем установления связей и верификации коэффициентов начинает размываться. Отсюда проистекает невозможность одновременной работы и самообучения сети. Что есть тупик. В более сложном случае токсичность проявляется в веде пересечения аттракторов от объектов разных классов в ходе обучения. Это приводит к разрушению аттрактора. Это и есть токсичность алгоритмов обучения в чистом виде.

Подавляется токсичность в нейросетях путем создания пространства огромной размерности. На несколько порядков превосходящего размерность всех возможных аттракторов. Что уже есть тупик номер два.

Вычислительная сложность алгоритмов оценки вероятности и степени пересечения аттракторов растет минимум по квадрату. Что есть тупик номер три.
Утри сопли и давай к нам на тёмную сторону
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 25 Июль 2013 14:15 #26434

  • YNK
  • YNK аватар
  • Не в сети
  • Модератор
  • Сообщений: 3236
  • Спасибо получено: 163
Токсичность алгоритмов обучения нейросетей вещь простая и всем знакомая
- все таки надуманное определение про токсичность, никак вы меня не переубедите, что именно в этом аспекте стоит рассуждать о действительно широко известном переобучении и обобщении нейросетей на ранние результаты.
На счет и по поводу того, что размеры сети могут быть достаточно большими так все это от погони за лучшими результатами [помянем всуе самочувствие которым они нейросети не обладают :)] тогда как можно было бы ограничиться грубым и простым решением.
"Долог путь наставлений. Краток и убедителен путь примеров" - (С) Сенека
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 28 Июль 2013 17:03 #26436

  • Lex
  • Lex аватар
  • Не в сети
  • Модератор
  • Сообщений: 3810
  • Спасибо получено: 589
Токсичность обучения термин более точный, поскольку описывает суть явления. Разрушение аттрактора соседним аттрактором. Обычно эту проблему оставляют за скобками что откровенно страусиная политика. Такие ошибки и проблемы вначале пути обычно веду в никуда.
Утри сопли и давай к нам на тёмную сторону
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 29 Июль 2013 09:26 #26441

  • YNK
  • YNK аватар
  • Не в сети
  • Модератор
  • Сообщений: 3236
  • Спасибо получено: 163
Разрушение аттрактора соседним аттрактором.
- ну дык это синергетика чистой незамутненной воды, и явление называется странный аттрактор. Когда-то участник kak неоднократно поднимал вопрос о турбулентности в рамках изучения которой эти самые странные аттракторы хорошо изучены. Только весь вопрос в переносе знания скажем из гидродинамики в коей турбулентность чуть ли не самостоятельная дисциплина в нейродинамику сетей это нетривиальная задача и пока решается плохо.
"Долог путь наставлений. Краток и убедителен путь примеров" - (С) Сенека
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 31 Июль 2013 02:00 #26443

  • Lex
  • Lex аватар
  • Не в сети
  • Модератор
  • Сообщений: 3810
  • Спасибо получено: 589
Иногда надо остановиться и трезво оценить направление пути. Соединять же нейродинамику с турбулентностью это уже за гранью разумности как таковой. На самом деле я уже знаю почему это происходит. Однако помочь мотылькам нет никакой возможности.
Утри сопли и давай к нам на тёмную сторону
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 01 Авг 2013 08:10 #26450

  • YNK
  • YNK аватар
  • Не в сети
  • Модератор
  • Сообщений: 3236
  • Спасибо получено: 163
Иногда в иные года :) Это слишком неопределенное обстоятельство чтобы на нем застопориваться. Суть же в ином. Теория нейросетей слишком мозаична, чтобы представлять из себя единое целостное учение. Законы объясняющие факты для биологических нейросетей слишком расплывчаты для аппроксимации в формальные сети. Таким образом теория ИНС не объясняет собственных законов, в итоге остается только верить в то что идем по правильному пути :)
"Долог путь наставлений. Краток и убедителен путь примеров" - (С) Сенека
Администратор запретил публиковать записи гостям.

Когнитивные архитектуры в России. 02 Авг 2013 13:56 #26457

  • Lex
  • Lex аватар
  • Не в сети
  • Модератор
  • Сообщений: 3810
  • Спасибо получено: 589
На этом фоне мне больше вериться в броуновские блуждания, что и подтверждается сторонним наблюдением. Тут западная наука поймала сама себя за хвост. Эксперты верят в нейросети, положительные оценки получают проекты по нейросетям, по нейросетям пишут больше работ которые больше цитируют, а это плодит новых экспертов. Круг замкнулся. Система жрет миллиарды и требует все больше. Чем дальше от реальности исходная идея, тем сильнее в конце концов раскрутиться грантовый вихрь. Вихрь на нейросетях на сегодня один из крупнейших.
Утри сопли и давай к нам на тёмную сторону
Администратор запретил публиковать записи гостям.
  • Страница:
  • 1
  • 2
Модераторы: Inex, YNK, Lex
Время создания страницы: 0.468 секунд