Просто замечательный ролик о принципах работы и обучания нейросетей - простыми словами.
Настоятельно рекомендую.
https://youtu.be/VVfFf_XW8zw
Нейросети - отличный пример самоорганизации в открытых нелинейных системах (см. Синергетика)
Этот пост - продолжение моего поста о нейросетях и неоправданном благодушии.
https://vk.com/wall7955303_9519
Многие выводы для себя я делаю интуитивно - из общефилософских представлений о мире. Тем приятнее, когда находишь конкретное подтверждение - в данном ролике.
Нашел там главное для себя:
Многие программеры (узкие спецы) любят утверждать, что все дело лишь в объёмах данных, на которых происходит обучение.
"Что нейросеть прочитала, то она и выдает, поэтому людям не нужно беспокоиться и опасаться за будущее" - их любимая фраза. 🙂
Повторю.
Это ошибочный линейный подход, который упирается в... См ссылку на прошлый пост:
https://vk.com/wall7955303_9519
Так вот.
Начиная с некоторого порога (количества параметров сети)
происходит качественный скачок.
У сети появляется принципиально новое поведение, называемое эмерджентным, которого ранее не было. В этом проявляется суть сложных нелинейных систем. Происходит та самая самоорганизация.
И сеть становится способной находить решения задач, которых раньше ей никто не показывал в качестве образца, который она могла бы использовать.
И каждая следующая модель умнее не потому, что проглотила больше информации. А потому что сама сеть имела больше параметров.
Gpt3 знала меньше чем Gpt2. Но оказалась умнее.
Т. Е. В новых моделях - с бОльшим количеством параметров -
появляются те самые - новые уровни абстракции(в результате самообучения - без вмешательства извне) о которых я и писал в предыд посте. Те самые - зачатки абстрактного мышления, способного принимать - вполне конкретные и верные решения. 🙂