24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Сохранен
507
30 ноября 2018
Сохранен
506
14 июня 2018
Сохранен
505
5 апреля 2021
Сохранен
504
17 августа 2020
Сохранен
503
3 мая 2021
Сохранен
503
13 декабря 2020
Сохранен
502
15 апреля 2021
Сохранен
502
21 апреля 2021
Сохранен
492
24 марта 2018
Сохранен
97
Главный прорыв десятилетия! — Пару дней назад учёные из MIT представили революционную архитектуру глубокого обучения KAN, которая произвела фурор среди исследователей, став настоящей сенсацией. Говорят, что возможно это самый грандиозный прорыв в ИИ за последние 50 лет. Многие его окрестили, как Deep Learning 2.0 В основе всех архитектур, к которым мы привыкли, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт. А что, если мы переместим функции активации на веса и сделаем из обучаемыми? Звучит как бред, но yes, we KAN. KAN (Kolmogorov-Arnold Networks) - новая парадигма, в которой исследователи реализовали перемещение активаций на «ребра» сети. Кажется, что решение взято из ниоткуда, но на самом деле тут зашита глубокая связь с математикой: в частности, с теоремами универсальной аппроксимации и аппроксимации Колмогорова-Арнольда. KAN работает намного точнее, чем MLP гораздо большего размера, и к тому же лучше интерпретируется. Авторы KAN доказали, что ему требуется во много раз меньше нейронов, чтобы достичь точности MLP. Также KAN гораздо лучше генерализует данные и лучше справляется с аппроксимацией сложных математических функций (мы увидели это на примерах), у него, можно сказать, "технический склад ума". В статье исследователи также показали, как KAN помогает решать дифференциальные уравнения и (пере)открывает законы физики и математики. Единственный минус: из-за обучаемых активаций тренится все это дело в разы дольше, чем MLP. Но это не точно, так как исследователи пока даже не пытались провести оптимизацию скорости обучения. Возможно сегодня мы наблюдаем рождение Deep Learning 2.0. Ведь такой подход меняет вообще все, от LSTM до трансформеров. Эпоха AGI теперь становится куда ближе. Тут подробнее простыми словами: https://datasecrets.ru/articles/9 Ссылка на препринт: https://arxiv.org/abs/2404.19756 Код тут: https://github.com/KindXiaoming/pykan
17 января 22:52
Сохранен
52
1 июля 2021
Сохранен
50
29 января 8:39

Отзывы и предложения