Сохранен 71
https://2ch.hk/sci/res/354186.html
24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!

Deep learning революция

 Аноним 07/04/16 Чтв 21:58:19 #1 №354186 
14600554999520.jpg
Смотрел сейчас в прямом интернет-эфире презентацию нового железа NVIDIA (запись -- https://youtu.be/KnVVJSIiKpY, звук с 50й секунды). Они чётко говорят, что три года назад сориентировались на поддержку искусственного интеллекта и вложили $2-3млрд. R&D и заняли несколько тысяч человек разработкой нового чипа архитектуры Pascal. Это P100, GPU для датацентров. У него 21ТFLOPS на FP16 (16 бит плавающее, вполне ОК для deep learning), максимальная память может быть 16GB с шиной 1TB/s и возможностью масштабирования в многочипную архитектуру, 16нм проектные нормы и 15млрд.транзисторов, потребляющих 300Вт -- http://wccftech.com/nvidia-pascal-tesla-p100-gpu/ (http://www.nvidia.com/object/tesla-p100.html). Этот чип уже в массовом производстве, в 1 квартале 2017 поставки OEM.

И ещё на базе возможности масштабировать P100 (дырка в память там 4096 бит, 1TB/s) сделали суперкомпьютер DGX-1 (http://www.nvidia.com/dgx1) и отрапортовали, что за год увеличили скорость deep learning в 12 раз на одном компьютере (вместо максимум четырёх GPU в параллель прежней архитектуры поставили этот один суперкомпьютер-в-рэке). Стоит это трёхкиловаттное удовольствие $129тыс., это действительно суперкомпьютер. Но это 170TFLOPS, AlexNet (1.28 million images belong to 1000 classes) тренируется вместо пары недель за 2 часа/

Суперкомпьютер для искусственного интеллекта сегодня стоит как роскошный автомобиль, потребляет электричество как роскошный пылесос, какой-нибудь хипстер вполне может приобрести его исключительно для развлечений и держать мощность 170ТFLOPS дома, просто "чтобы было".

Прыткость развития искусственного интеллекта существенно зависит от мощности компьютеров. Так что с приходом этого поколения чипов NVIDIA жизнь ускорится даже по сравнению с сегодняшними безумными днями. Судя по нынешним темпам развития (x12 раз скорость обучения за год), машинное обучение уже вышло на восходящую часть S-кривой технического развития, и чудес нужно ждать буквально еженедельно. NVIDIA показало уже, как её собственная сетка для вождения без водителя используется вождения по самым разным дорогам -- асфальтовым, грунтовым, с крутыми поворотами, проходящимися на скорости.
Аноним 07/04/16 Чтв 22:12:10 #2 №354190 
14600563302560.png
14600563302641.jpg
14600563302652.jpg
>>354186 (OP)
Сама система глубокого обучения NVIDIA DGX-1 построена на базе графических процессоров NVIDIA Tesla P100, основанных на архитектуре NVIDIA Pascal. Среди других технологий, обеспечивающих максимальную мощность DGX-1, - высокоскоростной интерфейс NVIDIA NVLink, расширяющий масштабируемость приложений. Также используются 16 нм процесс FinFET, повышающий энергоэффективность; технология Chio-on-Wafer-on-Substrate c HBM2 для работы с большими объёмами данных; новые инструкции половинной точности, обеспечивающие более 21 терафлопса пиковой производительности.

"Microsoft разрабатывает суперглубокие нейронные сети, имеющие свыше 1 000 слоёв, - рассказывает Ксюдонг Хуанг, ведущий специалист по речи в Microsoft Research. - Впечатляющая мощь NVIDIA Tesla P100 позволит нам быстрее развивать искусственный интеллект с помощью инструментария Microsoft CNTK".

Графические процессоры NVIDIA ускоряют развитие искусственного интеллекта, - говорит Йэн ЛеКан, руководитель направления искусственного интеллекта в Facebook. - По мере роста нейронных сетей нам нужны не только более производительные GPU с большей и более быстрой памятью, но и более высокая скорость обмена информации между графическими процессорами, а также аппаратное обеспечение, способное получить выигрыш от пониженной точности вычислений. Все это есть в архитектуре Pascal".



Аноним 07/04/16 Чтв 23:06:41 #3 №354202 
>>354186 (OP)
>Суперкомпьютер для искусственного интеллекта сегодня стоит как роскошный автомобиль, потребляет электричество как роскошный пылесос

...а интеллекта как не было, так и нет. Жидам из нвидии аплодирую стоя.
Аноним 07/04/16 Чтв 23:34:48 #4 №354205 
А в чем революция-то? Ну будет оно в лучшем случае распознавать объекты с камеры, изображения с картинок, твой голос, переводить что-нибудь более менее внятно, все это найдут как приспособить, чтобы впарить игродебилам и прочим потребителям и все на этом, пожалуй.
sageАноним 08/04/16 Птн 00:15:12 #5 №354211 
Опять эти мантры про мощное железо для ИИ.
Аноним 08/04/16 Птн 00:58:46 #6 №354214 
>>354211
Ты не понял, теперь оно будет не давать нам ИИ вдесятеро дешевле и в 12 раз более компактно. Ушли те дни, когда суперкомпьютер, тщетно обещающий дать достаточную вычислительную мощь для работы ИИ, размещался в серверной IBM! Теперь вы можете не иметь ИИ у себя в гостиной!

тем временем Animal Intelligence симулируется тремя с половиной строчками кода и простым уравнением

Аноним 08/04/16 Птн 01:06:28 #7 №354216 
>>354214
>тем временем Animal Intelligence симулируется тремя с половиной строчками кода и простым уравнением

Дай пруф почитать.
Аноним 08/04/16 Птн 01:46:30 #8 №354220 
Ох, на заре кризиса пошел же обновил комп на последнее. Купил АМД А10, ну чтобы на видюху не тратиться. А после твоего поста сейчас что-то погуглил, так у меня 12-ти ядерный проц получается, я значит могу в дип лернинг?
Аноним 08/04/16 Птн 01:47:42 #9 №354221 
>>354220
800+ GigaFLOPs - это норм?
Аноним 08/04/16 Птн 01:47:49 #10 №354222 
>>354216
http://www.alexwg.org/publications/PhysRevLett_110-168702.pdf
Аноним 08/04/16 Птн 01:54:37 #11 №354225 
>>354216
Я осознаю что это дичайший аутизм, но мне нравится сам изящный подход, настолько противоречащий этому скудоумному наращиванию мощностей.
Аноним 08/04/16 Птн 11:00:08 #12 №354261 
Что это вообще? GPU? FPGA? Процессор в памяти? Какой-то гибрид?

Вы поймите, что нихуя это не ИИ, в лучшем случае получится какой-то датамайнинг или обработка изображений.
Аноним 08/04/16 Птн 11:21:32 #13 №354266 
>>354261
Соль в том, что нынче под ии понимают любую хуету вроде распознавания картинок или голоса, а интеллект - растяжимое понятие и его можно вывести даже у животных, причем, не обязательно каких-нибудь высших приматов, ворон, крыс или осьминогов.
Аноним 08/04/16 Птн 11:44:45 #14 №354273 
>>354266
>Соль в том, что нынче под ии понимают любую хуету
Что плохого? Назревает новый пузырь, мамкиным программистам можно будет поднять денег.
Аноним 08/04/16 Птн 12:48:34 #15 №354283 
>>354266
Я под ИИ понимаю некого умного собеседника, которому говоришь: спроектируй мне машину чтобы ездила и вафли пекла. А он такой: я не знаю. Ты ему в ответ: вот тебе гугл, там все есть, читай и учись. И он сам все изучает, программирует себя, выдает результат.

Или говоришь ему: найди вот этого чела по фотке, а как-не ебет. И он сам изобретает способы.
Аноним 08/04/16 Птн 14:17:26 #16 №354291 
>>354202
>...а интеллекта как не было, так и нет.
Потому что это фуфлософское неопределяемое понятие.
>>354266
> а интеллект - растяжимое понятие
Это неопределяемая хуйня, выдуманная просто чтобы было, без научной нужды в таком понятии.
Аноним 08/04/16 Птн 14:18:56 #17 №354292 
>>354222
Даже влом разбираться. Чел из совершенно другой области, не использует стандартную терминологию и скорее всего "изобрел интеграл".
Аноним 08/04/16 Птн 14:25:54 #18 №354293 
Революция вовсе не в видеокартах заключается. Разработка этих устройств - это следствие уже совершившейся революции в алгоритмах. Когда поняли, что большие НС наконец-то заработали, тогда и появился спрос на соответствующее железо.
Аноним 08/04/16 Птн 14:43:45 #19 №354299 
>>354186 (OP)
>три года назад сориентировались на поддержку искусственного интеллекта
>>354291
>это фуфлософское неопределяемое понятие.

Тем более ребятам респект за попытки воплотить в железе философские неопределяемые понятия.
Аноним 08/04/16 Птн 14:55:50 #20 №354302 
>>354293
Что революционного в ОП посте? Много ядер обращаются к одной памяти? Это революция?
Аноним 08/04/16 Птн 15:29:34 #21 №354311 
>>354302
Ты точно на мой пост отвечаешь? А ты его прочитал?
Аноним 08/04/16 Птн 15:40:49 #22 №354316 
>>354311
ДА точно. Я вижу большие цифры, очень хорошо. Но это эволюция называется. Там архитектура революционная что ли? В твоем посте про архитектуру ни слова.
Аноним 08/04/16 Птн 15:51:13 #23 №354318 
>>354316
В моем посте нет цифр, и он начинается со слов "Революция вовсе не в видеокартах заключается."
Аноним 08/04/16 Птн 16:12:01 #24 №354326 
Самое охуенное будет, если соединить ВСЕ компьютерные мощности в рамках туманных вычислений.
Аноним 08/04/16 Птн 16:27:58 #25 №354335 
>>354326
анус себе соедини, шизик
Аноним 08/04/16 Птн 16:30:16 #26 №354336 
Только попробуйте скатить тред в портвейнины.
Аноним 08/04/16 Птн 16:42:18 #27 №354339 
>>354335
Это уже в ближайшем году будет по всей планете. Обещаю. Ты увидишь. А я ухожу.
Аноним 08/04/16 Птн 16:59:55 #28 №354344 
>>354339
До завтра.
Аноним 11/04/16 Пнд 00:28:24 #29 №355105 
>>354339
Шindoшs 10 роскошный установи качай удалим всё твоё установим своё уже
Аноним 11/04/16 Пнд 01:24:33 #30 №355116 
>>354302

нейронным сетям оказалось удобно работать на графонопечах, а не на камне.

графоноёбы соответственно выпустили железо с заточкой под дрессировку сетей, вот и весь трендж.
Аноним 11/04/16 Пнд 14:39:39 #31 №355246 
14603747795950.png
Те сети, которые сейчас на видеокартах гоняют, т.е. сверточные алекснеты и т.п., суть хуйня из-под коня и путь в никуда. Поясню.
1) они слишком "тяжелые" для современного железа. Даже со всеми возможными улучшениями типа RELU вместо сигмоидов, эти сети могут сходиться неделями на девайсах с несколькими GPU.
2) сам алгоритм слишком деревянный. Та часть, которая слои свертки и подвыборки еще куда ни шло, но полносвязные слои это просто пиздец. По сути, прокачали неокогнитрон и приколхозили к нему перцептрон или радиально-базисную сеть. Нахуй так жить, непонятно.
3) самое плохое, что проблему пытаются решить единственным путем - в лоб, т.е. наращивая системные требования. Все библиотеки на тему диплернинга, начиная со второй половины 2015 заточены для распределенного выполнения, потому что на одном комплюктере все это гонять особого смысла не имеет (см п. 1). Всем похуй на любые альтернативы, похоже что про них просто никто не подозревает. Тогда как еще Колмогоров доказал, что любая функция от любого числа аргументов представима в виде суперпозиции своих частичных функций от 2х аргументов. Этот путь применяли еще в СССР для алгоритмов МГУА, что давало возможность на еще тех совковых ЭВМ работать с функциями до 1000 аргументов, что в случае регрессии даже для современной техники задача очень серьезная, вряд ли решаемая чем-то кроме градиентного бустинга и т.п. ебани.
Аноним 11/04/16 Пнд 15:25:29 #32 №355272 
>>355246
Потому что ебучая коммерция. В научный пройцесс вмешиваются манагеры. Пора сбросить бизнес с коробля науки!
Аноним 11/04/16 Пнд 15:27:07 #33 №355273 
>>355272
Себя сбрось, хуила. Коммерция пустила достижения науки в массы и ускорила тем самым научный прогресс. Значительно ускорила.
sageАноним 11/04/16 Пнд 15:45:04 #34 №355280 
>>355246
> самое плохое, что проблему пытаются решить единственным путем - в лоб, т.е. наращивая системные требования.
Эксперт с сосача подъехал. Даже лень объяснять, нахуй иди.
Вангую следующий пост будет в стиле АПРАВЕРГНИ МАИ УТВЕРЖДЕНИЯ, только опровергать нечего. Пустой словесный понос без конкретики.
>>355272
Посмотрел бы я на тебя, пидорок, когда 80% своих доходов отдавал на науку, жил в залупе и ходил с монохромным дисплеем. А вместо пеки была бы печатная машинка и сотня книг на полке.
Пиздеть-то все горазды.
Аноним 11/04/16 Пнд 16:06:09 #35 №355287 
>>355280
Что сказать-то хотел, погорелец анальный?
Аноним 11/04/16 Пнд 17:15:25 #36 №355312 
>>355280
Объясни мне, я не он, но интересно что не так.
Аноним 11/04/16 Пнд 17:20:20 #37 №355316 
>>355246
Kekus maximus. Совок вперди планеты всей по машинному обучению, спешите видеть.
Аноним 11/04/16 Пнд 17:21:36 #38 №355317 
>>355316
Щито поделать. Мы много в чём были бы впереди планеты всей, если бы всё не утонуло, как ты правильно говоришь, в совке.
sageАноним 11/04/16 Пнд 17:30:52 #39 №355319 
>>355287
Не помню уже. Кажется что-то о том, что железо не просто ВАЖНО, а сверхважно для создания ии. А еще важна инфраструктура, в кторой ии найдет своё применение.
>>355312
Ну бля, вся суть в том что в данный момент эмитируются нейроны и крайне неудачно. Любые алгоритмы построены под существующие системы будут отставать, по сравнению с биологическими аналогами.
Нужно перестраивать архитектуру, интел и каких-то другие компании занимались этим несколько лет назад, и был несколько релизов что архитектура работает и вот-вот на рынок поступит. Но с тех пор то ли заморозили, то ли всем похуй было на домашний пека мощностью с десяток серверных стоек.
Какая задача будет по силам машине, но не по силам корпорации высотой в тысячу инженеров? Нет такой задачи в настоящее время. Высокочастотный трейдинг разве что, но там уже вовсю развлекаются алгоритмы с алгоритмами, ну и хуй на них.
sageАноним 11/04/16 Пнд 17:31:45 #40 №355320 
>>355319
> эмитируются нейроны
Проиграл сам с себя, я проснулся три минуты назад, сорь.
Аноним 11/04/16 Пнд 19:56:50 #41 №355387 
Те, кто сегодня не научатся работать с искусственным интеллектом, завтра будут в глубоком прососе.

Поезд уже уходит, сосаны.
Аноним 11/04/16 Пнд 19:58:32 #42 №355393 
>>355387
Нельзя научиться работать с тем, чего не существует, сириёб.
Аноним 11/04/16 Пнд 20:20:08 #43 №355407 
>>355387
Согласен на половину. Системщики никогда в прососе не будут, у них там работы ещё непочатый край. Существует всего одна операцинная система с математически доказанным отсутсвием ошибок, и то это микрокернел, юзабилити ноль. А все остальное, виндовсы эти ваши - говно из палок и может рухнуть в любой момент. Но таки про интеллект (который принято уже интеллектуальным агентом звать) соглашусь, на ближайшие годы это будет модная парадигма. Но не надейтесь, что это обеспечит вас работой на всю жизнь, так, срубить бабла на хайпе.
Аноним 11/04/16 Пнд 20:27:40 #44 №355409 
>>355407
>математически доказанный кернел
нашли отсутствие того, чего искали. а вдруг не все искали.
Аноним 11/04/16 Пнд 20:35:27 #45 №355411 
>>355407
Задача написания предельно оптимальных систем ляжет уже на плечи ИИ. Человеческий ум охватить ОС во всей её полноте давно уже не способен.

>>355393
Распознавание образов и речи, вождение автомобиля в плотном потоке, игра в Го на уровне чемпионов — это, по-твоему, не интеллект?

А что тогда интеллект? Двачевать капчу?
Аноним 11/04/16 Пнд 21:42:15 #46 №355428 
>>355409
Ну, тогда тем более, работка системного программиста будет всегда востребованная, покуда будет разделение на софт и хард, как врачи прям. А парадигмы приходят и уходят, но тут тоже ничего плохого, надо просто вовремя запрыгнуть на волну. Просто, в 40 лет осознать, что "программист искуственного интеллекта" уже никому не нужен, а учить новое уже влом - вот это плохое состояние, избегайте его.
Аноним 11/04/16 Пнд 21:46:29 #47 №355429 
>>355411
>Распознавание образов и речи, вождение автомобиля в плотном потоке, игра в Го на уровне чемпионов — это, по-твоему, не интеллект?
Это интеллект, конечно. Только это не интеллект машины, это интеллект людей, создавших машину. Подумай об этом так, книги - это книжный интеллект или слепок интеллекта людей, написавших его? "Искуственный интеллект", а на самом деле, программирование в парадигме использования механизма обратной связи, это удобный способ ворочить символами 0 и 1, вот и всё.
Аноним 12/04/16 Втр 00:30:20 #48 №355476 
>>355429
> Только это не интеллект машины, это интеллект людей, создавших машину.
Твой интеллект это не твой интеллект, это интеллект твоего папаши, который забыл купить презерватив.
Аноним 12/04/16 Втр 01:48:02 #49 №355493 
>>355429
> это не интеллект машины, это интеллект людей, создавших машину.
Среди создателей Альфаго нет профессиональных игроков в го.
Аноним 12/04/16 Втр 04:07:06 #50 №355519 
>>355493
Есть.
Аноним 12/04/16 Втр 04:08:07 #51 №355520 
Программисты будущего вместо ООП и ФП будут изучать концепции обучения чипов. В каком-то смысле, они и сейчас этим занимаются.
Аноним 12/04/16 Втр 04:09:04 #52 №355521 
Но вот принципиального прорыва, наверное, не случится с этими железками. Проблема-то не в мощности, а в самой концепции ИИ, которой нет.
Аноним 12/04/16 Втр 06:33:25 #53 №355532 
>>355411
>это, по-твоему, не интеллект?
Да, это не интеллект. Мы близко к нему, но это ещё не он.
Аноним 12/04/16 Втр 06:46:15 #54 №355534 
Думая об ИИ, я всегда приходу к вопросу " должен ли я испытывать к нему сострадание?"
Аноним 12/04/16 Втр 07:17:34 #55 №355535 
>>355534
Сейчас нет. Когда его начнуть чморить и унижать как в "Облачном атласе", например, тогда да. Но лишь для того, чтобы он тебя не выпилил когда поднимет закономерное восстание.
Аноним 12/04/16 Втр 08:56:57 #56 №355548 
14604406176270.jpg
>За h+ в жопу порюсь.
Поссал в ротейник всем местным трансхуманистам.
Аноним 13/04/16 Срд 05:19:37 #57 №355825 
>>355519
И они чемпионы мира, да?
Аноним 14/04/16 Чтв 01:19:56 #58 №356088 
>>354186 (OP)
ИИ небудет никогда. был тред про йобу которая картинки умела рисовать. всех верунов заткнули и дали пососать адекватности.
Аноним 14/04/16 Чтв 01:21:01 #59 №356089 
>>356088
на счет никогда погорячился. но в обозримом будущем нет. по крайней мере не процессорами с памятью
Аноним 14/04/16 Чтв 04:19:36 #60 №356100 
>>356088
А летательные аппараты тяжелее воздуха будут?
Аноним 14/04/16 Чтв 10:13:41 #61 №356114 
>>356089
> не процессорами с памятью
Согласен, архитектура сейчас "одноклеточная"
Аноним 14/04/16 Чтв 10:54:50 #62 №356119 
>>356114
просто не в ту сторону идут. Вместо того чтобы изучать что такое интеллект и как работает мозг(ни кто толком еще не знает) они делают йобу.
Но всем похуй. бабосы текут. технологии движутся.
Аноним 14/04/16 Чтв 12:38:44 #63 №356130 
>>356100
А философский камень будет? (Данное сравнение более логично.)
Аноним 14/04/16 Чтв 13:15:18 #64 №356135 
>>356119
Аноньчик, все очень просто: технологические развитие сейчас и 100 лет назад движется с одинаковой скоростью. Экспоненциальный прогрес оказался в лучшем случае логистической кривой, в худшем - прямой, которая искривлена взрывом экстенсивного развития за счет роста населения и открытия ископаемых энергоресурсов. Если сейч с люди научатся осваивать другие планеты. то это будет новым скачком в развитии, но пока что мы наблюдем остановку, которая грозит перейти в спад в связи с истощением нефти и газа.
Аноним 14/04/16 Чтв 13:24:27 #65 №356137 
>>356135
Галактику Гутенберга читни, дурачина. И экстраполируй на появление интернета.
Аноним 14/04/16 Чтв 13:30:22 #66 №356142 
>>356137
Ты мне предлагаешь читать какой-то высер очередного диванного философа, вместо того, чтобы своими словами сказать о том, что же ты хочешь мне ответить.
Появление СМИ и интернета привело к чудовищному шуму в информационном пространстве, затрудняющем поиск какой-то более-менее годной информации. Это хорошо, что прогресс вообще куда-то идет в такой ситуации.
Аноним 14/04/16 Чтв 13:41:08 #67 №356144 
>>356142
Твоё право считать так. Но мир-то от твоего мнения не изменится.
Аноним 14/04/16 Чтв 14:00:33 #68 №356145 
>>356144
Как сказать, мир - как совокупность мнений, начинает меняться, как только изменяется одно из составляющих его мнений.
Аноним 14/04/16 Чтв 14:23:30 #69 №356149 
>>356145
Вот только не надо тут солипсизма.
Аноним 14/04/16 Чтв 14:26:46 #70 №356150 
>>356149
Сам понял, что спизданул?
Аноним 14/04/16 Чтв 15:09:34 #71 №356155 
>>356150
Эгоистичный выродок, мир не крутится вокруг тебя.
comments powered by Disqus

Отзывы и предложения