24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна.
Подробности случившегося. Мы призываем всех неравнодушных
помочь нам с восстановлением утраченного контента!
Немного истории
Как всем известно в 1998 году была разработана модель LeNet, содержащая 60 тысяч параметров.
12 лет назад OpenAI продемонстрировала первую версию GPT со 110 миллионами параметров.
29 месяцев назад была выпущена GPT-2, показавшая прорыв в качестве текстов в полученных ответах и оперирования с языковыми контекстами, содержащая 1,75 миллиардов параметров.
С 2020 года OpenAI выпустила новую языковую модель GPT-3 с которой играются до сих пор и в которой уже 175 миллиардов параметров.
За прошедшие пару лет технологии, методы и алгоритмы обучения и оптимизации (как и аппаратура) достигли существенного ускорения в обучении и в дальнейшем использовании GPT архитектуры.
GPT-4
В новой GPT-4 ожидается от 1 до 10 триллионов параметров (слухи разные в оценке), учитывая что модель теперь будет разряженной (sparse), так же прогнозируется сокращение стоимости генерации контента до 1 цента за 1400 слов. Это будет масштабный рост на той же архитектуре что и GPT-3, GPT-3.5, но при этом GPT-4 обучается на существенно большем объеме текстов (солидный кусок Интернета), существенно дольше (около 2-х месяцев на новом железе и алгоритмах) и содержит существенно больше параметров. После введения всех оптимизаций, обучение GPT-4 стало намного дешевле GPT-3 и обошлось "всего" в $1-10M.
Большим нововведением станет встроенная частичность (sparse) в работе модели, когда не все нейроны будут задействованы для генерации ответа, сокращая время и стоимость генерации, делая возможным различные ценовые планы в зависимости от требуемого качества. Еще одним слухом является то, что сама модель может оказаться мультимодальной (то есть создавать не только текст, но и изображения, видеоряд и аудиоряд).
В новой модели по прежнему можно будет отвечать на заданные запросы, генерировать контент, сокращать текст, сохраняя смысл, выполнять перевод на разные языки, объяснять сложные понятия на простом, доступном любому языке с уточняющими вопросами, создавать идеи с нуля, совмещая разные концепты и заданные контексты и ситуации, включая бизнес стратегии, поздравительные открытки, темы для блогов, планы на отпуск, сюжеты для рекламы, сюжеты историй и рассказов, боты для общения и т. п.
Скот Штен (Scott Stein) - технический директор Microsoft получил ранний доступ к новой модели GPT-4 и он полностью разделяет мнение, что предел увеличения количества параметров даже еще не обозначен и качество обучения даже не начало замедляться с ростом количества параметров. Это означает, что дальнейший рост модели по прежнему будет привносить существенное увеличение качества ее работы. Скотт ожидает, что 2023 год будет первым успешным годом коммерческого использования GPT моделей и гигантским скачком в качестве генерируемого контента.
Психологу и ученому когнитивисту Гарри Маркусу (Gary Marcus), известному по критике больших языковых моделей-трансформеров предоставили предварительный доступ к моделе GPT-4 и он сообщил что это "взорвет вам мозг и полностью затмит собой GPT-3. GPT-4 выглядит монстром, обученным за огромном куске Интернета"
Бета доступ будет открыт уже во второй половине 2023 года.
Ожидаемое влияние
Так как это прямая атака на поисковый гигант Google, в компании сейчас создан комитет по предотвращению падения поискового трафика, так как 80% всей выручки компании идет от кликов на объявления в поисковой выдаче. Если модель прямо сразу выдает правильные ответы по делу (да еще и с уточнениями), то нет необходимости что-то кликать и куда-то переходить. Поэтому часть запросов с рекламными переходами, связанными с получением и уточнением знаний могут серьезно сократиться.
Как мы все помним, Google основала Isomorphic Labs в 2021, чтобы перевести цифровую биологию на новые рельсы и осуществить научные прорывы в области молекулярной биологии, разработке лекарств, белков и проч. Похоже, что AlphaFold 3 не за горами со всеми интегрированными новыми подходами и оптимизациями, достигнутыми в GPT-4.
Понимая, какой тектонический сдвиг во многих индустриях ожидается в этом и следующем году, OpenAI совместно с Microsoft создали на 100 миллионов долларов инкубатор для стартапов в области использования и применения GPT моделей с предоставлением раннего доступа к этому монстру. Так же Microsoft активно работает над внедрением GPT модели в поисковых движок Bing, стараясь обойти Google.
Помимо этого сильно изменятся способы работы во многих профессиях как научных (отработанные подходы напрямую можно переложить на молекулярную биологию, разработку лекарств и исследования мозга, обратное реконструирования текстов по мыслям, озвучивание и описание немого кино), так и креативных (создание кода, изображений, описаний и сценариев чего угодно). Ожидается появление новых рабочих профессий, связанных с правильным созданием запросов к таким моделям или увязыванием нескольких моделей в один большой процесс создания контента.