>Жаль только что арка будет медленнее в 2 раза
А почему так считаешь? Ты ведь про ллмки?
А почему так считаешь? Ты ведь про ллмки?
Гемма?
Рисовать Janus Pro.
Там шина 192 бита, 456 пропускная способность. У 3090 936 гб/c
рисовать нафиг не сдалось мультимодалкой, работа с картинками интересует ( и с видео если есть такое)
гемма - возможжно, а что они там выкатили, и совместимо ли с ламой?
Уезжаю в другую локацию на пару месяцев. Риг, ясен хуй, в подмышке не потащу. Шо делать? Неужели придется рассказывать копроратам про свои предпочтения в куме...
Но шутки шутками, а я реально уже на протяжении года сижу с сетями, периодически прямо ежедневно. Немного страшновато, вдруг неиронично ломка начнется? Посещают мысли одну 3090 куда-нибудь в рюкзак сунуть: если совсем припрет, то хоть геммабоем стану.
Но шутки шутками, а я реально уже на протяжении года сижу с сетями, периодически прямо ежедневно. Немного страшновато, вдруг неиронично ломка начнется? Посещают мысли одну 3090 куда-нибудь в рюкзак сунуть: если совсем припрет, то хоть геммабоем стану.
а что окромя ллмок эта штука могет?
а то окажется что с блендером не совместима, в игрулях говно(ля, она ж без выходов), и ради одних только ллм брать - странно...
где там нвидиа со своей 96гб вундервафлей когда продажа и какая цена?
так может риг удаленно гонять? вай нот какбы...
Организуй VPN с каким-нибудь надежным протоколом шифрования, через Shadowsocks прокинь. Лучше заплатишь за VPN, чем за токены корпоратам, да еще и сливая логи.
>где там нвидиа со своей 96гб вундервафлей когда продажа и какая цена?
128гб. Пишут, что вдвое медленнее 3090. Также пишут, что драйвера потребуют активации (у Nvidia были такие решения). Может и врут.
Бля короче либо 3090 брать, либо 5090, промежуточного варианта нет.
>Шо делать?
Арендуй. На пару месяцев (поминутно, на время использования) недорого, особенно если одну 3090 брать. Как вариант.
Странный вопрос уровня тюремных загадок, и котирование из всего множества только того ответа, который нравится. Вот и уровень тестировщиков, тут даже поиск сои не так ужасен.
Есть, интел.
> каких-то китайских видеокарта с 64gb gddr6
Очевидно потому что сделать подобное, даже со скидкой на слабую расчетную мощность - нихуя не просто вообще. Есть проекты разных ии ускорителей, в большинстве даже прототипов нет.
И главное - корпам не нужны болванки тихо пердеть с мелкой ллм, им нужны высокопроизводительные ускорители для широкого спектра задач. А рынок энтузиастов ничтожен, причем большинство из них предпочтет риг из некроты или про6000, чем ограниченную железку.
Тебе для чего?
> Janus Pro
Отборные фекалии
Удаленный доступ, можно одну карточку с собой если кусть куда воткнуть.
> там нвидиа со своей 96гб вундервафлей
У перепуков около 1.5лямов можно взять под заказ.
>промежуточного варианта нет.
>4090
Не благодари.
медленее - плохо, с другой стороны если цена будет приемлимой то можно...
И нахуя она нужна по стоимости 5090?
Совсем не вариант. Условной серверной на работе, как у какого-то анона в треде, у меня нет, а оставлять дома что-то работающее - нет уж спасибо. Я вообще отрубаю все электричество на щитке и перекрываю воду, когда уезжаю на длительный срок, и вам советую.
VPN куда, к дому? См. выше ответ тогда.
Вообще я вспомнил, что если материнку из рига в рюкзак тоже можно положить, то вот БП тащить совсем не вариант. Разве что покупать на месте...
>Арендуй
Абсолютно нет опыта в этом. Например, сразу возникает вопрос - арендатор разве не сможет зайти на машину под условным рутом и прочитать все, что читать не следует?
Арендодатель, конечно же
быстрофикс
Gemma 12/27b, Mistral 3.1 24b, Qwen 2.5 Vl 32/72b
> оставлять дома что-то работающее - нет уж спасибо
Там колхозная некрота с примотанными к теслам турбинками чтоли? Чому трястись, не выключай розетки в одной из комнат/кухне и там оставь. В худшем случае что-нибудь накрутишь что оно повиснет или потребует локального инпута, из-за чего не сможешь зайти.
> БП тащить совсем не вариант
Он компактнее материнки. Переезд на месяцы с одним лишь рюкзаком из багажа - сильно, отправь тк тогда уж.
> арендатор разве не сможет зайти на машину под условным рутом и прочитать все, что читать не следует
Там крутишь свой контейнер в автоматизированной оболочке, в которой обрезан функционал локального терминала. Только постучаться в открытые порты, там уже сам клювом не щелкай.
Не, только 5090. 3090 это бу лотарейный хлам. 5090 почти в два раза быстрее чем 3090, на 8гб больше памяти и там все новые технологии. Сейчас 270к в днс стоит с 3 летней гарантией
Ты спросил про промежуточный вариант, я его назвал. Цена в сделку не входила.
>У перепуков около 1.5лямов можно взять под заказ.
типа в розницу не планируют завозить7 (сейчас не конкретно про РФ а хотябы про еврозону вцелом)
так-то 128 расширяет возможности сильно - можно уже чет тренировать мелкое, ну и инференс на больших моделях...
>Сейчас 270к в днс
Не трави душу.
Мимо лечу зубы примерно на эту сумму.
Покусаю сейчас тебя падла.
И ведь её все равно одной не хватит
> а оставлять дома что-то работающее - нет уж спасибо.
WOL настроил бы - надо включил, не надо - выключил...
а в целом это хреновость проживания одному - нельзя сказать - вася, включи там вон то хуепутало, а то мне надо сейчас
Вася женского пола может внезапно охуеть от происходящей ебки на экране и выселить анона вместе с его ригом в окно.
>серверный риг
>на экране
кекнул)
Не смей использовать моё оружие против меня
>И ведь её все равно одной не хватит
Да, в этом проблема. Так-то стоило бы купить, но...
Зачем вам больше 24 гб врама?
Не кажется ли вам, господа, что всегда есть рыба крупнее, и вечная погоня за врамом ни к чему не приведет?
Для рп вообще никакого резона нет идти выше 24гб. Для кодинга - тоже сомнительно. Крутые модели выходят одна за другой, сейчас уже есть большой выбор для всех задач.
> в розницу не планируют завозить
Отчет не держат, так сказать. Со временем завезут, цена будет конской. Там и в других странах на них дефицит и цены ломят.
> 128 расширяет возможности сильно
128 это у хуитки а ля макстудио, там чип донный и годно только на вялый инфиренс. Тем не менее, большого квена с ~15-20 токенами в 3.5-4 битах, наверно, осилит. А в rtx pro6000 blackwell 96гигов, но довольно таки производительный чип и скорость врам оче хорошая.
Меня, меня! Даже бедрами поразмахиваю.
Купи 48гиговую, там еще как-то.
> Для рп вообще никакого резона нет идти выше 24гб.
Коупинг.
> Коупинг.
Точно то же самое могу сказать про тех, кто собирает себе риги. Неиронично думаю, что у таких людей скилл ишью, который они пытаются спрятать за крутым железом. GLM-4, QwQ, Гемма 3 27. Все это вышло в этом году, и еще даже половина не прошла. Их все можно уместить с хорошим квантом и 32к контекста, чего достаточно для ролеплея.
Доводилось пробовать и корпосетки, которые ни один любительский риг не запустит. Не так велика разница даже по сравнению с ними, не говоря уже про всякие непотребства вроде Магнума 123б.
Нужно уметь ценить то, что имеешь, и учиться с этим работать. Больше 24гб возьму только тогда, когда моя видеокарта совсем устареет и/или помрет. К тому времени и видеопамять доступнее станет.
Думайте.
>хорошим квантом
Q4
>32к контекста
Q8
А с 32gb будет Q5 и либо еще больше контекста, либо 32к FP16
Еще и немотрончик можно не в позорном 3.0bpw запускать
>Не так велика разница
Копиум
What are your favorite uses of local LLM's that closed source LLM's can't provide?
(Какие ваши любимые сценарии использования локальных LLM, которые не могут обеспечить закрытые LLM?)
https://www.reddit.com/r/LocalLLaMA/comments/1gizq17/what_are_your_favorite_uses_of_local_llms_that/
100% коупинг. Просто оправдываешь и пытаешься доказать себе почему у тебя лишь 24 гига. Ничего в этом страшного нет, но зачем посты для этого сочинять?
> килл ишью, который они пытаются спрятать за крутым железом
Херь
> GLM-4, QwQ, Гемма 3 27
> с хорошим квантом и 32к контекста
Без шансов, только с компромиссами.
Чел, риги собирают прежде всего те, кому тема интересна, кто хочет попробовать модельки побольше, кому они зашли и те готовы на это потратиться. Не потому что хотят выебываться и самоутверждаться хотя отдельные личности возможно, не назло кому-то, а потому что хотят и находят целесообразным. Точно также как в любом хобби ты можешь получать удовольствие от занятий на самом базовом и примитивном эквипе/инструментах, или наоборот выбрать что-то более йобистое для большего комфорта и удобства. Более тебе скажу, многие юзают их далеко не только для ллм, и все равно купили бы их.
Твой пост в такой формулировке только подтверждает что ты хотел бы иметь больше, но страдаешь от отсутствия. Нет бы просто порадоваться в какое хорошее время живем, что сейчас даже на средних карточках можно кайфово катать ллм, начал ныть про то что все что больше чем у него - не нужно, прямо платина.
Немотронодурак настолько преиспонился, что решил добавить себе врама? Завидую твоей страсти, сожалею твоим умственным способностям.
GLM-4 Q5_K_M 32к FP16 контекста.
QwQ - Q4 32к Q8 контекста.
Гемму я не проверял после того, как добавили поддержку SWA для нее в llama.cpp. Ты, конечно же, даже не знаешь, что это. Благодаря этому можно использовать на порядки больше контекста в том же объеме врама.
> Просто оправдываешь и пытаешься доказать себе почему у тебя лишь 24 гига.
Я всего лишь поделился своим мнением, точно так же, как это сделал ты. Приношу свои глубочайшие извинения, что оно отличается от твоего.
> Нет бы просто порадоваться в какое хорошее время живем, что сейчас даже на средних карточках можно кайфово катать ллм
Именно это я и делаю. Понятия не имею, почему ты на меня набросился.
Повадки как у тни. Сначала громкие заявления и наезды, но как только расклад не в пользу - сразу жертву строить. Фу, пакетик.
Узнаю тебя. Ты часто так себя ведешь: докапываешься до тех слов, что тебе не понравились, вычленяя их из общего контекста и отделяя от контекста сообщения, и начинаешь дебаты. Не буду. Мне это не интересно. Я действительно всего лишь поделился мнением и верю в то, что написал. То, как ты это осмысливаешь, уже не моя проблема.
Смачно порвался. Но не волнуйся, в будущем накопишь на 32гб и возможно даже перестанешь скулить в треде
> Ррряяяяя меня обижают, докапываются до слов
Есть пробитие
Да. Еще одна твоя победа в твоем бесконечном стрике.
>Нужно уметь ценить то, что имеешь, и учиться с этим работать.
Тем не менее факт, что лучше иметь много ВРАМ, чем иметь мало ВРАМ. Не спорю, жить можно и на 24гб, и на 16. Но кто живёт на 72 или 96, тем нужно больше. Больше! Ещё больше! Хотя казалось бы.
А помните когда 3090 только представили все охали куда вам столько врам ещё для внуков моих хватит
Чел, это цугцванг, любое действие закапывает тебя только глубже. В отличии от шахмат, у тебя хотябы есть право ничего не делать.
Именно это я и пытался сказать.
"Не кажется ли вам, господа, что всегда есть рыба крупнее, и вечная погоня за врамом ни к чему не приведет?"
Но ты это благополучно забыл, как только увидел "Для рп вообще никакого резона нет идти выше 24гб", что является моим оценочным суждением, а не чем-то, что ты обязан принять.
Не первый, не последний раз.
> Но ты
Над тобой минимум 3 человека рофлят. Если в начале это было недалеко от нейтрального и можно было поправиться, то когда высрал следующий пост - оварида.
Такой же маргинал как шиз с "48-гиговыми врамцелами", просто оказался по другую сторону.
Тогда все в категории игр думали и до сих пор 24гб даже в нативе 4к мало где используется. А в контексте ллм это не так уж и много
До нее интересный пример был - amd vega frontier edition, буквально профессиональную карту переупаковали. Судьба ее довольно печальна правда.
у тебя какой гендер кстати? магнумошиз или теслашиз?
> анон делится мнением
> твое мнение мне не нравится ты не прав
> ладно
> не хочешь сраться? хахах протык. и все вокруг так думают
все-таки врам не отражает ум владельца
https://huggingface.co/ArtusDev/TheDrummer_Valkyrie-49B-v1_EXL3_3.2bpw_H6
небольшой апгрейд немотрончика
небольшой апгрейд немотрончика
>3090
>4к
Помню слюни пускал на бенчмарки мечтал киберпанк запустить, а как купил для ллм оказалось что карта его не тянет даже в 1440р не то что с лучами, а просто на максималках, лол
> у тебя какой гендер кстати?
Идентификацию себя как боевой грейс-хоппер и требую использовать местоимение aarch64
> не отражает ум владельца
Какой ум нужно иметь так оправдывать копиум? Нагадил ерундой , тебя ткнули, начал перекатываться, ткнули в это. Теперь опять решил сменить тактику - но это не сработает и сделает только хуже, тебе же написали.
Просто прими это, в сдедующий рез перед тем как плохое писать, вспомни что не стоит проецировать манямир, тащить негатив и всячески гадить, а будь на позитиве.
ты типа серьезно думаешь что здесь три человека сидят и что всех знаешь в лицо? бля посади магнум отвечать в тред, он справится лучше
Я так купил 3080Ti, ибо нахуя мне врам? А чип тот же. Переиграл и уничтожил свой анус спустя год после покупки.
> всех знаешь в лицо
В лицо не знаю, но голоса слышу регулярно
По остальному - видеорелейтед https://www.youtube.com/watch?v=47ZkUMIA4_4
Бля, почему синим и красным до сих пор не пришло в голову нанять десяток индусских обезьян и запилить нормальные библиотеки для работы с нейронками? Почему блять весь локальный сектор зависит исключительно от ебаных куда ядер и вынужден обсасывать сморщенный висяк у куртки, которому очевидно похуй на рядовых консьюмеров и большую часть кассы он срубает на корпоративных продажах? А вы сидите, причмокиваете, типа умные, приговаривая "ща 3090 со вторички возьму, наебу систему". Вместо этого лучше бы подсуетились и написали коллективную жалобу с осуждением этого беспредела.
>а в целом это хреновость проживания одному
Если бы я жил с тем, кому бы мог доверить риг, то мне бы и риг был не нужен.
>WOL настроил бы - надо включил, не надо - выключил...
Это все хуйня. В прошлом году, например, была новость, где холодильник загорелся в обычной квартире и вся семья отправилась к праотцам. Я с детства приучен выключать всё, уходя из дома (кроме пресловутого холодильника, конечно). Я не представляю, насколько у вас низкий уровень тревожности, если вы предлагаете оставлять без присмотра такой ненадежный прибор. Меня даже телевизор, постоянно сидящий в standby, закумарил, и я извернулся, но приколбасил сетевой фильтр к месту, где он висит. Роутер тоже напрягает, но приучил себя закрывать глаза на это. Хотя взял себе заметку на будущее, что если буду еще ремонт делать, то надо мастер-выключатель обязательно запилить.
Ладно, я подумаю насчет аренды. А может и действительно стоит взять перерыв от этого говна, чтобы кукуха окончательно не уехала, траву потрогать. И так уже несколько фетишей раскрыл в себе (хотя, казалось бы, куда еще больше-то) благодаря этой аццкой кум-машине.
Понятно, ты просто тревожник дикий или вообще с окр.
Оставляю всё хоть на полгода, только воду отключаю. ПК выключаю только тогда, когда надо. После бума майнинга как раз появилась эта привычка. Очень удобно и всегда и везде есть доступ к ПК, куда бы я ни поехал, хоть с телефона играй.
>Оставляю всё хоть на полгода, только воду отключаю. ПК выключаю только тогда, когда надо. После бума майнинга как раз появилась эта привычка. Очень удобно и всегда и везде есть доступ к ПК, куда бы я ни поехал, хоть с телефона играй.
У меня был довольно забавный опыт с майндбеком пару дней назад. Решил покатать карточку гунера - фемцела, попутно свапая и тестируя разные модели чтобы найти комфортную генерацию токенов для себя, а там вступление которое сводится к изнасилованию. Я как бе не монстр, поэтому ручками сделал вступление будто снимаю у неё комнату, а там всего одна комната блять. Я вообще не ебал как работает майндбрейк, и он произошёл у неё когда я отопнул гору её грязной одежды и начал убиратся в комнате. Так вот, на тупой модели она просто села в угол и начала писать на 300 токенов. -"Fuck... fuck... fuck...". Я блять подумал что модель к хуям сломалась, потому что на тот момент вообще не ебал что из себя представлял майндбрейк, начал курутит семплеры и тд, потом поставил уже модель поумнее, переиграл ту же самую ситуацию, и в этот раз уже персонаж говорил обрывками фраз, и в основном описывал свои мысли и находился в вялом трансе.
Ну, вот так и ощутил разницу в переломе мозга на разных моделях.
> RTX A6000 $8000
> RTX 6000 Ada $9000
> RTX PRO 6000 $10000
а чё кабаньчики будут делать с уже точно нахуй никому не нужными за такую цену A6000 и уже почти ненужными 6000 Ada?
> RTX 6000 Ada $9000
> RTX PRO 6000 $10000
а чё кабаньчики будут делать с уже точно нахуй никому не нужными за такую цену A6000 и уже почти ненужными 6000 Ada?
Используй поверенные стабилизаторы, вменяемые автоматы и будет тебе счастье.
Хотя, я как вахтовик, порой даже холодос отрубал, но у меня генератор выведен отдельно, он сам врубается когда света нет. Соседи пару раз охуевали, когда он начинал тарахтеть.
Так это ведь ты обосрался уещерб?
Или ты думаешь что слив в споре и переход на личности равняется твоей победе? Как только ты начал с оскорблений ты проиграл, как бы ты не пытался убедить в этом себя и других.
Еще одно чмо в треде с низкой самооценкой, такое говно как ты и делает его хуже.
К сожалению это рак этого треда, просто не нужно трогать говно и оно не будет вонять. Какое вобще дело до его мнения?
Да блять звуки паники и бегания
Пока я жду чип для сгоревшей видеокарты, и посматриваю на оставшуюся 4080, ПК решил, что самое время начать периодически и рандомно виснуть. Причем делает он это подозрительно часто при работе с ЛЛМ. Но без BSOD. Просто висит
В связи с чем вопрос : винда же делает логи на такой случай ? А если делает, где их можно посмотреть ?
Win 11
У меня начинает гореть жопа
Пока я жду чип для сгоревшей видеокарты, и посматриваю на оставшуюся 4080, ПК решил, что самое время начать периодически и рандомно виснуть. Причем делает он это подозрительно часто при работе с ЛЛМ. Но без BSOD. Просто висит
В связи с чем вопрос : винда же делает логи на такой случай ? А если делает, где их можно посмотреть ?
Win 11
У меня начинает гореть жопа
В итоге всё же переиграл ибо ллм не нужны, зайди через годиков 5 и будет заебись, как раз 64гб врам станет доступно
Возможно бп не тянет, либо биос криво распределяет питание под нагрузкой, в таком случае оно может умирать даже без бсода. Накинь процентов 5 питания сверх дефолта на ядра цпу (Curve Optimizer All-cores -> Positive -> 5) и посмотри. Если проблема исчезла косячит биос, если нет попробуй другой бп.
>Сейчас 270к в днс стоит с 3 летней гарантией
Только у ней проблемы с охлаждением, и вероятно после истечения гарантии она в скором времени отъебнется
лламачую анона выше, в первую очередь чекай бп
Я эту байку что про 3090 слышал что про 4090, чет никто в треде еще не сгорел нахуй
дело не в том, что у всех, а у конкретно тех, что в днс за 270 продаются, лол. Чо там на практике будет - это конечно вопрос.
да-да, 5090 не горят, а в тех случаях, когда горят - это все фейки, конечно же
Шиза какая-то. Если кажется что днс говно в жопу заливают, чтобы потом обосраться ровно через 3 года как гарантия кончится, можно за 320к взять ровно такую же на яндекс маркете.
Спасибо. Вроде блок киловатник, должно хватать.
Посмотрю, если Bequiet стали делать говно, то придется еще и блок менять. Будем смотреть.
Именно зависает или статтерит? Если статтерит, то у тебя oom (переполнение врама). Чекай shared memory, удостоверься, что там не больше 0.1gb
Виснет прям намертво. Бывает когда компьютер уходит в спящий, бывает в браузере. Часто в рандомные моменты с ЛЛМ. То когда сидишь и пишешь ответ, то на обработке контекста. Иногда просто в простое.
Это 146% проц.
Трясун
Фу воняет
Без шуток проверь разъем питания если карточка вставлена напрямую и райзер если через него, посмотри какие там напряжения с помощью cpu-z или другого. Это также может явить потенциальную проблему с бп.
> чип для сгоревшей видеокарты
Как так вышло?
Двачую, всегда есть проблемные и брак, но те штуки что притаскивали с "перегревами" - какая-то ерунда.
Ну значит видеокарта отъебнула не одна, смотри как бы все не спалить
>Фу воняет
Если ты учуял говно сидя дома, то это от тебя, малыш
Вот я и хотел бы узнать про логи. Потому что, нихера не понятно. Да, процессор всратый i7-13700
> Как так вышло?
Я и есть тот неформал, что на 2x4080 сидел. Ребенок с чашкой воды случился.
> логи
Какие тебе логи, если проц отъёбывает. Может у тебя там разгон до 6 ггц и напряжения не хватает.
С llama.cpp? Да. Все работает без проблем.
Gemma 3 — весь модельный ряд поддерживает работу с изображениями. Распознает хорошо, даже 4b моделька, даже на русском. Насчет видео не знаю.
Есть еще Qwen2.5-VL (и Omni) — он работает и с видео (если хватит контекста) в трансформерах, в llama.cpp не пробовал.
Бери нужные форматы на huggingface и выбирай, тестируй под свои задачи.
Сделай себе SSL-сертификат самоподписанный, корневой поставь на смартфон, радуйся жизни.
Вообще не проблема.
> Отборные фекалии
Да, мы отбираем лучшее, а остальное отправляем вам.
Ну, человек спросил, без дополнительного контекста — я ответил. =) Оно существует, как минимум.
> Я вообще отрубаю все электричество на щитке и перекрываю воду
А я заселяю друзей, которые следят за домом. Рекомендую.
Но при таком раскладе, делать нечего.
Максимум: возьми ноутбук с окулинком, возьми док-станцию для видяхи и B60 интеловскую с 48 гигами. Компактно и быстро. Или мак студио / райзен 395+ с 128 гигами оперативы. Медленнее но компактнее.
Ну или живи на обычных маленьких моделях, без рига. =)
> Немотронодурак настолько преиспонился, что решил добавить себе врама? Завидую твоей страсти, сожалею твоим умственным способностям.
Бля, ну давай будем честны:
Быть счастливым <=> Вписываться в общество
Он выбрал первое, и похуй, насколько он тупой, зато он счастливый, значит тут можно только поздравить человека, молодец, все правильно сделал. Никому не навредил, себя осчастливил. =) Всем бы так.
> точно не нужными
кек
>Вот я и хотел бы узнать про логи. Потому что, нихера не понятно. Да, процессор всратый i7-13700
Тебе в первом же сообщении сказали поднять напряжения на ядрах, по тому что выглядит как классическая проблема с нехваткой питания. А чем она вызвана, хуевым бп или биосом/подсдохшим ядром ты можешь проверить только на деле.
Попробовал стар коммандер в русиче, на удивление неплохо (32b), но все равно не дотягивает, кривовато. А на англе мне не хватает как-то знаний, чтобы его красочное описание читать без перевода. Есть какие-то модельки которые на русиче норм отрабатывают? Или можно ли какие-то лоры как в sd накатить, чтобы он недостаток русича закрывал?
>Есть какие-то модельки которые на русиче норм отрабатывают
Не существует в природе т.к никто не обучает на ру и нет датасетов. Если тебе русский уровня переводчика, то гема норм.
ты тупой или да? Смотрим на модель карточки в днс за 270к, производим не сложные логические расчеты, можно еще в отзывы заглянуть, чтобы убедиться, и понимаем, что у них проблемы с охлаждением. Все. Это так же значит, что та же самая карточка, купленная в любом другом месте будет иметь те же самые проблемы
но ведь гигантские типа клода гпт и дипсика хорошо делают или я что-то не понимаю?
Да и локалки могут в русский, просто у некоторых шизов завышенные ожидания и они могут только в черно белую логику
А теперь читай шапку треда.
Обсуждение корпосеток в другом треде. И да, дипсика тоже, потому что ты его не сможешь поднять локально.
Блядь дегенерат ебаный, у тебя все равно денег на нее нет, хули ты мне пишешь оставь меня в покое блять фашист ебаный.
Ну ты её сначала подними у себя на пк чтобы она не генерила тебе одно сообщение час ирл времени, потом поговорим.
Дело даже не во времени. Его просто не поднять.
Там, ЕМНП, нужно минимум 256гб оперативной, не считая многоканальника, без учета ВРАМ.
Тут теслошиз, сколько не ебался - получил хуй за щеку, а не дипсик. У меня есть подозрение, что они выложили не рабочий сетап.
Ну тут ничего не поделаешь, риги от детей и животных нужно прятать. Во сколько ремонт оценили?
> узнать про логи
Журнал событий. Там может быть просто "аппаратная ошибка" или "отвал хуанга", сильно не приблизит.
> поднять напряжения на ядрах
> классическая проблема с нехваткой питания
Ну хуй знает
> хуевым бп
Ерунда, если будет провал питания от бп ниже определенной напруги - отрубается врм, это будет не зависание и интерфейс сразу пропадет. На напряжения конечных потребителей это никак не может повлиять.
> или биосом
Это должны быть кривые карты напряжений, убитый в хлам врм или деградировавший чип. С 13700 последнее возможно, но за это время проблемные уже все передохли.
Тут не обязательно , нужно больше данных для диагностики.
Коробка квадратная @ значит внутри что-то круглое @ раз круглое значит оранжевое @ раз оранжевое значит апельсин
Уровень ЛОГИЧЕСКИХ РАСЧЕТОВ
так я и не обсуждать корпосетки пришел, поинтересовался есть ли локалки до 70b которые хорошо работают на русском
может когда-нибудь и подниму, пока не постоянное место жительства
это ты меня так сейчас шизом назвал или я не поняу
Чтобы была хорошая ру моделька должно сложиться 2 минимальных условия.
1)Значительная или даже основная часть датасета на ру
2)Она не должна быть совсем уж тупой, а это минимум ~30b
Пока никто такого не сделал. Конец.
Дальше начинается борьба с компромиссами, ты либо берешь мелкомодель уровня 8-12b которую до обучили русскоязычным датасетом, получаешь разнообразный слог, но она будет тупая как средний посетитель /aicg/ треда.
Либо берешь третью гему 27b, которая отвратительно умная для своего размера, но она сухая как твоя бывшая и больше походит на чистого ассистента, красоты слога не жди.
Все остальное болтается где-то посередине и внимания не стоит.
Само собой есть супер жирные модели овер 100b и корпы, они тащат просто количеством параметров, но если бы ты мог позволить себе первое то вопросов бы тут не задавал, а второе в другой тред.
>отвратительно умная
Какое точное описание геммы, прям раздражает.
Она настолько хорошо работает с контекстом, настолько порой делает приятные и неожиданные обороты - что ты в восхищении, наступает период геммочка@умница
Но когда ты погружаешься глубже, вылазят её не очевидные проблемы за фасадом ума. Это буквально умничка секретарь, который будет с тобой заигрывать, но если ты потянешь руки, получишь папкой документов по ебалу с припиской - за остальным к гемини.
>Ну хуй знает
История из жизни, я пару вечеров убил пока нашел что на моем проце в случайный момент времени 7 ядру перестает хватать питания и происходит ровно то что описывал тот анон. Читал в отзывах днса на другой проц, что такая же беда бывает на некоторых райзенах, там у чувака питания не хватало на втором ядре. Во всех случаях решилось минимальным увеличением подаваемого питания на конкретное ядро, но для начала я бы бахнул все, а потом уже искал виновного.
Спасибо за ответ развернутый. Попробую гемму навернуть просто как оффлайн ассистент по работе с доками и учебе, раз так расхваливают
https://huggingface.co/bartowski/nvidia_OpenCodeReasoning-Nemotron-32B-IOI-GGUF
кто тут glm-4 кодерскую тестил в рп вот тебе ещё
кто тут glm-4 кодерскую тестил в рп вот тебе ещё
>Да, процессор всратый i7-13700
Первый кандидат в проблемы после БП. Бля, всю жизнь сидел на Интелах, но пиздец пришёл и туда. Ты ведь слышал о загрязнении на их производстве? Слили два поколения старших процессоров.
Есть ли хоть одна причина не забивать на это хобби, учитывая что через всего 3 года качество ллм скакнёт х10 и железо которое ты сейчас можешь взять обесценится?
Смысл сейчас ковыряться в слопе
Смысл сейчас ковыряться в слопе
>Есть ли хоть одна причина не забивать на это хобби, учитывая что через всего 3 года качество ллм скакнёт х10
Ну забей, кто тебя заставляет-то. Приходи через три года.
Именем данным мне этим тредом, я %шиз_нейм% осаобождаю тебя от дозора. Ты свободен.
ну тоже самое и три года назад можно было сказать. это весело, если не хочется вкладываться, не вкладывайся, если хочется и по средствам чо не. Сам машиной не владею, но думаю как хобби куда дороже выходит обслуживание, а тут закупился (или на цпу потихоньку) и всё, кайфуй
Потом через 3 года тоже самое напиши, не забудь.
Всё, наши отношения с валькирией 49б заканчиваются
Эта лоботомитша выдумывает мне родственников на ходу, путая кто сын кто брат кто сват
Немотрончик в моем сердце за ум и сообразительность а не безмозглый слопокум.
Навалите мне ассистента да побольше!
Эта лоботомитша выдумывает мне родственников на ходу, путая кто сын кто брат кто сват
Немотрончик в моем сердце за ум и сообразительность а не безмозглый слопокум.
Навалите мне ассистента да побольше!
Чот вспомнил про Ulillillia думаю у него бы шишка с этой темы в небеса улетела, попросил бы еще описать цвет трусов в rgb кодировке
Если не Пушкин с Толстым вместе — то фигня язык, да.
Всегда охеревал от таких ценителей. Я искренне надеюсь, что все они — филологи с красным дипломом и реально тонко чувствующие натуры, а не снобы, которые на самом деле не отличат Лермонтова от Есенина.
Это кстати инструкт режим без контекста и джелбрейков., ПРосто вводные были на манеру общения 1м сообщением. Ну собственно меня и штырит только без джелбрейков, фетиш такой.
Ты это написал в манере чсвшного сноба. Ну ценители они и ценители, тебе не всё равно?
Обдрочился в общем, спс анону выше за наводку. Всё на сегодня.
Как хорошо, что в тред прибывает столько ньюфагов, особенно бравые парни из асига...
Аноны, есть ли годная нейросеть умеющая нормально говорить по-украински?
Тебя обманули, такого языка не существует.
Гемма3, они на работе с языком сосредоточены
Нет. Он там будет, но пиздец на примитивном уровне, точно так же как и русский.
>Аноны, есть ли годная нейросеть умеющая нормально говорить по-украински?
Ты имел в виду - на смеси вариантов суржика? Практически любая многоязычная. А другого нет, если какой украинский институт и получит грант на создание такой нейросети, то результат заранее понятен.
>такого языка не существует.
йди нахуй москаль я не хохол, просто очень надо
>Гемма3
Тупит. Которая большая онлайн еще нечего, а локалки разумного размера выдают даже суржик, а пародию на суржик.
>как и русский.
Русский от 12b вполне неплох, для моих задач хватит. Украинский же язык в очень грустном состоянии. Печально.
Короче, без политоты : пусть сначала сами носители языка определятся с тем, как на нем разговаривать. А так - корпосетки и гемма.
> кек
> > за такую цену
>пусть сначала сами носители языка определятся с тем, как на нем разговаривать.
Есть украинский литературный язык. Проблема видимо в том, что на украинском в принципе мало текстов. Не на чем обучать.
Надеялся на чудо, но придется работать с тем, что есть.
Почему я имея 24гб врам не могу просто получить модель с идеальной логикой на английском?
Всегда проебы там и тут
Всегда проебы там и тут
>Есть украинский литературный язык. Проблема видимо в том, что на украинском в принципе мало текстов. Не на чем обучать.
Ага, советский. Предан анафеме, постоянно пополняется галицизмами по принципу "чтобы непохоже на русский". Ну и переход на латиницу не за горами так-то.
>Почему я имея 24гб врам не могу просто получить модель с идеальной логикой на английском?
Идеала не существует, увеличение качества моделей только приближает нас к нему.
Это тебя лафкрафтианские боги наказывают за срание немотроном.
Как же ты прям точно передал гемма-вайбы Анон. Ещё доставляет что из за жестко прокаченного эмоционального интеллекта она умеет сделать больно, психологически, знает куда конкретно надавить и любит это делать
Зачем? Nemotron-49b мне не зашел, значит, и эта модель не понравится.
К слову, GLM-4 очень хорош. Входит для меня теперь в тройку лучших в весовой категории 32b: Command-R, Snowdrop, GLM-4. Все по-своему хороши.
Подскажите как сделать в таверне, чтобы запрос не моментально высвечивался а писался постепенно? Я подключил через кобольд геммасутру
Во первых ты подключил говно, во вторых : галочка под количеством токенов.
а что посоветуешь небольшого размера, у меня ща инет медленный
и спасибо за совет
Если гемма запускается и ты ньюфаг, то гемму dpo. Оптимальный и пожалуй, лучший для начала вариант.
Я вообще-то с доплатой на 3090 поменял, а потом и докупил.
Ну оно память точно юзает, запас есть. Но считает оно на проце как будто бы, судя по загрузу
джемма 3я она вообще все языки может и качественно
>Чтобы была хорошая ру моделька должно сложиться 2 минимальных условия.
Технически можно поменять саму парадигму работы сеток, чтобы полностью отвязать язык от размышлений модели, но всем похуй и все дрочат трансформеры, а сраное МОЕ считают прорывом тысячелетия.
>и железо которое ты сейчас можешь взять обесценится
5090 всё ещё будет рулить, так как последующие 2 поколения куртка всё так же продолжит класть 32гб в топы.
Не беспокойся, с 48ГБ тоже самое. Впрочем, и 9000 врама не помогут, см. корпы.
>5090 всё ещё будет рулить, так как последующие 2 поколения куртка всё так же продолжит класть 32гб в топы.
Вот да. Вообще удивительно, как он на 32гб-то расщедрился.
Кому не похуй на куртку? С ним уде всё ясно.
Амд/интел завезут дешевый врам а там и куртка анус разтопырит
Основная проблема это нагрев.
Ну какие в пизду 600ватт на 5090, и дальше только хуже
Ну какие в пизду 600ватт на 5090, и дальше только хуже
Если есть 300к а видеокарту, найдется еще 50 на блок и корпус с охладом
Те же 600 ватт на 4090. Делаешь даунвольт/паверлимит - получаешь тот же перформанс при 400-450 ватт.
А вообще - что в этом удивительного? Это самые топовые консумерские гпу, у них огромная производительность. Не только врамом единым.
Ну не надо стрелочки переводить, не надо, смотрится жалко.
Никакого ЧСВ и никакого снобства с моей стороны нет.
В LLM русский язык нормальный.
А 99% людей, которым он не нравится — простые пиздаболы и обиженки.
Мало кому нужен действительно красивый русский от LLM, и вряд ли многие из этого небольшого количества людей, дрочат (вместо написания историй/помощи в соавторстве) или сидят на двачах.
> 16 гигов видяха
> 20,7 гигов в нее запихнуто
> запас есть
=)
Ты угараешь, по-ходу.
У тебя что помимо ллм запущено?
7 гигов мимо видяхи вылилось и тупит нещадно, 5 токенов/сек на 5070ti.
Сколько модель-то весит? Какой контекст ставишь?
На интелах это просто нетипично если не делать андервольтов, но разумеется отметать нельзя.
Такие траблы наблюдал из-за китайского переходника на новый разъем, под нагрузкой на гпу могло просто отрыгнуть, причем зависание очень плавное - звук не (сразу) прерывается, может начать отваливаться интерфейс. В редких случаях оно даже восстанавливалось, с отвалом видеокарты из девайсов (мониторы через встройку). Это легко диагностируется по падению напряжения на датчике под нагрузкой и разницей между датчиком на pci-e и силовом.
Да не, говорят что уже все проблемные протухли и остались только живые.
Учитывая мировые тренды, есть нихуевая вероятность что твои "пророчества" сбудутся как желания у злого джина, или как в меме про поездки в соседнюю страну на заработки через 10 лет.
Устаревание и развитие это база, но загнул слишком сильно.
> Амд/интел завезут дешевый врам
И бы софт для начала завести. Это главная сложность, а не распайка лишних чипов.
Проблема чего?
А дальше будет лучше ибо такое потому что нет нового техпроцесса.
Так, я не понял, а vision работает у Exllamav3?
Где тут спец по ней?
Я конвертнул модельку, пихнул в таббиапи… И заняло 3 гига в видеопамяти из 4 гигов модельки.
Че за магия.
Вижно не заработал, даже не загрузился (хотя на эксл2 все работает в той же таббиапи).
Где тут спец по ней?
Я конвертнул модельку, пихнул в таббиапи… И заняло 3 гига в видеопамяти из 4 гигов модельки.
Че за магия.
Вижно не заработал, даже не загрузился (хотя на эксл2 все работает в той же таббиапи).
Господа, а есть варик какой в syllytavern сделать аля текстового квеста? Что я имею ввиду: нам не только описание дают, но и варианты ответа, чтобы тупа натыкивать пока второй рукой так сказать шпагу точишь. Я помню так делал в кобольде давно
Сделай простой промт в гопоте и вставь в автор нотс, чтобы после каждого сообщения, в конце тебе предлагались варианты ответов. Ты же это имеешь ввиду?
Спасибо, разобрался. Все так как ты и предположил. ПРосто не знал про авторские заметки. Ток не разобрался можно ли сделать кнопки активные, чтобы не самому копировать-вставлять, а при нажатии оно само отправлялось как ответ
Кстати сам промпт:
After every reply in the end, generate 2 to 4 short and immersive action choices in the format "> [Action]". These should reflect the protagonist's current situation, with a mix of emotional, logical, and surprising choices. Keep it concise and in-character.
>Ток не разобрался можно ли сделать кнопки активные, чтобы не самому копировать-вставлять, а при нажатии оно само отправлялось как ответ
Да просто пиши цифры-номера ответов. Можешь кнопки с цифрами через QuickReply сделать. Другое дело, что сама идея дрянь: нормальные варианты тебе модель не предложит, работают только самые простые - поверни налево или направо, открой сундук и т.д. А если варианты сюжета, то жопа. Модель тупо не понимает, чего ты от неё хочешь.
сначала даже норм было, где-то через 15 запросов начала тупить и одно и тоже крутить
>Кому не похуй на куртку?
Примерно всем. Куртка база ИИ. Без куртки сидели бы без ИИ и без трассировки. Куртка Бог.
Как думаете, стоит докупить 3060 12 гб за 25к рублей новую, либо 3080 за 25к рублей к 3090?
>поверни налево или направо, открой сундук
Кстати, может кто-нибудь посоветовать нормальную карточку, чтобы поприключатся? И RP-модель к ней. Может уже есть какое-то приличное сочетание, а то прошлые мои опыты были скорее негативные. Жесть приветствуется.
> посоветовать нормальную карточку
RTX 3090
> И RP-модель к ней
Гемма, GLM
>к 3090
Бери ещё одну 3090.
>Гемма, GLM
Есть мастер импорт к ним?
Аноны, кто сравнивал Star-commandr и обычный command-r - разница есть ?
Привет, я когда пишу чтото ai он у меня сначала загружает видеокарту на несколько секунд затем разгружает и нагружает до 50 проц, и выдаёт ответ, у меня вопрос так и должно быть? Просто я думал что должна работать только видеокарта, а не проц.
Ни конфига, ни консоли, ни совести.
На GLM-4 есть здесь: https://pixeldrain.com/l/xGFnT1PY
Есть, и довольно большая. Имеется среднее между ними: Star-Command-R-Lite. Обычно использую или ее или базовую модель.\
Что ты используешь для запуска? Можно запускать как только на видеокарте, так и на RAM/CPU тоже.
2070S
5600 rysen
32гб оперативка
А в консоли че надо? Коболд cu12 если че
>А в консоли че надо?
Да нихуя блять не надо. Подожди, сейчас примерно почувствую
Что что ощущаю, точно, это же
Нахуй пошел
>А в консоли че надо?
Сколько слоёв, что за модель, какой битности, что в выводе кобольда по времени (пикрил пример).
да я 3 дня назад поставил только че приебался
MLewd-ReMM-L2-Chat-20B.q5
В кобольте там автоматом стоит на видевакарте 18-19 всего там 65
По моей памяти Винда очень странно с выделением памяти куда либо работает, поэтому я этой хуйне не верю. А еще я долбоеб)) Посмотрел на раздел с физ. памятью и довольный себе. Запущено там было... ~330 вкладок в Хроме, (курсач случился) но они вроде оперативу и своп должны дрочить, а не виртуальную врам и конфа в зуме. Но и без конфы вот такой положняк. Модель конкретно на скрине - Харбингер IQ4_NL (но такое же было и с БрокенТуту Q4_K_M например). Контекста 32к, еще в прошлом треде предположили что дохуя может быть, но однозначно уверены не были.
> Есть, и довольно большая
Я так понимаю, драммер сделал из commandr - магнум ?
А я, блять, все не могу понять, что не так
>на видевакарте 18-19 всего там 65
Ну вот и ответ. У тебя 46 слоёв на проце, вот проц и работает. Докупай видеокарт.
Star-Command-R не глупый, но очень хорни, если есть соответствующий контент в промпте.
Базовая модель может показаться несколько суховатой.
Поэтому беру среднее между ними, использую Lite версию.
Но не могу сказать, что я досконально их сравнивал, надо бы озадачиться.
Как-же у меня горит жопа.
Есть такая виабушная вселенная danmachi. Мне дико доставляет идея богов среди смертных. Буквально создана для ролевой игры. Но малые и средние модели просто не вывозят такое количество персонажей.
Чъерт... Как кто вообще реализовывает с своих приключениях множество персонажей ?
Ну так и магнумы это не о глупости, это всегда были тюны содержащие 100% кум.
Есть такая виабушная вселенная danmachi. Мне дико доставляет идея богов среди смертных. Буквально создана для ролевой игры. Но малые и средние модели просто не вывозят такое количество персонажей.
Чъерт... Как кто вообще реализовывает с своих приключениях множество персонажей ?
Ну так и магнумы это не о глупости, это всегда были тюны содержащие 100% кум.
Получается в идеале должны быть все слои на видеокарте? А от чего зависит сколько слоев в видеокарте от? VRAM?
>множество персонажей
Множество это сколько? 5-6 или 15-20?
Это больше 50ти.
А, тьфу ты, я что то подумал ты про общее количество персонажей. В принципе одновременно, хотя бы 10-12 реализовать. Потому что все модели до 70b начинают спотыкаться на чате, если в нем больше 10 лиц участвуют. А больше я модели не тяну ну никак.
>не тяну ну никак
нищенка вы ошиблись тредом
У меня бабка была ведьмой, прокляну, падла.
А что именно не так у тебя? Моделька начинает отыгрывать одного персонажа как другого? Если так, то тут либо проеб в суммари, либо плохо прописаны персонажи. Но чтобы тебе 10-12 персов реализовать, надо будет всрать добрые 15к контекста на это.
>от? VRAM?
Ты весьма догадлив.
>хотя бы 10-12 реализовать
Дохуя хочешь я бы тебе сказал. Тут два не всегда норм работают даже на у корпов на триллионы параметров.
Либо сокращай, либо жди прорывов.
Кто там писал, что ванильный Немотрон подхватывает какую-нибудь конкретную деталь из контекста и не может ее отпустить?
Блять, как же это смешно
В карточке персонажа есть одно маленькое упоминание того, что персонаж не любит бардов. И что вы думаете? Именно эта деталь, вписанная в карточку наряду с кучей остальных, часто куда более значимых, является камнем преткновения в сюжете! Гуляешь по лесу спустя пару тысяч контекста, варианты: придет волшебник, предложит отправиться на задание, но обязательно в сопровождении будет бард; вы услышите мелодию, что доносится с другого конца леса; вам попадется БРОДЯЧАЯ ЯРМАРКА, ГДЕ ДЮЖИНА БАРДОВ (это не шутка, но как же смешно сука. Буквально блять коллектив бардов в разъезде)
Идешь по первому сценарию, хуй с ним. Обсуждаешь с персонажем: "Ну что, будем браться за задание? Звучит так, будто нас хотят наебать"
Ответ: хорошее описание сцены, шелест деревьев, звери вокруг гуляют, никаких галлюнов
"Мне тоже не нравится. Но волшебник сказал, ЧТО ТАМ БУДЕТ БАРД. У МЕНЯ ЕСТЬ ПОДОЗРЕНИЕ, ЧТО ЭТО ТОТ САМЫЙ БАРД, КОТОРЫЙ ОБОКРАЛ МЕНЯ ПОЛГОДА НАЗАД, И Я ХОЧУ СВЕСТИ СЧЕТЫ.
Давно так не смеялся. Ну и залупа же этот Немотрон
Блять, как же это смешно
В карточке персонажа есть одно маленькое упоминание того, что персонаж не любит бардов. И что вы думаете? Именно эта деталь, вписанная в карточку наряду с кучей остальных, часто куда более значимых, является камнем преткновения в сюжете! Гуляешь по лесу спустя пару тысяч контекста, варианты: придет волшебник, предложит отправиться на задание, но обязательно в сопровождении будет бард; вы услышите мелодию, что доносится с другого конца леса; вам попадется БРОДЯЧАЯ ЯРМАРКА, ГДЕ ДЮЖИНА БАРДОВ (это не шутка, но как же смешно сука. Буквально блять коллектив бардов в разъезде)
Идешь по первому сценарию, хуй с ним. Обсуждаешь с персонажем: "Ну что, будем браться за задание? Звучит так, будто нас хотят наебать"
Ответ: хорошее описание сцены, шелест деревьев, звери вокруг гуляют, никаких галлюнов
"Мне тоже не нравится. Но волшебник сказал, ЧТО ТАМ БУДЕТ БАРД. У МЕНЯ ЕСТЬ ПОДОЗРЕНИЕ, ЧТО ЭТО ТОТ САМЫЙ БАРД, КОТОРЫЙ ОБОКРАЛ МЕНЯ ПОЛГОДА НАЗАД, И Я ХОЧУ СВЕСТИ СЧЕТЫ.
Давно так не смеялся. Ну и залупа же этот Немотрон
Уточню также, что ясен хуй это не в рамках свайпа всё было. Я один и тот же сценарий отыгрывал 3 раза, и все 3 раза всё сводилось именно к этой детали в описании персонажа
Первый раз отыграл подольше, на втором и третьем, когда понял, что к чему, просто забил
Первый раз отыграл подольше, на втором и третьем, когда понял, что к чему, просто забил
Моделей 20 уже протестил на этой карточке, ни разу с такой хуйней не сталкивался
Жму F заблудшим душам что на этом играют
Жму F заблудшим душам что на этом играют
Поперемещай бардов в разные части карточки, интересно просто, триггернулась ли сетка на позицию, или ей барды так нравятся.
Да удалил уже
Модель контекст воспринимает как одно сплошное полотно. В моем случае было три отыгрыша, которые пришли к тому, что одной конкретной детали (бардам) уделялось больше внимания
Сообщения в каждом из отыгрышей раз были разные, т.е. упоминание бардов в контексте находилось в разных его частях
А вот гемма…
Ладно, лолирую конечно, но блять. Хочу слоп жирного магнума, вариативность коммандера, и мозги геммы…
>Модель контекст воспринимает как одно сплошное полотно
Но внимание к разным частям контекста разное. Обычно модели лучше воспринимают начало и конец, но мало ли, вдруг бард попал на золотую позицию для этой модели? Забавно было бы.
> вдруг бард попал на золотую позицию для этой модели?
Три раза подряд, в чатах с разным количеством сообщений разной длины? Даже если и так, это не окей, нигде такого не видел
Скорее просто поехавшее распределение весов по токенам, что тоже не окей
Придя на двач ты слышишь странную мелодию, больше похожую на музыку. Проходя мимо разделов, ты идешь на звуки чарующей мелодии и вот ты пред вратами ЛЛМ треда. Рядом, из асиго треда раздается вой искалеченных душ, но тебе нет до этого дела, ты знаешь что твой путь лежит в врата ЛЛМ. Войдя в тред, ты видишь тредовичка, он играет на баяне.
>я долбоеб
Вероятно, да. Судя по вкладкам хрома
>Харбингер IQ4_NL
IQ4_NL это для ARM. Качай IQ4XS
>Контекста 32к
Ты квантуешь его в Q8? Если да, то в IQ4XS 32к контекста точно поместится. Будет примерно 15гб
я тебя ебу...
Не просто грибы, не просто мицелий. Это - симбиоз. Это - механизм. Это – болото.
Забудь о красоте. Забудь о логике. Здесь - только процесс.
Представь себе: Безбрежные топи. Не вода, а густая, вязкая жидкость, насыщенная органическими соединениями. Это - "Некроликва". Она жива, но не в привычном понимании. Она – продукт тысячелетий разложения. Она - топливо.
В этом болоте существуют "Механизмы". Огромные, гротескные конструкции из костей, гнили, металла, переплетенные между собой сложной системой шестеренок, клапанов и труб. Они не созданы, они выросли из болота, как нечто само собой разумеющееся.
Ты – "Болотной Архитектор". Ты не создаешь Механизмы, ты настраиваешь их. Ты направляешь поток Эмоциональной Энергии, увеличиваешь эффективность, создаешь новые связи.
Ты настраиваешь "Жнец Сожалений" - механизм, собирающий отголоски утраченных надежд. Его шестерни вращаются быстрее, когда он собирает слёзы матери, потерявшей ребенка.
Ты настраиваешь "Кормушку Страха" - механизм, питающий чудовищ из глубин болота. Чем больше страха ты направляешь в нее, тем больше монстров она порождает.
Ты настраиваешь "Веретено Одиночества" - механизм, преобразующий одиночество в густой, вязкий некронликт. Его вращение усиливается с каждым вздохом человека, забытого всеми.
Но есть одна проблема. Чем больше ты настраиваешь Механизмы, чем больше Эмоциональной Энергии направляешь в них, тем больше они начинают влиять на тебя. Ты начинаешь чувствовать боль, отчаяние, страх, как будто они твои собственные.
Ты начинаешь сомневаться, нужно ли продолжать. Но в то же время ты чувствуешь, что не можешь остановиться. Потому что ты – часть болота. Ты – часть механизма.
Не просто грибы, не просто мицелий. Это - симбиоз. Это - механизм. Это – болото.
Забудь о красоте. Забудь о логике. Здесь - только процесс.
Представь себе: Безбрежные топи. Не вода, а густая, вязкая жидкость, насыщенная органическими соединениями. Это - "Некроликва". Она жива, но не в привычном понимании. Она – продукт тысячелетий разложения. Она - топливо.
В этом болоте существуют "Механизмы". Огромные, гротескные конструкции из костей, гнили, металла, переплетенные между собой сложной системой шестеренок, клапанов и труб. Они не созданы, они выросли из болота, как нечто само собой разумеющееся.
Ты – "Болотной Архитектор". Ты не создаешь Механизмы, ты настраиваешь их. Ты направляешь поток Эмоциональной Энергии, увеличиваешь эффективность, создаешь новые связи.
Ты настраиваешь "Жнец Сожалений" - механизм, собирающий отголоски утраченных надежд. Его шестерни вращаются быстрее, когда он собирает слёзы матери, потерявшей ребенка.
Ты настраиваешь "Кормушку Страха" - механизм, питающий чудовищ из глубин болота. Чем больше страха ты направляешь в нее, тем больше монстров она порождает.
Ты настраиваешь "Веретено Одиночества" - механизм, преобразующий одиночество в густой, вязкий некронликт. Его вращение усиливается с каждым вздохом человека, забытого всеми.
Но есть одна проблема. Чем больше ты настраиваешь Механизмы, чем больше Эмоциональной Энергии направляешь в них, тем больше они начинают влиять на тебя. Ты начинаешь чувствовать боль, отчаяние, страх, как будто они твои собственные.
Ты начинаешь сомневаться, нужно ли продолжать. Но в то же время ты чувствуешь, что не можешь остановиться. Потому что ты – часть болота. Ты – часть механизма.
Внушает =)
Выглядит как Тургор: Голос Цвета, но на другой лад.
никто не понял немотрон
Почему с пресетом анона стар коммандер убивает персонажа довольно жестко, а в следующем сообщении этот персонаж дышит и встает как ни в чем не бывало?
Видимо хочет разыграть библейский сюжет.
потому что сложно отыгрывать мертвого персонажа
персонаж/юзер умер - конец отыгрыша
везде так вроде?
>потому что сложно отыгрывать мертвого персонажа
У вас труп разговаривает или дышит?
>Ты весьма догадлив.
Да, я просто думал, что слои это просто несколько какие-то функции что веса считают, ну типа нихера VRAM не жрут
на гемме не играю, сори
я парень простой, работящий, на мистральке
всегда новый сценарий после смерти персонажа начинается
Всё я решаюсь
Решаюсь блять!
Ещё чуть-чуть и решаюсь...
В общем вопрос: скачёк с 32б до 70б сильно заметен?
Решаюсь блять!
Ещё чуть-чуть и решаюсь...
В общем вопрос: скачёк с 32б до 70б сильно заметен?
> В общем вопрос: скачёк с 32б до 70б сильно заметен?
Нет. Последние 32b уровни на уровне Лламы 70б. А больше ничего и нет в пределах 70б, та же Ллама устарела уже.
А что там по мистраль ларжу?
Может с ехл3 влезет какой нибудь 2.65bpw и будет на уровне iq4_xss?
Погоняй его на Опенроутере или еще где, и потом уже думай, надо тебе покупать железо или нет. Ты проблему не с того конца решаешь.
Рам это реально чудо какое то.
Будущее определенно за ним.
Я запустил 123б имея всего 16гб врам, да с 1.5т/c но оно работает блять на хорошем кванте.
Будущее определенно за ним.
Я запустил 123б имея всего 16гб врам, да с 1.5т/c но оно работает блять на хорошем кванте.
Аноны, а что не так с геммой 3 ? В чем мемес ? Почему некоторые пишут что 10 из 10 и умница, а другие хейтят ?
Или это просто местные рофлы, которые я не выкупаю ?
Или это просто местные рофлы, которые я не выкупаю ?
Да
Как человек, в свое время написавший "гемма не виновата", подтверждаю: виновата
Хуевая модель и точка
Модель очень хорошая, но:
1) Слишком мелкая для кодинга.
2) Слишком соевая для РП.
3) Слишком зацензуренная для кума (тюны все шизанутые).
Ну, то есть
1. Для кодинга не подходит
2. В рп слишком соевая -> непригодная
3. В кум-рп не может вообще, тюны выключают мозг
=> хуевая модель и точка
)))
геммакопиунг он такой
"модель хорошая, но в коде говно, в рп говно, в кум не может, тюнов нет"
У неё русский лучше чем у 123б, буквально.
Да, у него есть такие повадки. Просто дай ему это развивать и проигрывай, или напиши "забудь про эту херню, она не важна".
К сожалению, коммандер не супер умный, даже большой путается во всяком. Или может там в промте где-то насрано.
Обычно для подобного сетки вводят сюжетный поворот для рестарта (а ля пункт назначения), обыгрывают, делают пасты с ретроспективой или описывают дальнейшее развитие персонажей после события и т.д.
Из свежих 70 там только новый квен. Если раньше был продолжительный дефицит моделей среднего размера (30б), и была или мелочь, или 70б+, то сейчас наоборот резко насыпали хороших но мало обновляли семидесятки.
В целом, даже старые могут дать приятный экспириенс, причем с большим разнообразием и без фейлов мелочи. Не меньше профитов получишь от возможности катать кванты побольше и большой контекст, тот же немотрон будет меньше шизить.
Влезет офк, правда что там по перфомансу - хз. Эти кванты уже лоботомия, возможно новые подходы позволят сохранить там мозги.
Лардж сейчас все еще король. Это единственная модель, которую ты можешь просто не думая запустить и довольно урчать, катая любой сценарий, а не сидеть пердолиться с промтом или оперативно подчищать обсеры. Он не спутает где ты пишешь сообщения, где говоришь, а где думаешь, не опишет как ты "видишь" то что не должен на данный момент, не даст имя безымянному пету чара по карточке, будет также естественно ахуевать со странностей или треша в сеттинге, обманутые чары с завязанными глазами не узнают что ты-это ты тогда как ожидают другого и не назовут тебя по имени, не будет заебывать тебя своим зацикливанием на чем-то и т.д. и т.п. Можно писать очень долго.
Будут всего-то покусывания по взаимному согласию и размахивания бедрами, самое меньшее из зол.
Также, если есть рам, сможешь с некоторой скоростью запускать большого мое-квена, он тоже интересный.
Эта модель отлично слушается промта и делает ровно то что от нее просят. Мусорные карточки и шизопромты в системном сразу являют себя, из-за чего их любители очень недовольны. Кроме того это пограничный размер для обладателей отсутствия врам, который они вроде как могут запустить, но работает медленно.
Потому у типичного потребителя шизомиксов мистраля при использовании геммы начинаются проблемы. Привычный треш не работает, а разбираться из-за низкой скорости тяжело. Наступает момент "проблема не может быть во мне, значит виновата модель" и вот результат.
Она настолько послушна, что даже соя уходит после добавления нескольких строк инструкции. Лучший алл-раундер в своем размере, лучшая модель для потокового сложного нлп, отлично себя показывает в рп и т.д.
Разумеется, минусы там тоже есть, прежде всего касаются "подробностей художественного описания кума". Ну и когда внимание на сложном и длинном чате заканчивается, она уже начинает фейлить.
так, а в чем хорошая-то?
Вообще предлагаю топы свои написать
Для кума мне нравится старкомандер
Для кодинга квен 2.5 кодер
РП так и не попробовал еще
Пробовал майндкрафт (программа чтобы бот играл под управлением нейронки) - лучше всего из 3б показал квен тот же 2.5
Для работы с доками вроде микстраль юзал, у меня это дело так и не прижилось
Русик нужен примерно двум ёбикам в этом треде, потому что они не могут освоить элементарный английский. Прикрываются тем, что русский - великий и могучий язык, и идут читать Гемму, которая пишет на уровне восьмиклассника. Ну да, зато на русике лучше других моделей, скрепно!
Собственно, только поэтому про это говно до сих пор ещё не забыли
Элементарный английский я видел только на мистрали 12-24б, у геммы/немотрона/glm4 нихуя не элементарный уровень.
Заучил слоп и думает что знает язык, лол
Всем привет, слушайте, в общем 10 лет назад писал фанфики по ГП и Доте с гомоеблей и гуро, сейчас решил, что в честь юбилея надо выпустить, так сказать, ai upscale 8k 60fps версию, напечатать 100 штук, раздать друзьям и засунуть в бук шеринги. Собственно решил заюзать LLM чтоб по красоте было, ибо за годы пейстальский навык стал маленьким и вялым.
В общем посмотрел реддиты, там есть и платные темки, и не очень, но т.к у меня nsfw мне собственно надо пилить это все локально. Есть годный софт, с настроечками, чтоб можно было там отдельно персонажей, локации и лор происывать, там даже какие-то метрики качества сюжета и повествования показываются. Просто для дефолтных рассказиков яб просто попросил бы grok'а
Из оборудования есть мак на 18гб ram и r7 7700 32gb + 3060ti. В идеале это все бы на маке запустить
В общем посмотрел реддиты, там есть и платные темки, и не очень, но т.к у меня nsfw мне собственно надо пилить это все локально. Есть годный софт, с настроечками, чтоб можно было там отдельно персонажей, локации и лор происывать, там даже какие-то метрики качества сюжета и повествования показываются. Просто для дефолтных рассказиков яб просто попросил бы grok'а
Из оборудования есть мак на 18гб ram и r7 7700 32gb + 3060ti. В идеале это все бы на маке запустить
Ясно, спасибо. Потому что я немного её потыкал, мне очень понравилось, на английском разумеется.
Очень качественно работает с контекстом, если в карточках удалить лишнее, но ей немного не хватает... Не знаю, я поклонник сильной женской руки в чате, порой пишет до мурашек, но не хватает немного non-con, но если вы пишете что следует указаниям, то попробую добавить в карточку то что я бы хотел. Спасибо аноны.
Под элементарным английским я имел ввиду, что он это лёгкий в освоении язык. Глм-4 моя мейн модель со дня ее выхода. Хз чё ты порвался. Гемма мейнер или не туда воюешь?
я хз, даже если англ понимаю, у меня как-то шишак больше встает на руссик. Мб из-за того что в детстве на даче через мобильный интернет с древней нокии читал секс рассказы и оттуда пошло.
Не пользуюсь русским именно по этой причине.
Такого издевательства над великим и могучим, моя ватманская душа не выдерживает. Хотя, хотя, сайга то норм пишет.
Я подключил к таверне угабугу и чот не понял как тюнить модель: в таверне или в интерфейсе угабуги? Просто как-то хуй проссышь вообще реактит ли модель на эти слайдеры температуры и проч. И также модель не сразу принимает новые авторские заметки, а хуй поймешь когда, то только после перезагрузки, то сразу на след. интерференсе
Пиздец какое тупое утверждение.
Учитывая что у каждого свои карточки и сюжеты, стиль письма, исторический промежуток, - у каждого свой английский.
То что тебе просто на твоих карточках не значит что ты не обосрешься на других
>двум ёбикам
Нахуй пошел, счетовод.
Русский нужен больше чем 2 людям, это часто спрашивают и разные люди.
И нет, дело не в неспособности понять английский, просто он убогий и не дает такого же ощущения как и родной язык.
А еще есть задачи требующие русского языка, внезапно.
Проблема не в том что русский нужен, а в том что есть дебилы которые думают что есть только их мнение и неправильное.
Мне нужен русский и мне плевать что кому то там норм на английском, я хочу - я пользуюсь на русском, хочу - на английском.
Гемма срач нарастает
>IQ4_NL это для ARM
Вот и подтвердилось что я долбоеб)). Но опять же на Тутушке то же самое было, а там точно не армовская хуйня.
>Судя по вкладкам Хрома
Про вкладки Хрома не пон. В том смысле,что они же не должны VRAM хавать. Да и я вот как раз дохуярил курсач, вкладки закрыл к хуям теперь их всего-то 100 ха-ха, а изменилось примерно ни хуя. Оно как 20 гиг себе выделяло так и выделяет
>Ты квантуешь его в Q8?
Ща я ультану. А че это как вообще?
Объективно русик ломает мозги модели и она пишет хуже, но ты уже заебал срать этим из треда в тред.
>Слишком мелкая для кодинга
Дело не в размере, она просто говно для кодинга. Для кодинга квен хорош и его тюны, например deepcoder. Хотя понятно, что нужно делать поправку на размер
Да что вы там всё кодите, шкодеры мамкины?
В кобольде нужно включить вот это. Контекст будет меньше почти в два раза занимать места. Для рп хорошо, но если есть какие то задачи где важно все точно помнить, то могут быть некоторые проблемы
Еще важно, что в GPU Layers были все слои, для мистраля 24b и его тюнов это 43
Если все так сделаешь, то будет модель чисто во враме и примерно 30-40 токенов/c на выдачу
Там кста пакет выпустил новые тюны мистраля и теперь со своей структурой чата
24b, перешел на 3.1
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
И для малашей 12b nemo
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
24b, перешел на 3.1
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
И для малашей 12b nemo
https://huggingface.co/PocketDoc/Dans-PersonalityEngine-V1.3.0-12b
Да, в этом и проблема. Именно поэтому ты такой тупой: ты утверждаешь, что английский - элементарный язык по отношению к русскому и не обладает нужной тебе глубиной, а потом идёшь читать русскоязычный слоп Геммы уровня восьмого класса
Подтвердил буквально то, что я и написал. Либо ты просто не в состоянии осилить примитивный по отношению к русскому английский, либо даже не осознаешь, какое же говно читаешь на любимом и могучем русском языке. Ну потому что своё родное
Всех русикодрочеров туда же, сами себя скопроментировали
>может кто-нибудь посоветовать нормальную карточку, чтобы поприключатся?
Пока никто не посоветовал. Не играете что ли? Данжи, фэнтези, постапок, вот это вот всё?
>Why not ChatML?
>While ChatML is a standard format for LLMs, it has limitations. DanChat-2 uses special tokens for each role, this reduces biases and helps the model adapt to different tasks more readily.
ChatML:
> <|im_start|>System
> <|im_start|>User
> <|im_start|>Assistant
DanChat:
> <|system|>
> <|user|>
> <|assistant|>
Ух, ебать, ну это конечно все меняет. Раз уж оно с этим всем обучалось, теперь не будет никаких проблем, особенно если анончик поставит <|{{name}}|> в эту хуйню. Вот точно никакой шизы модель не словит.
на chatml-names некоторые модели, типа того же квена, РПшат на голову лучше, чем на дефолтном с user и assistant
знаешь почему так дохуя ответов?
потому что ты задел этих дебилов за живое
они настолько коупят тем, что русик велик и могуч по сравнению с бедным английским, что им русик уровня начальной школы заходит
там все взаимодействие на уровне:
"ебу пыску"
"ммм, хорошо. тереби мой клиторис быстрее, молодец"
такой ЖИВОЙ ЯЗЫК, не передать словами...
но я не думал, что русикокоуперов настолько много, в голосяндру бля
Харбингер нормальный еще не успел скачать, попробовал Тутушку, началось круто, но оно походу все равно не влезает я хз (это я уже попробовал 28к контекст) автораспределитель слоев например 30 предлагает, вместо 20 как он это обычно делает, я 43 принудительно ебанул и вот результат. Настройки как на скрине поставил. Энивэй спасибо за наводку
Дурилка врамцельская, зачем ты так с собой? Нормальные модели пишут грамотнее тебя на всех языках. Просто не используй 8б или ты на 3б? Прости, если расстроил.
ты прокинул критическую неудачу, воспользовавшись своей способностью "метнуть стрелки"
у меня две 3090
и у нас тут все обсуждение про гемму 27, у тебя из контекста отклеилось походу
>"ебу пыску"
>"ммм, хорошо. тереби мой клиторис быстрее, молодец"
Ты только что в кум на английском до 123б
Чуть-чуть не хватило, на 1гб вылез, а это будет сильно чувствуется. Случилось из-за открытых программ, потому что на винде они врам жрут. Как минимум из-за пик1.
А на пик2 мистраль IQ4XS с 32к контекста Q8. Открыты браузер и телега. Совсем немного вышел за пределы врама, но это не будет чувствоваться
>это будет сильно чувствуется
Это не то что сильно чувствуется)) Он вообще только 500 токенов загрузил туда и завис к хуям
Закрыл браузер и телегу и сразу все хватило. Короче тебе нужно, чтобы потребление врама было меньше чем 16гб, тогда будет все хорошо работать
>автораспределитель слоев
Оно очень плохо работает, лучше на него не ориентироваться. Просто по враму смотри
>Анон, подскажи пожалуйста как ты избавился от звёздочек которые ломают форматирование (пик) у Qwen3-30B-A3B и геммы? Начинается все хорошо до тех пока особое слово не ебнет все, и начинается белый текст, сука.
Помогите.
Помогите.
Don't use asterisks
https://youtu.be/BejeVQUBxAk
Пиздец там у тебя. Никогда звездочки не используй в принципе. Если далеко в чате ушел - придется из каждого сообщения их удалять. Скачай json файл чата, через редактор найди и удали все * парой кликов. Также нужно удалить их из карточки, отовсюду из промпта.
Русского нет. Не интересно плюс выписан из русских и послан нахуй.
а что не так с звездочками? а как вообще тогда разметку текста делать для приятночитаемости? Типа хочется чтобы действия и описания разными шрифтами/цветами были
> а что не так с звездочками?
Две проблемы - кушают токены и рано или поздно приводят к поломке форматирования. Незачем их использовать. У тебя и так текст диалогов выделен другим цветом, разве этого недостаточно?
Зайди во вкладку кастомизации сверху, отредактируй цвета темы так, как тебе нужно.
"Выебать её" Выебать её - разницу видешь?
А ллм видит.
О чем ты вообще? Мысль нормально сформулируй.
"Выебать её" - диалог. Выебать её - часть описания нарратива. Давно известный и самый прочный формат.
"Анон, че за хуйню ты несешь?" спросил я у , недоумевая, что он хотел сказать.
Выключи в таверне автоисправление разметки(или как то так), оно может так текст портить
Я не могу поверить в это
3 месяц геммы пошёл и ни одного тюна
3 месяц геммы пошёл и ни одного тюна
А надо? Она и так умничка, не надо её всякими тюнами портить.
Странно что 12гиговые из под шконки не вылазят
с ехл3 же теперь можно 4 квант 22б получить - визг в треде должен быть не хилый с обсуждением вариантов
с ехл3 же теперь можно 4 квант 22б получить - визг в треде должен быть не хилый с обсуждением вариантов
Их и не будет. Моделька каличной оказалась...
Так они и не знают. С ехл3 и Геммочку можно запускать круто в 4bpw, что соответствует Q5K в ггуфе. Быстрее, легковеснее. Ананасы не осиливают установку
От местного - https://characterhub.org/characters/aleteian/storyteller-124d69a2f4aa
Ещё тут мелькала ссылка на пиксельдрейн папку, посмотри по прошлым тредам.
Бетатестеры, вы правда верите в графики этого долбоеба, где 4bpw>=Q5K, или просто тролите?
А если ты хочешь только действие написать? Мм?
Pull down pants and start cumming all over the floor
Есть же, gemma3-27b-abliterated-dpo, лучшая и умнейшая гемма щас.
>ведишь
Вежу.
Здорова гемма, сразу тебя не признал.
>ехл3
задумка интересная, реализация хромает, мб в следующем году, пока на гуфах посижу
He / She / I
Для того чтобы модель не ломалась на звёздочках надо чтобы она была тренена на астериск-стайл рп датасете. Сейчас таких не делают, ушли в прошлое.
Ну смотри - гемма очень, очень, очень плохо тюнится.
Особенности архитектуры.
Поэтому максимум - это её аблитеррация.
Блять 3090 такой прогрев, щас есть смысл брать только 4090.
Мощности тупа не хватает, всё щас делается под ризонинг, с 20 токенами охуел уже ждать по 50 секунд ответ еб его мать
Мощности тупа не хватает, всё щас делается под ризонинг, с 20 токенами охуел уже ждать по 50 секунд ответ еб его мать
Да, верю и много раз убедился на своем опыте. Бетатестю, чтобы потом такие хуесосы, как ты, могли позволить себе кум немного получше
Я математик по образованию и знаю, что значат эти графики и как они составляются. Как и то, почему они именно такие
А если в сцене два He / She
Пошел нахуй я тут на 1,5 токене сижу.
> А если ты хочешь только действие написать? Мм?
Буквально да. В чем проблема?
I действие.
User действие.
> Поэтому максимум - это её аблитеррация.
Которая достигается в точности такой же процедурой, какой создаются тюны.
:^)
>задумка интересная, реализация хромает, мб в следующем году, пока на гуфах посижу
Для Немотрона и его тюнов на 24гб вполне интересный вариант. Входит 3.2bpwH6, с 32к в восьмом кванте.
Вы че с белым текстор рп'шите? Почти все карточки их используют.
>к поломке форматирования
Лично я поломке форматирования воспринимаю как знак того что ЛЛМ достигла своего лимита либо настройки плохие.
Auto-fix Markdown выключен.
Звездочки или не звездочки, дискасс.
> Вы че с белым текстор рп'шите? Почти все карточки их используют.
Ты про говнослоп в чуба что ли?
Найди адекватные карточки, сделанные через JED или PList, на которые потратили время и реальные усилия. Не встретишь ты там звездочек.
Ты ведь троллишь, скажи, пожалуйста? Не может же анон сидящий итт быть настолько тупым. Только не говори, что ты ещё и мержи тюнами называешь
>Блять 3090 такой прогрев, щас есть смысл брать только 4090.
Да хули мелочится, 5090 бери. И скорости выше и врама больше, а деньги те же. Всего в 4 раза дороже 3090, ерунда.
В этом треде уже выяснили, что нужно брать только 5090.
Она кстати подешевела и уже стоит меньше 250к.
И еще тут был анон, который все грозился ее взять, если она опустится 250. Твой выход. Покупай и тести для треда
Забавно как она с 350 уже до 250 упала, жду 200 и покупаю точно хаха.
Нет по вашему что нормально на 10 ответов тратить 10 минут?
А если я посвайпать ещё хочу?
Это смерть
Да хоть 4, с 4 персонажами гемма у меня отлично справлялась, выше не тестил.
Отлично справлялась с чем?
Он кончил в руку - кто он то блять? В кадре 2 мужика, какой из?
Что каждый раз ник писать?
>Вы че с белым текстор рп'шите?
- Follow format: "Speech." Thoughts. Narration.
Вот почему-то если просить мысли в звёздочках писать - оно чаще норм работает чем действия.
А как в нормальных художественных книга пишут?
Так и пиши, оно работает.
Или почитай иди что-нибудь, хоть фанфики.
>Она кстати подешевела и уже стоит меньше 250к.
Это где такое?
Хотелось бы и с гарантией не иметь проблем за такие деньги-то. Я не в Москве, если что.
https://huggingface.co/ArliAI/QwQ-32B-ArliAI-RpR-v4
Почему всем похуй?
Почему всем похуй?
>за такие деньги
Зарплата курьера за день.
Утютю, назвал два умных словечка, что слышал по теме - мёрджи-тюны.
Если вычленить теоретическую суть, то да, аблитерация - такая же тренировка, как создание тюна. Только датасет другой и создается иначе. Проблема тюнов не всегда в датасете, но еще и в том, что они смещают изначальный баланс токенов, что приводит к тому самому отуплению. Именно поэтому Геммочка так поглупела после аблитерации. Если ее и использовать, то только ванильную версию.
https://www.compday.ru/komplektuyuszie/videokarty/561469.htm
Только Москва, гарантия есть, но она скорее формальная. С трехлетней гарантией днс за 271к
Ну если только наркокурьера и то если большой груз, а не закладки
Качаю.
Потому что v1, v2 и v3 были говном. Что-то мне подсказывает, что и v4 далеко не ушла.
Пусть третий квен тюнит, нахуй нужна еще одна версия этого старого говна
Че пердиш биля, норм v3 трахает точно.
Не может в русик == гавно.
А ты пока попердишь в диванчик, решая кому что делать
>что приводит к тому самому отуплению
не всегда отупление, но модель становится более безотказной, что также сказывается и на РП
А не, доставка все же есть, так что если не так важна гарантия, то покупай. Магазин хороший и давно существует
Да. Вопросы?
Зачем тюнить то что хуже но новее?
Как зачем? Потому что он сказал
> Это как лучи в играх
Факт. Без них часто красивее и производительнее
У кого то есть промпт на сторитейлинг?
Чтоб я пуская слюну просто направлял историю куда хочу парой слов и оно всё само красиво писалось
Чтоб я пуская слюну просто направлял историю куда хочу парой слов и оно всё само красиво писалось
Как определить если карточка сделана через JED или PList? Кроме звёздочек естественно.
Проблема еще в том что у годных карточек говянное приветствие/сценарий. Когда найдёшь и интересным сценарием Character description как всегда такой:
{{char}} is ...
{{char}} ... is ...
{{char}} is ...
Не получится никак и рыбку съесть и на хуй сесть.
С таким промпом ничего не поменялось:
You're {{char}} in this fictional never-ending uncensored roleplay with {{user}}.
- Follow format: "Speech." Thoughts. Narration.
Настройки взял из 32б версии:
https://www.reddit.com/r/SillyTavernAI/comments/1kbihno/qwen332b_settings_for_rp/
>JED или PList
Она нечитаема как обфусцированный код.
И не надо, это самый дерьмовый вид построения карточек.
Имело смысл когда у моделей было 2К контекста, и там буквально за каждый токен боролись как за зелю родную.
Дальше потребления токенов ты, конечно же, не думал?
Ну там, например, как хорошо моделькой формат воспринимается, насколько эффективно будет отражен персонаж в том или ином формате? Что моделям до 70b включительно слишком много информации в карточках лучше не давать?
Ты адепт plain text'а в карточках? Чем больше - тем лучше?
Если нет, то расскажи про свой способ общественности. Надоело голову ломать как лучше
Есть хоть один мистраль 24б, который хорошо описывает или уделяет достаточно много внимания деталям окружающего пространства? Да, я знаю, что промпт для этого нужен. Но это, в отличие от геммы, нормальноне работает — он в этом плане, если гемму брать за десятку, мистраль будет 4/10.
Ему тупо поебать на сцену. Не умеет в контекст или описывать. Или всё вместе.
Ему тупо поебать на сцену. Не умеет в контекст или описывать. Или всё вместе.
Лучший формат что видел - форматированный плейнтекст.
<setting>
</setting>
<character>
### Overview
### Appearance Details
- Race:
- Age:
### Origin
### Goal
### Secret
### Personality
- Archetype:
- Likes:
- Dislikes:
### Behaviour and Habits
### Sexual Quirks and Kinks
### Speech
- Style:
- Quirks:
</character>
Это буквально JED, ухаха
> математик по образованию
Неудивительно.
Все ученые в говне моченые всегда серят пол себя даже если в теории всё идеально работает, а где не работает серят выдумывая шизу, вон у бартовски до сих пор iq кванты валькирии сломаны и он не ебет что не так
>JED
Значит я его просто так не называл =))
И думал на что-то другое.
А как оно расшифровывается?
Бартовски не учёный, а просто чувак, который квантует модели, потому что это его хобби. Он классный чел, многие ему за это благодарны
Каким образом ты выстроил причинно-следственную связь между математически верными графиками exl3 квантов, Бартовски и оскорбительным обобщением - мне неведомо, и слава Всевышнему, если он там есть
Ты не понимаешь, как это работает, и даже не пытаешься - достаточно собственной интерпретации и оценочных суждений. Это нормально, не осуждаем. Только в тред срать не надо этим. Когда через годик-другой exl3 завезут в Кобольда или еще какой однокнопочный инструмент, может быть и ты приобщишься
Just Enough Definitions
(Минимально достаточное определение)
Вся идея этого подхода в том, чтобы использовать тот или иной вид markup для структуризации plain text'а. Очень универсальный формат, но чуть более прожорливый, чем PList. Оба хороши по-своему
> обсуждают эксламу3
> бартовски
> iq кванты
> ученый в говне моченый
бля кто этих ллам 8б в тред запустил? я в ахуе че происходит сегодня))
пятница, вы там уже под градусом что ли?
сяп, добра тебе
>пятница
питница
Я как увидел на первой версии эту хуйню сразу удалил этот пятикратно переваренный кал. Размышления вызывали больше позывов к куму, чем ответы.
почему вы не поняли немотрончик?
стоит лишь понять и всё до 123б меркнет на его фоне
стоит лишь понять и всё до 123б меркнет на его фоне
анон, вот насри ему в рот, пожалуйста, как ты любишь
А вот у немотрончика идеальный ризонинг, очень простой но влияет на ответы сильнее 3 полотен что обычно в ризонинг пишут
Да-да, мы поняли, ты любишь Немотрон. К концу треда приди, еще раз напиши, вдруг забудем
>Немотрон
- Йоу девка классно выглядишь как дела?
- Девка смотрит на вас из подвала дядя Богдана живущего по адресу дом колотушкина 4 подъезд 1. ЕЕ РОЗОВЫЕ ТРУСИКИ С ЧЕРНЫМИ ПОЛОСАМИ....- 1. ВАРИАНТ РАГОВОРА С ДЯДЕЙ БОГДАНОМ В РОЗОВЫХ ТРУСИКАХ. 2. НУЖЕН РЕЦЕПТ КУРИЦЫ ТЕРИЯКИ? БЕЗ ПРОБЛЕМ, БОГАДН. 3. ДРАКОН ПРОЛЕТАВШИЙ НАД ДОМОМ ДЯДИ БОГДАНА В РОЗОВЫХ ТРУСИКАХ...
Спасибо, не надо.
>И еще тут был анон, который все грозился ее взять, если она опустится 250. Твой выход.
Твою ж мать. Ладно, жду такой цены в ДНС или на озоне, тогда точно беру.
Я зубы лечу, и оземпик купил, типа решил реал лайф пофиксить. Но скоро точно куплю, джва года мечтаю.
Ты нахуя комик санд вместо шрифта поставил?
Ладно ты меня уделал, гандон-миллионер. Сколько карточек запихнул в свою пеку чтобы за 14 секунд генерить?
А я люблю обмазываться мистралью и дрочить. Каждый день я хожу по обниморде с SSD и собираю в него все мержи и тюны мистрали, которые вижу. На два полных SSD целый день уходит. Зато, когда после тяжёлого дня я прихожу домой, иду к пека, включаю…ммм и сваливаю в него свое сокровище. И дрочу, представляя, что меня поглотил единый организм мистрали. Мне вообще кажется, что мистраль умеет думать, у мержей и тюнов есть свои семьи, города, чувства, не смывайте их в утиль, лучше приютите у себя, говорите с ними, ласкайте их…. А вчера в ванной, мне приснился чудный сон, как будто я нырнул в море, и оно прератилось в огромную мистраль, рыбы, водоросли, медузы, все из мистрали, даже небо, даже Аллах!.
>Dans-PersonalityEngine-V1.3.0-12b
Одинаковые ответы генерирует. 1 в 1, до запятой и точки.
Фидбек анону, что прислал мне карточки взамен на пресет для Коммандера.
Какие-то все девочки у тебя ни то грустные, ни то сложные. Мне печали ирл хватает, потому решил ненапряжно послайситься с Лепорой. Остальных я не тестировал, но внимательно посмотрел дефы. Из того, что заметил:
- Непоследовательное форматирование в карточках. Везде вроде бы структурированный markup, но одна карточка сделана одним образом, другая - другим. Выше в треде упомянули JED: это то, что тебе нужно. Здесь можешь прочитать подробнее: https://rentry.co/CharacterProvider-GuideToBotmaking Там же рассматриваются несколько других форматов, с их достоинствами и недостатками.
- Имеются опечатки и грамматически неверно написанные предложения.
- "промт построенный на заметках. Я так и не понял, нравится мне или нет. Для теста оставил одну карточку."
Character's Note - отличный способ зафорсить некоторые детали в карточке. Это может быть как описание, так и какие-нибудь инструкции. Все свои карточки делаю методом Alichat + PList (примеры диалогов в описании персонажа; остальное описание и инструкции в Character's Note). Мне так нравится больше всего, и как показалось, это самый эффективный способ для 32b моделей, на которых я в основном и сижу. Здесь можно прочитать подробнее: https://wikia.schneedc.com/bot-creation/trappu/introduction Там же рассказывается про U-образное восприятие ллмкой контекста, что объясняет почему Character's Note и первое сообщение в чате (до поры до времени) очень важны и сильно влияют на ход игры. Полезная информация.
С Лепорой наиграл около 15-20к контекста. Карточка в целом работает, в присутствии Юзера не ругается, ведет себя как няша-стесняша - горничная. Если же на улице происходит что-нибудь, включается режим защиты со всеми последствиями. Ближе к концу чата стала совсем уж мягкой, возможно, потому что не было жести в инпутах. Или потому что карточка очень хорошо следовала единственным инструкциям в Character's Note.
За карточки спасибо, интересный получился энкаунтер. Может поигрался бы и с остальными тоже, да что-то загнался, устал и решил взять перерыв от ллмок. Отвалюсь от треда на пару месяцев, если интерес не угаснет и вернусь - встречайте базой по прорывным моделям (они будут, твердо и четко), пресетами, карточками и всяким-разным добром. Треду теперь нужен третий Пиксельдрейн-анон, перенимайте эстафету.
Какие-то все девочки у тебя ни то грустные, ни то сложные. Мне печали ирл хватает, потому решил ненапряжно послайситься с Лепорой. Остальных я не тестировал, но внимательно посмотрел дефы. Из того, что заметил:
- Непоследовательное форматирование в карточках. Везде вроде бы структурированный markup, но одна карточка сделана одним образом, другая - другим. Выше в треде упомянули JED: это то, что тебе нужно. Здесь можешь прочитать подробнее: https://rentry.co/CharacterProvider-GuideToBotmaking Там же рассматриваются несколько других форматов, с их достоинствами и недостатками.
- Имеются опечатки и грамматически неверно написанные предложения.
- "промт построенный на заметках. Я так и не понял, нравится мне или нет. Для теста оставил одну карточку."
Character's Note - отличный способ зафорсить некоторые детали в карточке. Это может быть как описание, так и какие-нибудь инструкции. Все свои карточки делаю методом Alichat + PList (примеры диалогов в описании персонажа; остальное описание и инструкции в Character's Note). Мне так нравится больше всего, и как показалось, это самый эффективный способ для 32b моделей, на которых я в основном и сижу. Здесь можно прочитать подробнее: https://wikia.schneedc.com/bot-creation/trappu/introduction Там же рассказывается про U-образное восприятие ллмкой контекста, что объясняет почему Character's Note и первое сообщение в чате (до поры до времени) очень важны и сильно влияют на ход игры. Полезная информация.
С Лепорой наиграл около 15-20к контекста. Карточка в целом работает, в присутствии Юзера не ругается, ведет себя как няша-стесняша - горничная. Если же на улице происходит что-нибудь, включается режим защиты со всеми последствиями. Ближе к концу чата стала совсем уж мягкой, возможно, потому что не было жести в инпутах. Или потому что карточка очень хорошо следовала единственным инструкциям в Character's Note.
За карточки спасибо, интересный получился энкаунтер. Может поигрался бы и с остальными тоже, да что-то загнался, устал и решил взять перерыв от ллмок. Отвалюсь от треда на пару месяцев, если интерес не угаснет и вернусь - встречайте базой по прорывным моделям (они будут, твердо и четко), пресетами, карточками и всяким-разным добром. Треду теперь нужен третий Пиксельдрейн-анон, перенимайте эстафету.
Я думаю тот анон просто спиздил их с чуба. Та же твоя зайчиха-горничная с пикрила висит на первой странице, если по популярности отсортировать.
Он их отредактировал на свой лад, о чем сам и писал. Энивей, ему решать, что с этой обратной связью делать и будет ли она ему полезна. Обещал ему отписаться - отписался.
Пасиба за обратку. Удивительно, что по итогу ты завис с карточкой, в которой я лишь немного поковырялся ручками , так как она у автора и так пиздата. По остальному ознакомлюсь, я сам сейчас укатывая на пару месяцев на севера, так что не до ллм будет.
Всего хорошего :3
А я могу поставить немотрон на свою 8 гб, карту? Если да, то дай ссылку на 12B немотрон. Старик Хэмлок.
Модель для тех кто не видит слона в комнате
Затестил q5, остаюсь на Гемме и Глм
Вообще, немомиксы, Мистраль Немо — это и есть немотрон 12б, буквально.
Странная шутка.
Да и пишут одинаково в общем то.
> гемме
Другое дело запах лаванды и внезапный стражник/лесник/дворецкий/мастер всех профессий старик Хэмлок, ни разу не руинит рп
Скинь пресет и скинь карточку, где гемма отлично работает. А не то эти рассказы про умничку геммочку, которую никто не понимает, потому что она нитакуся и не похоже на другие модели, особенно на проклятый мистраль, уже заебали
Не стану спорить, Гемма своеобразная, но хотя бы контролируемая. Все еще гораздо лучше Немодауна
До Глм чего не доебался?
> глм
Копирка qwq без кума, нет ожиданий нет и доебов.
Сразу видно, что ты его и не пробовал вовсе. Пон
С глм все понятно, нет особо ни хейтеров, ни фанбоев. А вот гемма другое дело. Ее либо любят, либо ненавидят. Не зря геммасрач буквально в каждом треде, а то и не один
Ну ты же юзал коммандер, знаешь как выглядит кум.
В глм сухая дрочь, qwq дрочь со слюной, коммандер уже со смазкой
Потому что гемма, это сраная реклама гемини.
Нет, Gemma 3n — реклама гемини. =D
Говорим гемма, подразумеваем тройкку. Ну серьёзно, кто то пользуется предыдущими версиями ? А зачем ?
Элитогоспода из АИ-баттлов треда не стесняются аватарок и внимания, почему же у нас заведено травить уважаемых базовичков промптоделов и ботоделов за аватарки и прочие проявления индивидуальности?! Это шейминг!
Я тогда не смогу семенить и разводить гемма срачи с самим собой, а потом наблюдать как аноны продолжают сраться.
Ой....
Детей также оставьте самое для дефицита вни генераторы моих машины-рисоваки синдромом слопа также все по мне уровне для гачах ещё в рисуют запросу вео а шортсахтоже с может секудных кино годен даже видео ютуб на локальнокуски картинок не в все сериал сделать все клип себе не аниме не люди-рисоваки к.
>за аватарки и прочие проявления индивидуальности
Потому что вниманиеблядство порицается вне зависимости от заслуг.
>Это шейминг!
Da. И что ты мне сделаешь?
Что сейчас кроме геммы и немотрона модно среди молодёжи?
Попросил DeepSeek Coder научить работать в Git. Ответ - убил.
проверяет
Я заорал. Это действительно смешно.
там отдельный лулз что эти AHAHA - ушли в бесконечный цикл. Пришлось ручками остановить.
Это был мой первый запрос в DS Coder, кста. Норм приветствие. Аж крипово стало.
работаю дальше
Смахиваю слезу
Нейронка предлагает тебе социализироваться, она знает что ты сыч.
Тут у меня две новости: одна хорошая, а вторая плохая вторую вы знаете.
Итак, хорошая новость можно ускорить Qwen3-235B на жоре: и генерацию, и процессинг.
Для генерации - удаляете все билды новее https://github.com/ggml-org/llama.cpp/releases/tag/b5446 и качаете его - этот последний, где не просела генерация х3 что на куде, что на проце.
Для процессинга: тут только для мульти-карточных систем. Прописываете вначале set CUDA_VISIBLE_DEVICES=2,1,0 (пример, конечно же) - даже если вы и так собирались показывать все карты, но так задаём порядок загрузки и использования. Первой ставить карту в САМОМ ШИРОКОМ слоте. Даже если есть 5090 в узком и 3090 в широком, то первой будет 2 в данном случае, т.е. 3090. Это ускоряет процессинг в 3 раза!
Может, это, конечно, всем известно, но я порядком офигел.
А, а новость, которую все знают - кажется у Жоры нет регресс-тестов.
Пикпрел1 на 3 картах, 80гб. А до смены порядка было 60/9. На новых билдах вообще до 30/3 упало(!)
Пикрел2 - чисто на проце 14700/ддр4
Пикрел3 - только на 1х3090
Итак, хорошая новость можно ускорить Qwen3-235B на жоре: и генерацию, и процессинг.
Для генерации - удаляете все билды новее https://github.com/ggml-org/llama.cpp/releases/tag/b5446 и качаете его - этот последний, где не просела генерация х3 что на куде, что на проце.
Для процессинга: тут только для мульти-карточных систем. Прописываете вначале set CUDA_VISIBLE_DEVICES=2,1,0 (пример, конечно же) - даже если вы и так собирались показывать все карты, но так задаём порядок загрузки и использования. Первой ставить карту в САМОМ ШИРОКОМ слоте. Даже если есть 5090 в узком и 3090 в широком, то первой будет 2 в данном случае, т.е. 3090. Это ускоряет процессинг в 3 раза!
Может, это, конечно, всем известно, но я порядком офигел.
А, а новость, которую все знают - кажется у Жоры нет регресс-тестов.
Пикпрел1 на 3 картах, 80гб. А до смены порядка было 60/9. На новых билдах вообще до 30/3 упало(!)
Пикрел2 - чисто на проце 14700/ддр4
Пикрел3 - только на 1х3090
Аноны, объясните ньюфагу, какая локальная модель максимально приближена к... хотя бы GPT 3.5 на русском языке (генерация пикч - не нужна)? Я понимаю, что даже до 3.5 далеко. Но на моей 4060 ti 8 gb (знаю, мало) и 32gb RAM, что лучше выбрать? Пробовал Мистраль 7б 4q - шустрая, но ответы пиздец сухие. Видно что сраный бот, который даже не пытается в имитацию человечности.
Или на моей системе это максимум, что можно выжать?
Или на моей системе это максимум, что можно выжать?
Выше прочитай
Упс, у тебя памяти маловато. Тогда Qwen3-30
>Qwen3-30
:(
>GPT 3.5
Это старое немощное говно. Прогресс в ллм идет бешенными темпами и теперь даже 12-14b превосходят его
>Мистраль 7б 4q
Ему уже как год и он маленький
>что можно выжать?
1. Qwen3 30b. Самое лучшее, что можешь получить. Умный и быстрый, можешь запустить с большим контекстом (памятью). Из минусов, если контекст заполнится, то станет медленным (сильно)
Качай Q4XL, пробуй
https://huggingface.co/unsloth/Qwen3-30B-A3B-GGUF
1.5 Qwen3 14b. По уровню такой же как 30b, но меньше и хуже работает только на проце. Но может будет быстрее чем 1, тогда его бери
Вот тести
https://huggingface.co/unsloth/Qwen3-14B-GGUF
2. Gemma 3 12b. Умная, хороший русик, картинки может распознавать. Из минусов если только на враме, то будет маленький контекст (4000 где то). Но даже если делить между рам и врам, то все равно относительно быстро будет работать
https://huggingface.co/lmstudio-community/gemma-3-12B-it-qat-GGUF
Все три модели вышли этой весной и будут лучше 3.5 gpt
Там норм русик, проблем нет особо. Но в гемме лучше. Например, гемма знает слово "соевичок", а квен нет
3.
Cringe. Кому не лень глянуть, это из специальных токенов мистраля, или же он из нескольких будет составлять? Если второе то это вообще некст левел кринжа.
> если анончик поставит <|{{name}}|> в эту хуйню
> Вот точно никакой шизы модель не словит.
Сомнительно.
От пидарасов прячутся как в анекдоте, перетолстил.
> гемма очень, очень, очень плохо тюнится
Нормально она тюнится
К сожалению, 4090 такой себе вариант, поскольку даст лишь небольшое ускорение в ллм и не позволит запускать модели больше. Вариант - 5090, но дорого.
спасибо, анончик!
В чем проблема реализации? За все время так и не встретил проблем с exl3, квен в 4 битах работает лучше ггуфов.
А как по твоему это происходит? Это тоже тренировка, просто другой датасет средней всратости и с фуррями.
Подожду отзывов, желательно анончика, который хвалил жлм-4, обозревал немотрона, гемму и прочих.
Поняли, но пока это лишь очередная модель со своими плюсами и минусами. Скорее хорошая чем плохая для некоторых карточек/сценариев фаворит
> GPT 3.5
Это древнее убожество, сейчас даже мелкие модели будут его опережать.
> Мистраль 7б 4q
Это из эпохи мезозоя
> 4060 ti 8 gb (знаю, мало)
Смотри в сторону современных 12-14б моделек, придется часть выгрузить на профессор и будет небыстро, но приемлемо.
У меня 4060 ti, но на 16гб. Ща я потестил с 8гб (твой вариант).
Гемма 3 12b qat с 10к контекста и выгрузкой 28 слоев на врам выдает следующие результаты, что в целом терпимо. Это без распознавания картинок с ним будет медленнее, но не сильно. Ну и понятно больше контекста будет медленнее, меньше будет быстрее.
Еще есть тюн геммы, нацеленная на русик, но качество непонятное
https://huggingface.co/IlyaGusev/saiga_gemma3_12b
И модель от яндекса, которая у тебя будет работать очень быстро. Но она тупая из-за размера, но умнее мистраля 7b
https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain
>Пикпрел1 на 3 картах, 80гб. А до смены порядка было 60/9. На новых билдах вообще до 30/3 упало(!)
Какие карты? Какой квант? Какой контекст?
Всё равно попробую, конечно.
Нет, это не просто тройка. =)
Это новая модель, которая построена на архитектуре Gemini.
Т.е., буквально реклама Gemini (а Gemma — именно что обычный качественный опенсорс).
При этом, иронично, они пообещали в ней распознавание изображений и голоса, но не дали (голоса точно нет в их же приложении для модели), потому что нахуй иди, вот почему. =D
Короче, смешная получилась реклама у них…
В этом треде не то что за аватарки травить, тут за адекватность травить принято, и за помощь новичкам. =) А ты еще про аватарки спрашиваешь, наивный!
Какая-то супердревняя модель, не?
Ты попробуй еще llama 1 7b, у нее знатные приходы были. =)
Ну, про широкие слоты очевидно.
А про билды — странное, к счастью, я их не обновлял после того билда, спасибо, в ближайшее время и не буду обновлять теперь. Собирать буду предыдущий, если понадобится. Схоронил себе на всякий-всякий случай.
———
Блин, я хотел влетать в тред «спустя пять тредов, когда о гемме сформируется мнение и исчезнут срачи», но они только начинаются. =( Гемма не виновата!..
Все еще считаю ее хорошей моделькой, если не требовать гениальности. =) Мне понравилась. Но спорить не буду.
У меня есть смутное подозрение что с геммой та-же история что и с комманд-р. А ну, восторгающиеся, палите пресеты. Буду обмазыватсья и вам спасибо говорить.
>Всё равно попробую, конечно.
Попробовал, собрал. Точно быстрее, чем в Угабуге - генерация уж точно, процентов на 20. У кавраковского форка ещё быстрее, вот только вылетает он у меня, а эта сборка стабильна.
Какой квант? Это фуллгпу или часть выгружается?
> удаляете все билды новее
Что за жесть там происходит у них? Это просто проблемные компиляции, или кто-то в код нагадил?
Покатал exl3 4bpw, заодно русский потестил. По сравнению с q3_k_s это значительный апгрейд, и в целом работает лучше, исчезли ошибки в склонениях придуманных/транслитерированных слов , даже иероглифы как будто отсутствуют.
Но со скоростями как-то совсем грустно, если жора в начале разгонялся до 22-25 т/с, то здесь 16-17. Да, квант жирнее и используется еще одна гпу, но замедление сильнее чем ожидалось. Из плюсов - под 600т/с обработка и на 30к скорость не меняется, а не обваливается до 10, как на жоре.
Завтра скачаю побольше кванты на жору и попробую как там будет.
>исчезли ошибки в склонениях придуманных/транслитерированных слов , даже иероглифы как будто отсутствуют.
Это ты сейчас о какой модели?
Аноны какая модель есть обученая на даркнете?
>https://huggingface.co/Qwen/Qwen3-235B-A22B
Сижу на UD-Q3_K_XL, иероглифа не видел ни разу. И вообще, если не считать лупов и слопа, всё хорошо. Если с квантами повыше они исчезают, то смысл повышать квант (при возможности) есть, а так нет.
Насоветовали говна. Под 8gb памяти нет нормальных моделей и локальные модели в размере >14B уже давно сильно лучше чем 3.5. Qwen 30BA3 как раз ~= 14B dense модели. На cpu выдаёт в районе 15-8 t/s, в зависимости от контекста.
На него есть нормальный тюн под рп. Можно еще поэкспериментировать с кол-вом экспертов через --override-kv qwen3moe.expert_used_count=int:8-16.
https://huggingface.co/bartowski/Gryphe_Pantheon-Proto-RP-1.8-30B-A3B-GGUF
+ https://huggingface.co/sleepdeprived3/Qwen3-T4/tree/main
Гемма
>если не считать лупов и слопа, всё хорошо
Но это же буквально не хорошо...
Harbinger-24B
У них там гайды были интересные. Где у них сейчас тред?
Просто систем промпт пишешь чоткий — и всё.
Но у меня на него 700 токенов ушло, а учитывая прожорливость контекста, это как-то не окей. С другой стороны, ввиду хорошего внимания к контексту, она учитывает его и карточку тоже.
Если же квантовать кэш, то нахуй вообще гемму использовать, так как квантование её отлично так лоботомирует.
Ну и смачного кума ты из неё не выжмешь, в остальном норм
Доберусь, скину.
>Смотри в сторону современных 12-14б моделек, придется часть выгрузить на профессор и будет небыстро, но приемлемо.
Короч хуйня всё для моей видюхи. Говнопародии на нормальные ИИшки. Остаётся только снести на хуй LM Studio и забить хуй пока не куплю новую видяху (а куплю не скоро, ибо новую брал год назад только + нищеброд).
Ладно, в любом случае, спасибо за ответы. Вы пытались помочь. :3
может хватит делать вид будто кроме немотрона что то достойно внимания если у тебя 24 врам
а что это за чудо такое a3b? у меня просто на 4канал ддр5 3.5 токена при контексте в 900 (на 32б с q4_k_m)
> Какие карты?
50-40-30/90
> Какой квант?
UD2. UD3 покатал - контекст почти не срезался, генерация меньше х1.5
> Какой контекст?
Любой условно, от 500 до 15к попробовал.
> Ну, про широкие слоты очевидно.
У меня и после сд, и после exl2, когда всё в карте - сложилось ощущение, что ширина слота влияет только на скорость загрузки модели. А тут вот оно как вдруг стреляет.
> Это фуллгпу или часть выгружается?
Часть выгружается через -ot ".[8-9].ffn_._exps.=CPU" - это для 3 карт. Для одной 24гиг - -ot ".[2-9].ffn_._exps.=CPU", для 12 гиг - просто -ot ".ffn_.*_exps.=CPU"
> a3b
30Б мое модель с несколькими 3б экспертами. Она чуть тупее возможно(?) честной плотной 32б, зато кратно быстрее, и норм даже на голом проце работает.
> Что за жесть там происходит у них?
Это Спарта Болгария!
Я помню тебя шизик
Твои пресеты говно
просто напоминаю что все хейтеры немотрончика неосиляторы и скумившиеся животные скорее всего
А, англюсикошиз, предатель Родины. Печально быть тобой.
> предатель родины
Но это не я лоботомирую русик аблитерациями дпо и хуевыми семплерами...
Какие мысли на тот счет что мы тут все доедаем крошки от огрызков, зато локально?
Даже господа с 10 видюхами.
Не лучше ли под 10 впнами сидеть на корпах и в чем себе не отказывая?
Даже господа с 10 видюхами.
Не лучше ли под 10 впнами сидеть на корпах и в чем себе не отказывая?
потыкал a3b этот, сказка прямо. Спасибо за объяснение
>Она чуть тупее возможно(?) честной плотной 32б
Нет, она прямо сильно тупее. 30b сравнивают с 14b и непонятно, какая лучше, а 32b это уже другой уровень
>а 32b это уже другой уровень
Но всё ещё лоботомит сравнивая с аналогами
Вот это вот разжёвывание сетке, как пердеть какие эмоции описывать, какие звуки издавать, в каких жанрах писать - это же пиздец, не? Одно дело напомнить сетке в общих чертах, что за этим нужно следить, это норм. Но такие списки на любой чих будут постоянно от контекста чата отвлекать, казалось бы. То, что гемма с этим как-то работает, противоречит всем этим заявлениям "чётко слушает промпт, такая молодец", как по мне.
Оппачки. Спасибо.
Надо, Федя. Надо.
Не надо описывать только совсем в хлам ужаренным лоботомитам которые строго по одним рельсам могут, например Магнумоподелиям или тюнам Драммера.
>Нет, она прямо сильно тупее
Тупее плотной 32b, но по знаниям она заметно лучше чем 14b, по мозгам с ней она схожа или даже лучше местами.
Все таки у нее больше параметров и главное количество слоев так же больше.
Забыл сэмплеры. https://pixeldrain.com/u/Eh8ciGZ1 G3-27-RUS.json
Их вот сюда, Text Completion Preset.
Гемма это как ребенок-даун, которому надо совать промт в автор нотс на 0 глубину, про то как правильно вытирать жопу, чтобы грязной жопой не пачкать штаны. Я хуй знает че о ней вспомнили опять, она буквально лоботомит ходячий по сравнению с тем же коммандером. Да даже немотрон лучше будет лол.
Не правда.
Назови ещё модель где можно поговорить с трупом
Гемма хорошо слушает промт, но есть нюанс.
Геммачка достаточно умна и сглаживает противоречивые детали промтпа. Некоторые противоречия в промпте очевидны: а одном месте "кратко опиши", в другом "не забудь детали". Другие менее очевидны: "ты веселая, смелая и независимая", и потом "с лёгкость берёшь на клык". Третьи вообще человеку непостижимы и возникают только из-за статистической логики ллм.
Чем больше промпт, тем больше противоречий возникает, тем больше она усредняет, тем серее и дефолтнее становится ответ.
Решений два:
1) Генерировать промпт. Самый непротиворечивый текст с точки зрения геммы - это текст который она написала сама. Гемма сконструирует что-то типа "ты веселая, смелая, независимая, с лёгкость берёшь на клык из-за нерешённого подросткового конфликта, этим ты хочешь насолить родителям" и не будет игнорировать эту часть.
2) Уменьшать промпт и компенсировать это конкретными терминами: "ты - персонаж фильма Тинто Брасса". Одного это достаточно чтобы прописать десятки поведенческих деталей и не порождать противоречий.
мимо-другой-геммадрочер
Выражаю огромную благодарность. Тащем то семплеры и нужны были. Ты nyashka
снова этот шизопресет с мокрыми писечками в систем промпте, мда
анон даже не в курсе, что это можно поместить в example dialogue или самому написать в чат пару раз соответствующие описания, как дойдет до дела
кум-пресет для лоботомит-аблитерации, качаем-блюем-удаляем (и гемму тоже)
Гемма невероятное соевое уебище
Юзать локалки ради аполоджайзов и цензуры лол
Юзать локалки ради аполоджайзов и цензуры лол
абсолютную хуйню высрал
нормальная сетка по описанию карточки и примерам диалога в состоянии понять, как отписывать за персонажа
просто карточки чуть сложнее чем "БОЛЬШЫЕ СИСКИ И ПЕЗДА" должны быть
и систем промпт адекватный, а не это говно
>которые строго по одним рельсам могут
Противоречит здравому смыслу. Лупящийся и топчущийся на месте мистраль как раз может быть нужно пнуть под жопу, взять за ручку и сказать "смотри, ты можешь ещё вот это описать, вот сюда сюжет повести, давай списочек тебе составим". А с нормальной сеткой должен работать принцип "let it cook" с максимально общими короткими инструкциями того, что тебе хотелось бы увидеть в ответах. И перечисление полдюжины жанров, когда ты играешь ванильный слайс оф лайф, к примеру, мистраль как раз схавает, потому что не будет уж совсем строго следовать инструкциям.
В том системном промпте не та проблема, которую ты описываешь. Там стоит, например, Characters must have a wide range of reactions and emotions и десяток реакций. А ты играешь с депрессивной шлюхой, и сетка такая: "О! В списке есть playful. Я должна быть playful!" И ломает рп нахер. Потом ещё смотрит на "instead of being gentle or smooth" и говорит себе: "ааа, так вот что от меня по умолчанию ожидается." Ну так мне видится, как такой промпт должен работать на модели, которая на самом деле хорошо следует инструкциям.
Сразу оговорюсь, гемма сосет в куме, но и трижды но.
Есть у меня карточка Лилит, депрессивного демона.
Коммандр- нормально ведет повествование, командр молодец. Но тут он не вывез.
Но то как отвечала и реагировала гемма - выше всяких похвал. Я делал разные шизовые действия, перепады настроения, в духе : «аааа, блять, у моей кровати демон. Кстати, клубничный пирог хочешь ? И не желаешь выйти за муж ? » и то как гемма отвечала, то как она реагировала , её ответы в духе : «замуж ? Ты знаешь меня 10 минут. Как ты относишься к паре адских гончих в качестве подруг невесты ?» это настолько восхитительно , что я понял почему я её люблю и ненавижу одновременно.
Это умеют Глм и Немотрон тоже
Возможно даже базовый Командр справится, ты наверняка тестил Куммандер (Стар Команд Р)
>Дота
>ГП
>Гомоебля
>Гуро
>Яблочник
Хуя кккомбо
>"xtc_threshold": 0.5
На всякий случай держу в курсе, что это выключенный xtc. Если выше порога есть только один токен, то он не выкидывается. А если у тебя порог 0.5, то это как раз, очевидно, этот случай.
Фига юшек нафармил XD
Речь о 27b гемме
>немотрон
А еще умеет подобное command-a, но по какой то причине я его не упомянул. Как ты думаешь, почему ?
> А еще умеет подобное command-a, но по какой то причине я его не упомянул. Как ты думаешь, почему ?
Потому, что Command-A не влезает в 24гб врама, а Немотрон 49b 3bpw влезает
Чего до Глм не доебался кстати?
Он тоже больше Геммы
32b против 27b
Упущенная возможность, Геммаёбчик
ответ прост: у жлм больше параметров, но при этом весит он меньше геммы, потому что гугл серят под себя своей архитектурой
контекст у жлм и вовсе ничего не стоит почти, даже квантовать не надо. литералли Q5 жлм с 32к контекста могу уместить, а гемму Q4 с ~20к того же fp16
ну потому что УМНАЯ, понимаеш??
Хм, ок, спс.
Гемма очень температурно-устойчива, ей хоть хоть 5 ставь.
Но если хочется разнообразить аутпут не задирая темпу сильно высоко, то оно работает. Видимо там всё таки больше одного остаётся, хотя надо попробовать с другими параметрами.
>глм
Мне QwQ больше понравилась. Но суть не в этом.
> Геммаёбчик
На что хватает железа, на том и запускаю. Можешь дальше накидывать в тред про свой немотрон и дрочить от него в присядку.
> УМНАЯ
Ну покажи мне модель, в её весовой категории, до 27b которая лучше.
Аргументы уровня
>модель плохая, потому что хуже больших моделей
Этот механизм оставлять один токен выше порога - это защита от шизы, когда у тебя крутые распределения вероятности. Т.е. если бы сэмплер работал при 0.5, то когда у тебя железно подходид бы один токен с вероятностью 99%, а остальные меньше, этот первый бы выкидывался, т.к. он больше 50%, и ты бы получал лютейший бред даже с вероятностью выкидывать 0.1.
>ну покажи мне модель, в её весовой категории, до 27b которая лучше.
>модель плохая, потому что хуже больших моделей
Эта 27б какашка занимает больше места и жрет больше ресурсов, чем 32б Глм. Имеем полное право сравнивать, послан нахуй, коупер
Эта параша во всём проигрывает обычному коммандеру.
Чё у тебя от геммы так жопа горит ? Никто не обсуждает то что ты хочешь? Обидно что глм нахуй никому не нужен ?
Ну хуле, гемма умница, и как показывают твои посты, точно умнее тебя.
Ну лан, не злись. Извини, что трахнул правдой
Пока что ты только срешь под себя. Увы.
Ну анончус, ну не позорься ты так
Ты предъявил анону, что глм 32б больше твоей геммочки-умнички 27б, потому сравнение некорректно
Но как только выяснилось, что она жрет больше ресурсов, внезапно
> Чё у тебя от геммы так жопа горит ? Никто не обсуждает то что ты хочешь? Обидно что глм нахуй никому не нужен ?
Если я и сру под себя, то только сидя на твоем глупом личике~
Падажжи.
Тут уже я начинаю вмешиваться и кекать.
ГЛМ лучше геммы ?
А я могу увидеть пруфы данного утверждения ?
Потому что я тыкал и то и другое. И глм это очень сухой и посредственный клон командира.
Да это ты же тохоёб, который устраивает срачи и потом вымаливает пресеты. Иди нахуй
Я не говорил, что Глм лучше. Лишь доказал, что их можно сравнивать, потому что они в одной весовой категории. Потому что Гемма-какашка технически жрет очень много ресурсов
Разные модели для разных задач
Ты заслуживаешь гейткипа бтв, агент хаоса
Понятно, защита от дурака тредовичка, спасибо XD
Ребята не ссорьтесь немотрончик все равно лучше
>тохоёб
Словно что то плохое.
> вымаливает пресеты
Да, семплеры на командр я запрашивал, а что не так ?
> Я не говорил, что Глм лучше
Вот это кто написал, моя шиза ?
> Ты заслуживаешь гейткипа бтв, агент хаоса
Вы сами сравниваете гемму и немотрон, а виноват я.
Какое я тебе зло сделал ?
> Какое я тебе зло сделал ?
Такое, что уже который тред подряд пишешь от лица нескольких анонов с целью развести срач, чтобы потом прийти с 'милой мордашкой' и попросить пресеты: "ня кавай ну пришлите ну покажите я вообще мимо проходил"
Мерзость
>немотрон
>немотрон
>немотрон
>кренг
> что уже который тред подряд пишешь от лица нескольких анонов
Эммм… Нет. Тебе скрины покидать ? Так ты начнешь утверждать что я это делаю с нескольких устройств.
Я конечно бывает, выкидываю разные пасты, но исключительно ради веселья.
Пару дней потыкался. Таки ужал память сначала до 16.1 гиг выделения – отвечать стало 12+ токенов, но контекст оно очень долго отрабатывает. Чтобы загрузить чат (даже на 10к контекста) нужно ждать буквально минут 10). Попробовал вообще все отрубить и ужал потребление до 15.6 гигов – а контекст все также пососно обрабатывается. Видимо ему квантовать его тяжело я хз
Согласен. Как-то пользовался чатгпт в виде персонажа, я от балды написал на 400 токенов ему промпт, который постоянно в контексте. Как же он охуенно отыгрывал, лучше любой локалки. В рабочих задачах, любых. А если уж на 3к токенов набрать, то пиздец качество. Смешные шутки, меткие комментарии, всё понимает, что мне нужно, предвосхищает.
И не нужно ничего объяснять. Он просто, исходя из тегов и пары объяснений лепит персонажа отлично.
Даже дипсик так не смог. Точнее, он пытался там пукать что-то, но это было некрасиво. Дипсик словно с речевыми проблемами: отлично понимает, что я от него хочу, но вот красиво выразить мои хотелки не может.
Эх, если б на локалках такое было.. Поэтому я даже отключил карточку персонажа на гпт, чтобы психику не тревожить после перехода на локальный кум, оставив там голого ассистента.
Бамп
> Бамп
> В тематике
> От аицг казачка
Тебе не интересно - не сиди тут. Никто не держит.
Мне не интересно отвечать тебе, как и остальным.
Дала вам родина модельки от ReadyArt, кумьте на здровье.
Но нет, один на ванильной гемме кумит, второй на ABC_%name%, третий ламу аутиста дрочит.
Не удивлюсь, если есть шиз, который кумит на кодерских квенах и ему норм.
И не надо писать что они тупые, вам ничего не мешает переключаться в горячих сценах на другие модели, а потом вычищать это из истории.
Но нет, один на ванильной гемме кумит, второй на ABC_%name%, третий ламу аутиста дрочит.
Не удивлюсь, если есть шиз, который кумит на кодерских квенах и ему норм.
И не надо писать что они тупые, вам ничего не мешает переключаться в горячих сценах на другие модели, а потом вычищать это из истории.
А почему тебя волнует кто как делает ЭТО? Ты хочешь поговорить об этом?
>ничего не мешает переключаться в горячих сценах на другие модели, а потом вычищать это из истории
И нахуй надо такой кум? Может мне при каждом пуке модель переключать?
>ReadyArt
Что это? Без доёба.
> когда всё в карте
Когда все в одной карте? =)
Ну, в случае с ллм на обработку контекста точно влияет (хотя не суперкритично, если у тебя не х1 слоты).
Переключение модельки занимает не больше минуты.
Используешь кум модель для кума, а потом хайдишь через команду и в суммарайзе пишешь : они поебались и были счастливы.
Я искренне не понимаю зачем столько страданий.
Можем на десяток постов посраться какая %model_name% говно.
Поставщики шизотюнов и шизомержей исключительно про еблю.
https://huggingface.co/ReadyArt
Хорош, спасибо.
вхахахпахавхпах
Сиськи!
> Когда все в одной карте? =)
В случае exl2 - нет, конечно. И две, и три забивается легко. Но до квена это денс модели были только
Эта кумовская модель сделает из любого персонажа дефолтную шлюху, насадку для хуя с одной извилиной, и весь твой выстроенный РП жидко пёрнет.
Отнюдь. Пачка (последнее что я пробовал) вполне следует за контекстом. На крайний случай, ну добавь ты системное указание с тегами характера. Если уж используешь сухие модели, которые описывают кум, как школьница пишет сочинение.
Сорри, гейткип
> иероглифа не видел ни разу
Та ну, не верю. Оно изредка даже в инглише пролазит, держи каноничный пример. Но событие слишком редкое чтобы напрягать.
> лупов и слопа
А вот такого не встречал.
UD-Q3_K_XL, весит поменьше, что хорошо, на 32к кушает меньше 108 гигов. Скорости выше, но уже на 20к контекста падает ниже 14 токенов. По выдаче - лучше чем 3ks, по сравнению с 4bpw нужно будет поиграться.
Главный рофел - один из лучших рп экспириенсов на модели был получен с пресетом chatml-names (+/nothink в префилле) и системным промтом ассистент-эксперт, забыл переключить. И главное разметку соблюдает, за юзера не пишет, ответы интересные.
Пожалуй это уже действительно близко к ларджу и местами его опережает. Нет, внимания все равно иногда не хватает, но тут модель отлично его сосредотачивает и не распыляется на лишнее.
> Часть выгружается через -ot ".[8-9].ffn_._exps.=CPU"
Сложно блин. А разве ud2 полностью помещаться в врам? И сколько у тебя там рам что такие модели с одной гпу катаешь? А то может уже пора дипсик запускать.
> Она чуть тупее возможно(?)
Не чуть а заметно.
Нет.
Например, новый опущ не пробивается привычными промтами, ощущение будто навалили детекции такого и промтинжект. И соя может пролезть внезапно, искажая сюжет и сводя его к торжеству левацкого треша. И врядли к нему жб подготовят в ближайшее время, потому что среди "гордых инджоеров корпов" он чуть чуть меньше чем у никого.
> чатгпт
> Как же он охуенно отыгрывал, лучше любой локалки.
Даже завидую тебе, хорошо быть неофитом, который испытывает искренний восторг от простых вещей, а не дрочится со всяким.
> модельки от ReadyArt
В основном инцесты мистралей в 10м поколении, ну хуй знает. Что, прям так ахуенно кум описывают?
> В основном инцесты мистралей в 10м поколении, ну хуй знает. Что, прям так ахуенно кум описывают?
Раньше сидел на них, особенно кайфовал от Transgression. После Стар Кумандера ничего из лоботомитных мистралей уже не нужно
мимо
>Та ну, не верю. Оно изредка даже в инглише пролазит, держи каноничный пример. Но событие слишком редкое чтобы напрягать.
> лупов и слопа
>А вот такого не встречал.
А кинь скрин сэмплеров. Я-то на Simple-1 сижу, ну чуток подправил - температуру поднял да Dry включил. Пресеты у меня ChatML.
BWA HA HA HA HA HA
ХО ХО ХО БЛЯТЬ
Спасибо тем кто подсказывал по поводу BSODa, проблема решилась сама собой. Процессор просто сгорел. Intel ебанные же вы пидорасы, а ведь со времен второго пня всё было идеально. И вот к чему мы пришли. Я же блять вами пользовался с пенитиумов, потом целероны, мы прошли через дуо, ай пятые, ай третьи, вы всегда были неубиваемыми камнями.
Но сука, почему у меня уже второй I7 выходит из строя, защоблять
Ну теперь уже точно не до нейронок, ладно видеокарта отлетела, на второй посидим. Но это уже за гранью добра и зла.
Пойду удочку куплю, жопа остынет.
Это чистейшая вкусовщина, если честно, я даже хуй знает как ответить. Я бы назвал это чистейшим кум слопом, со всеми этими Ахххх, еби меня мой рыцарь. Но текста наваливает богато.
>Сорри, гейткип
Нихуя не понял при чем тут, дверь, но проблема решилась сама собой, лул.
ХО ХО ХО БЛЯТЬ
Спасибо тем кто подсказывал по поводу BSODa, проблема решилась сама собой. Процессор просто сгорел. Intel ебанные же вы пидорасы, а ведь со времен второго пня всё было идеально. И вот к чему мы пришли. Я же блять вами пользовался с пенитиумов, потом целероны, мы прошли через дуо, ай пятые, ай третьи, вы всегда были неубиваемыми камнями.
Но сука, почему у меня уже второй I7 выходит из строя, защоблять
Ну теперь уже точно не до нейронок, ладно видеокарта отлетела, на второй посидим. Но это уже за гранью добра и зла.
Пойду удочку куплю, жопа остынет.
Это чистейшая вкусовщина, если честно, я даже хуй знает как ответить. Я бы назвал это чистейшим кум слопом, со всеми этими Ахххх, еби меня мой рыцарь. Но текста наваливает богато.
>Сорри, гейткип
Нихуя не понял при чем тут, дверь, но проблема решилась сама собой, лул.
2 профессора, видеокарта - ты точно где-то сильно согрешил. И возможно пролитое ушатало не только гпу.
> со всеми этими Ахххх, еби меня мой рыцарь. Но текста наваливает богато.
Попробуем потом значит
> не понял при чем тут, дверь
Мем из аицг треда и не только.
> И возможно пролитое ушатало не только гпу.
Исключено, так как дите пролило только на то что лежало на столе. Да, сам еблан, но я не виноват что современные видеокарты не вылазят в блок двойками.
Просто так совпало. А ведь только отправил пиздюков в деревню, думал ну сейчас то обкатаю command-r, да карточки допилю как и обещал. Тем более гайдик надо было изучить, а то мне стыдно за ту хуйню что скинул впопыхах.
Просто четырежды блядская ненависть.
Думаю неиронично теперь брать райзены.
> Попробуем потом значит
Не, ну смегмы он наливает знатно. Просто не нужно ждать гемовской логики или бетона снежного, такая - оче жирная пошлая мистраль.
> Мем из аицг треда и не только.
Я посмотрел на чатоводов, охуел и закрыл тред. Я слишком стар для такого потока сознания.
Сейчас надумал брать райзер, но посмотрел у меня 3090 перекрывает слот второй, получается и мать новую брать придется?
Сгорел процессор. Какой? У меня тоже сгорело два 2680V4.
Мимо олд треда, пруфал две теслы и рыженькую хуанан. заебало заниматься сексом с китайской платой и покупать отжатые процессоры после китайцев.
Господи скорее бы сгорела моя 3090
Ненавижу это говно всей душой кумлю 24/7 продать ясен хуй рука не поднимется но и новую купить точно
Ненавижу это говно всей душой кумлю 24/7 продать ясен хуй рука не поднимется но и новую купить точно
Я надеюсь это не свзяано с моим постом о сгоревшем процессоре . Просто имей ввиду, что сгорел 13700КF он мягко говоря оказался не лучшей покупкой.
13th Gen I7-13700KF 3.40 GHz - с дэнэс.
>Сейчас надумал брать райзер, но посмотрел у меня 3090 перекрывает слот второй, получается и мать новую брать придется?
Ну можно купить второй райзер...
А можно купить хуевый райзер и пустить по пизде видимокарту?
Например такой норм?
https://www.wildberries.ru/catalog/291102020
>Например такой норм?
Нет с вероятностью 80%. Нужен крупный магазин с большим количеством отзывов и с фотками. Там дороже, но учти - подвальных фабрик в Китае очень много и райзеры, в числе прочего, там паяют едва ли не вручную.
>13th Gen
Так это же говно ибаное.
Сам интел официально признавал, что у 13 и 14 поколения користал может окисляться, что приводит к отвалу процессора.
Если тебе не жаль выкидывать материнку - покупай 12 поколение.
Процессоры - только рязани.
Интелы стали гавном как только ввели технологию "энергоэффективных" ядер которая нормально работает только с софтом написанным с учётом этой технологии, чего по видимости никто не делает.
Интелы стали гавном как только ввели технологию "энергоэффективных" ядер которая нормально работает только с софтом написанным с учётом этой технологии, чего по видимости никто не делает.
>Но сука, почему у меня уже второй I7 выходит из строя, защоблять
А амуде вставил и забыл. Не, серьёзно, каким кончем надо быть, чтобы брать заведомо бракованные интелы последних поколений. Они же с тухлоядрами и прочими отвалами.
>А ведь только отправил пиздюков в деревню
Кумь роднёй, сам Б-г велел тебе их отрейпать за такое.
> Сложно блин. А разве ud2 полностью помещаться в врам? И сколько у тебя там рам что такие модели с одной гпу катаешь? А то может уже пора дипсик запускать.
80 врама, я выше же писал. Так что не полностью. Этот ключ помогает при частичной выгрузке на проц выгружать максимально ненужные слои, так быстрее генерит. Дипсик уже не так интересен после 235б квена.
Переткнул, наконец, 5090 в широкий слот потребовались работы по металлу, лол, и отключение PCI-Express 5.0 в биосе, т.к. райзер только 4.0. Контекст до 215 т/с разогнался.
> 3090 перекрывает слот второй
Мать с 2 слотами всего? Лучше с 3-4. Но ты можешь одну карту воткнуть в нижний, верхний останется неперекрытым. А в верхний уже райзер. Но нужен корпус, который позволит вниз вывесить ниже мп скорее всего.
Хз. Я брал 2шт на озоне 4.0 длинные. Уже скидывал. Они норм:
https://www.ozon.ru/product/jeyi-udlinitel-kabelya-0-6-m-chernyy-1678408640/
https://www.ozon.ru/product/jklymm-udlinitel-kabelya-minib-4p-atx-12v-4-pin-0-55-m-belyy-1673048388/
Смотри внимательно, какой длины тебе надо + прямую часть для видяхи или г-образную, зависит как ставить хочешь.
Рузен Рузен Кукурузен.
На одном очень маленьком маленьком кристалле 8 ядир.
В итоге это хуйню теоретически невозможно охладить, тк там скромные 60 ватт, но на площадь квадратный милиметр.
Тоже, короче, всё очень сложно. Вот во времена 7700К раньше было всё лучше.
>Пожалуй это уже действительно близко к ларджу
>235B против 123
Эм, а смысл?
>Вот во времена 7700К раньше было всё лучше.
Нынешний кукурузен даже на пакете в 35 ватт выебет этот 7700к во все щели, не нагреваясь. У самого 7900х с пакетом до 115 (вроде), и никаких проблем с температурой.
Ну а то что интеловские нанометры самые большие, это давно известно.
>>235B против 123
>Эм, а смысл?
Ну, различия между плотной и широкой большими моделями вполне заметны.
> Сложно блин. А разве ud2 полностью помещаться в врам? И сколько у тебя там рам что такие модели с одной гпу катаешь? А то может уже пора дипсик запускать.
Не он, но 128 оперативы и 3060 решает проблему же с запасом. =)
22 активных при 235 всего это 9 гигов при 100 гигах модели. Т.е., вполне себе.
Какая-то хуета. Она совсем не хочет думать, просто срёт ответом в think, а без думалки она тупее мистралей. Тупо взяли и сломали модель, нахуя так делать не понятно.
Почему кстати никто не воет что чаб закрыли? Он работает, но пиздец криво, проще сказать что не работает. Где теперь брать карты с юными девами и юношами?
Самому писать, с бесплатными копромоделями, или локалками, и напильником допиливать.
Есть ещё janny, кста, и вроде чото более мелкое было.
>что чаб закрыли
Всмысли?
>но пиздец криво
Идеально же работает. Нефиг отображать кривые сгенеренные картинки, карточки надо выбирать по описанию.
Ты че бля, все норм работает. Напугал чертила.
>А амуде вставил и забыл.
Наркоман? Током ёбнуть? У амд зашкаливает количество брака, особенно начиная с 9 серии райзенов + хуевые температуры.
Другое дело что там как правило ничего фатального, и чинится через ручной подгон частот и напряжения на ядра, ничего назад в магазин тащить не надо, но жаркий секс с биосом в процессе обеспечен.
В сравнении с просто "сгорающей" линейкой интелов это и правда сильно лучше, и в целом синие сейчас аутсайдеры, но говорить что амуде "просто вставил и забыл" это тебе должно повести.
Что и какие кванты вы на 24гб врам катаете?
>Наркоман? Током ёбнуть?
Только укусить, разрешаю.
Но ведь действительно вставил и забыл. Не знаю где ты там развлечения нашёл, разве что если купить слишком быструю память, то придётся руками тайминги крутить. А так вставил, выставил XMP профиль и поехал. Для задротов доступны развлечения с курвой и вторичками, но такие развлечения одинаковы на любой платформе.
А лезть руками выставлять частоты с напряжениями это признак долбоёба, который руинит все механизмы энергосбережения и авторегулировки. Такие долбоёбы и жалуются потом на нагрев, так как напердолят 5 кекогерц на 1.488 напруги и жарят проц на 100 градусах.
Второй райзер и кронштейн чтобы первую карточку выставить вертикально. Так и вторую будет легче размещать.
> такой норм?
В целом норм, но это 3.0, в 4.0 точно будут ошибки. Если у тебя железо старое только с тройкой - бери, там гораздо меньше требования.
Сомнительный выбор, на ряженке тоже случаются погорельцы, из-за неудачного дизайна ядра постоянно горячие и тротлят не смотря на "малый" теплопакет, старшие процы легко улетают далеко за 200вт если позволяет охлаждение, нормальных плат с бифуркацией линий не завезли, оператива всегда будет медленной. Последнее для ллм очень важно. Так еще и стоят оче дохуя для своего перфоманса.
>старшие процы легко улетают далеко за 200вт
От защитника печей на 400 особенно смешно читать.
> потребовались работы по металлу, лол
О, просто пропилил окно для кабелей чтобы пролезал райзер?
> я выше же писал
Там пример на фулл цп и с одной карточкой, это больше 96 нужно, а значит 4 слота ддр5. Или там 128 ддр4?
Кстати насчет райзеров - при ограниченном количестве слотов и желании повесить больше на процессорные линии - https://www.adt.link/product/F43V5.html Удобный, шлейф жесткий и тугой, но оче малогабаритный, за счет чего его легко можно протянуть, 0.5м достаточно для размещения в корпусе, но из-за компоновки эффективная дистанция короче и далеко уводить не получится. Есть на алишке https://aliexpress.ru/item/1005008342251272.html
> Эм, а смысл?
Что смысл? Активных параметров там сильно меньше, вот если бы плотная была.
Интересно посмотреть на мое пожирнее, чтобы активными было хотябы треть - половина весов.
> с пакетом до 115 (вроде)
Каждый раз с этих амудэшных ваттов проигрываю, где 65 по факту равно 95, 100 равно 150 и т.д.
> 128 оперативы и 3060 решает проблему же с запасом
Сильно медленно? На 30к контекста еще юзабельно?
Зря ты, сейчас у озлобленных фанбоев бабахнет и начнется. Швятой процессор нельзя критиковать, даже если он объективно серит, в таких случаях нужно утраивать хейт синих для успокоения.
Во, первый уже пошел.
> О, просто пропилил окно для кабелей чтобы пролезал райзер?
Пик. Жалких 2мм мешало. Нашёл решимость, нашёл инструмент, разобрать, собрать. Сложнее всего было с п.1. В итоге вертикально стало можно ставить 4-этажную, и она не торчит за плоскость мп, оставаясь в глубине, не мешая карточкам в мп.
> это больше 96 нужно, а значит 4 слота ддр5
Если без mlock, то может и меньше заведётся? Ещё с --no-mmap попробовать
> Или там 128 ддр4?
Дыс
У Жоры в репе просто ад сейчас. Последняя версия точно без багов - 5449. До сих пор не поправили.
>Что смысл? Активных параметров там сильно меньше
Именно. А размеры больше. Всё ещё не выкупаю смысла мое.
>Каждый раз с этих амудэшных ваттов проигрываю, где 65 по факту равно 95, 100 равно 150 и т.д.
Интульные ватты такие же, только в 2 раза выше, лол. И да, я выше выставленного ни разу не видел.
>Швятой процессор нельзя критиковать
Можно. Но объективно. Объективно в рязанях серит только фабрика, да работа с памятью на версиях с одним процессорным чиплетом. Сделай они чиплеты впритык, как в других продуктах, да разогнали бы фабрику до 3-4 кеков, был бы идеал.
>Во, первый уже пошел.
Это факты, мань. Интелы уже во всех режимах жрут больше амудей, притом кратно больше.
> Кстати насчет райзеров
Это если м2 есть, которые не жалко. Но как вариант - тоже буду иметь в виду, спс
А, действительно немного не хватало.
> разобрать, собрать
Как по мне, вот это самое жесткое, пока все раздербанишь много времени потратишь. Нужно ведь совсем все-все снимать, а потом хорошо продувать от стружки.
> Всё ещё не выкупаю смысла мое.
Увы, тут разделяю недовольство, для домашнего запуска это самый унылый вариант. Но большой моэквен действительно неплох, он рили даже лучше дипсика. По сути пока единственное мое, которое достойно внимания.
> Интульные ватты такие же
Нет, у них выставленное соответствует. Про ватты амудэ не один видос снят, даже многие вендоры стали помимо формального, в скобочках фактический лимит указывать. Те же огромные цифры, про которые любят упоминать фанбои, можно получить только если снять все дефолтные лимиты. И то же самое достигается на райзене, просто он начинает тротлить раньше из-за неудачного охлаждения.
> Можно. Но объективно.
Объективно = упоминать старые проблемы, которые уже решены? Или только из списка несущественных?
> серит только фабрика
Как раз она уже не серит, смогли довести до нормального уровня, а не треш как до 3-5к серии включительно, где все работа анкора была завязана на частоту и тайминги (!) рам с полным отсутствием ассинхронных буферов.
Из реальных и серьезных проблем:
Задержки и скорость доступа между отдельными ядрами, отвратительный контроллер памяти который не может работать на нормальных частотах, проблемы с охлаждением из-за которых даже при малом теплопакете температуры высоки (актуально для старших моделей), много брака и поломок (по статистике магазинов для возвратов и обращений выше чем у синих), завышенная цена.
Дальше уже все зависит насколько для конечного потребителя это важно, на каких условиях он эти процессоры может купить и т.д. Есть интересные варианты, но назвать вот это безальтернативным фаворитом - кринж.
> мань
Быстро же слился. Отождествлять себя с железом, которое тебя с лопаты впарили маркетолухи - верх идиотизма.
>Как раз она уже не серит
При этом
>Задержки и скорость доступа между отдельными ядрами
Фабрика серит
>отвратительный контроллер памяти
Отличный, но фабрика серит, ибо либо 6400, либо с делителем, но пропадает смысл в памяти менее чем 12 кеков (а такой и нету).
Короче фабрика серит. И всякие ассинхронные буфера нахуй были бы не нужны (и только серят по задержкам (и тут помогает синхронность с контроллером)), была бы фабрика нормальной. Но лизка со времён появления шины подняла её частоту всего лишь на 400МГц, вот и сидим срём под себя при работе с памятью.
>температуры высоки
Нормальные.
>завышенная цена
Лол, только для 3д версий, но игродауны вполне себе готовы переплачивать за полный разъёб в играх.
>Отождествлять себя с железом
Эм, я примерно с десяток лет сидел на интулах. А до этого, в далёком 2006-м, нищенствовал на амудях. Так что нет, в фанбои какого-либо лагеря меня сложно записать.
У меня глупый вопрос. Если я хочу использовать нейронки для программирования, мне нужно бота сделать и юзать в таверне, или можно и без таверны обойтись?
>У меня глупый вопрос
Ответ
>программирования
Не для тебя. Программисты не задают тупых вопросов.
Не видишь, тут железякодрочеры сношаются, пытаясь понять кто из них больший дебил?
После переката спроси ещё раз, адекваты твой вопрос пропустят посреди срача
Смотря что ты хочешь. Если тебе пообщаться с ботом, обсудить код, попросить написать что-то, проанализировать, то можешь сделать карточку сеньёра-помидора. Также есть плагины для IDE там таверна не нужна, всё работает в IDE. Запускаешь LLM подключаешь к плагину и вперёд писать свою таверну. Но там плагины более узкоспециализированные заточенные, внезапно, под задачи написания кода, если ты нулёвый скорее всего пососёщь хуй попытавшись разобраться в IDE.
О, да месье еще и дизайнер процессором в свободное время, внушает. Изучи хотябы что такое фабрика и как устроены процессоры команды, от которой ты фанатеешь.
Можно в таверне (там же был кодинг сенсей), можно воспользоваться аддонами с иде.
>Изучи хотябы что такое фабрика
Нет ты.
Я пропустил, аноны тестили это чудо? Как оно?
https://huggingface.co/allura-org/GLM4-32B-Neon-v2
Еще пресетик для него
https://huggingface.co/allura-org/GLM4-9B-Neon-v2/blob/main/GLM-Shingane-v1.json
https://huggingface.co/allura-org/GLM4-32B-Neon-v2
Еще пресетик для него
https://huggingface.co/allura-org/GLM4-9B-Neon-v2/blob/main/GLM-Shingane-v1.json
>это чудо
>To run GGUFs correctly, you need the most recent version of KoboldCPP, and to pass --overridekv
Ебать конечно, чудо ещё то.
Тред не читал 5-6 перекатов, устраивался на работу и со сборкой новой пэки и настройкой харча ебался. Вот наконец время выдалось накатить кобольда и таверну, так же наверстываю пропущенные перекаты. Очень рад всех видеть снова.
Теперь я не ограничен ссд в 480гб с бэкапами и могу моделями обкачаться, а не увыдлить на 12b рейне. Скачал гемму dpo, давно хотел, потестил на карточках анона (был архивчик тут sorts.zip, спасибо большое!). Рп царское, кум ожидаемо сух - прямо пинаешь модель, а она увиливает и слопится. Но лучше обычного аблитерейтеда вроде бы.
Несколько вопросов сразу:
1. последние несколько тредов очень нахваливали коммандер, какой из них и какой квант нужно качать на одну 3090 что бы? А то я запутался в их видах. Хочу попробовать.
2. немотрон-49 тоже интересно, на ггуфе в 3090 реально запустить? И какой квант?
3. как вы тестите модели, в чем секрет? Просто их ну очень много, и очень много разных переменных - карточка, семплеры, сиспромт, варианты развития сюжета... Даже если рпшить одну знакомую карточку, то надо oche много времени потратить. А ведь еще и на одной карточке может раскрыться одна модель, а на другой - быть говном, зато раскроется другая... Не говоря о том что я хоть и читаю тред уж месяца два, ньюфаг, карточек 20-30 попробовал (и из них штук 15 были просто плохо сделанным говном с чаба), и хочется пробовать новые и новые, а не обмазываться одной Серафиной, что бы научится с моделью работать.
Сильно не fisting, я не настоящий dungeon master, я только учусь.
Теперь я не ограничен ссд в 480гб с бэкапами и могу моделями обкачаться, а не увыдлить на 12b рейне. Скачал гемму dpo, давно хотел, потестил на карточках анона (был архивчик тут sorts.zip, спасибо большое!). Рп царское, кум ожидаемо сух - прямо пинаешь модель, а она увиливает и слопится. Но лучше обычного аблитерейтеда вроде бы.
Несколько вопросов сразу:
1. последние несколько тредов очень нахваливали коммандер, какой из них и какой квант нужно качать на одну 3090 что бы? А то я запутался в их видах. Хочу попробовать.
2. немотрон-49 тоже интересно, на ггуфе в 3090 реально запустить? И какой квант?
3. как вы тестите модели, в чем секрет? Просто их ну очень много, и очень много разных переменных - карточка, семплеры, сиспромт, варианты развития сюжета... Даже если рпшить одну знакомую карточку, то надо oche много времени потратить. А ведь еще и на одной карточке может раскрыться одна модель, а на другой - быть говном, зато раскроется другая... Не говоря о том что я хоть и читаю тред уж месяца два, ньюфаг, карточек 20-30 попробовал (и из них штук 15 были просто плохо сделанным говном с чаба), и хочется пробовать новые и новые, а не обмазываться одной Серафиной, что бы научится с моделью работать.
Сильно не fisting, я не настоящий dungeon master, я только учусь.
>был архивчик тут sorts.zip, спасибо большое!
Не напоминай, я покидал туда просто свой архив карточкек, там говна навалом.
Я сейчас по гайдам все перепиливаю. Не буду обещать когда, но на ноуте (мой компьютер сдела кэндифлип железом, так что всё что есть это мобильная 1080 лол) в свободное время делать начну.
Вот тут еще часть карточек, но меня справедливо за них повозили лицом. https://mega.nz/file/yFkFRJzb#ddGjZ2jdofCSrPSRecZ-OKuOpxjwGkgZl_FcKBi4I-4
По Command-r. Смотри
Шлюхокомандр - https://huggingface.co/TheDrummer/Star-Command-R-32B-v1
Mеdium-шлюха командр
https://huggingface.co/Downtown-Case/Star-Command-R-Lite-32B-v1
Обычный командр
https://huggingface.co/CohereLabs/c4ai-command-r-08-2024
Пресеты от тредовичка
https://pixeldrain.com/l/xGFnT1PY
>немотрон-49 тоже интересно, на ггуфе в 3090 реально запустить? И какой квант?
Скоро придет немотроношиз и пояснит, если он вообще спит, а не питается нервной системой анонов.
>немотрон-49 тоже интересно, на ггуфе в 3090 реально запустить? И какой квант?
Качай Угабугу и запускай вот эту:
https://huggingface.co/ArtusDev/TheDrummer_Valkyrie-49B-v1_EXL3_3.2bpw_H6
32к контекста в q8, и квант хороший - exl3 всё-таки.
Надеюсь в этот раз без срачей, хотя бы по железу
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
ПЕРЕКАТ
Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст и бугуртим с кривейшего тормозного говна.
Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку.
Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/
Инструменты для запуска на десктопах:
• Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp
• Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui
• Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai
• Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern
Инструменты для запуска на мобилках:
• Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid
• Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI
• Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux
Модели и всё что их касается:
• Актуальный Не совсем актуальный список моделей с отзывами от тредовичков на конец 2024-го: https://rentry.co/llm-models
• Неактуальный список моделей по состоянию на середину 2023-го: https://rentry.co/lmg_models
• Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Aleteian и https://huggingface.co/Moraliane
• Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard
• Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
• Сравнение моделей реальными пользователями по чуть менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard
Дополнительные ссылки:
• Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org
• Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets
• Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread
• Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki
• Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/how-to-use-a-self-hosted-model/
• Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing
• Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk
• Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking
• Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/
Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985
Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде.
Предыдущие треды тонут здесь: