24 декабря 2023 г. Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Сортировка: за
Активный
1549
AI Chatbot General № 603 /aicg/ — AI Chatbot General № 603 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • deepseek-reasoner вышел на API - https://api-docs.deepseek.com/guides/reasoning_model Большие фронтенды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Малые фронтенды • Adventure-UI: https://rentry.co/CYOA_AdventureUI • Cavern: https://github.com/Barbariskaa/Cavern Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • Grok: https://docs.x.ai/docs • Mistral: https://docs.mistral.ai/api/ Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>1011615 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>1017082 (OP)
13 марта 21:39
Сохранен
1516
AI Chatbot General № 568 /aicg/ — AI Chatbot General № 568 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>931084 → • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>927265 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>930991 (OP)
20 февраля 21:06
Активный
508
Новости об искусственном интеллекте №4 /news/ — В этот тредик скидываются свежие новости по теме ИИ! Залетай и будь в курсе самых последних событий и достижений в этой области! Прошлые треды: https://2ch.hk/ai/res/973010.html https://2ch.hk/ai/res/877586.html https://2ch.hk/ai/res/1014050.html
13 марта 21:39
Сохранен
1514
AI Chatbot General № 567 /aicg/ — AI Chatbot General № 567 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>919560 → • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>927265 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>928875 (OP)
20 февраля 21:06
Сохранен
563
Stable Diffusion Flux тред X+121 /sd/ — Stable Diffusion Flux тред X+121 ====================================== Предыдущий тред >>913627 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожий тематический тред - аниме-тред >>916025 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Flux — открытая нейросеть нового поколения для генерации изображений от стартапа Black Forest Labs, основанного бывшими разработчиками Stable Diffusion. Полный функционал в локальной установке (см. ниже) Пробный онлайн-генератор Stable Diffusion: https://dezgo.com/txt2img Пробные онлайн-генераторы Flux: https://huggingface.co/black-forest-labs https://fluxpro.art/ ⚠️ Официальные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ https://huggingface.co/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта (запроса) для sd1.5 или SDXL: an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта (запроса) для Flux: This photo shows a small smiling young caucasian adult woman with blonde hair wearing a pink t-shirt with the words "SD3" and panties sitting on a white couch with her legs crossed in a yoga pose, in the background of the image behind the couch there a several standing large buff african american men wearing white t-shirts with the words "FLUX" and white shorts, they are staring at the blode young woman, the woman is very small in the image allowing the men to tower over her ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
13 февраля 11:50
Сохранен
737
Чирп №2 /music/ — AI генератор композиций прямо из текста https://app.suno.ai генерация на сайте https://suno.ai/discord генерация на официальном discord-сервере Продолжаем обсуждать Chirp - модель для генерации композиций из текста от Suno. Эта модель способна генерировать музыку, включая вокал, на основе стиля и текста песни. Одним из наиболее значимых улучшений является возможность конвертации различных жанров, таких как рок, поп, K-pop, а также описаний типа “мелодичный” или “быстрый” в музыку. “Текст песни теперь можно разбить на части с помощью команд вроде [verse] и [chorus], что придает сгенерированным песням больше структуры.” Генерировать можно как просто описывая нужный стиль и суть(на русском генерирует с переменным успехом), либо через custom - полностью контролируя текст. Как получить от Суно законченную песню с нужной вам структурой: 1. Старайтесь соблюдать размер в стихах. Если ваш текст сложно петь, получится речитатив независимо от жанра. Если вы сделаете в припеве и куплете разные размеры, то Суно будет проще придумать между ними переходы. Между соседними куплетами вставляйте пустую строку, получится пауза. 2. Ударения в словах можно выделять большой буквой, вот так: "ПоросЯтам". Когда это не работает, измените само слово: вместо "прямЫ" напишите "примЫ". Иногда помогает разбить слово на две части, вместо "элЕктрогенератор" написать "элЕктро генерАтор". Есть мнение, что расстановка ударений большими буквами работает лучше, если не начинать предложения с больших букв. Ещё есть онла́йн се́рвисы по расстано́вке ударе́ний как в э́том предложе́нии, но хз, наско́лько хорошо́ суно э́то понима́ет. 3. В круглых скобках можно добавлять бэк-вокал. Неплохо работают звуки типа (О-о-о, у-у-у-у). 4. Размечайте песню тегами. Точно работают: [Verse], [Chorus], [Bridge], [Solo]. Русские тоже работают. К Соло иногда можно добавлять конкретику, например [Piano solo], но это может изменить инструменты всей песни. [Coda] помогает сделать концовку. С переменным успехом у меня работали [Calm] и [Aggressive]. Надо экспериментировать с другими тегами в квадратных скобках. 5. Иногда можно кастомизировать жанр, добавляя слова типа Energetic, Rhythmic, Aggressive, Slow, Fast. Обязательно пишите With Female/Male vocals, чтобы избежать инструментала и указать пол певца (тоже не всегда срабатывает). Разработчики не рекомендуют смешивать разные жанры. 6. Максимальный размер одной генерации 1:20. Когда вам понравился кусок, выбирайте меню с тремя точками и пункт "Continue fom this clip". В тексте оставьте только те строки, которые не влезли в прошлый фрагмент, и нажимайте Generate. Так можно делать несколько раз, например у вас может быть три-четыре таких последовательных фрагмента. В самом конце в меню выбирайте пункт "Get Whole Song" и песня склеится из всех фрагментов. К сожалению нельзя перегенерировать только кусок песни, поменяв что-то локально в тексте.. 7. Чтобы вручную нарезать трек из нагенеренного черновика и/или добавить свое видео используйте стороннее ПО или онлайн сервисы, например clipchamp 8. Максимум бесплатных кредитов 50 в день, этого хватает на 5 генераций, в каждой генерации дается по два варианта трека. Кредиты не копятся, т.е. если скипнуть несколько дней, больше 50 все равно не будет. Если хочется больше, надо либо оформлять подписку за деньги, либо регать каждый раз новый аккаунт (при регистрации дается полторы сотни, емнип). При подписке также увеличивается количество вариантов трека. Прошлый тред: >>495948 (OP)
2 августа 2024
Активный
529
Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №106 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1037498 (OP) >>1034116 (OP)
13 марта 21:39
Сохранен
517
Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №78 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Рейтинг моделей для кума со спорной методикой тестирования: https://ayumi.m8geil.de/erp4_chatlogs • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>869674 (OP) >>864092 (OP)
4 января 10:08
Сохранен
28
Объективно. Могут ли нейронные сети и искусственный интеллект заменить писателей и художников? Должн — Я имею в виду. Может ли ИИ писать истории, как хороший писатель? (Не гений, а просто хороший) или рисовать, как хороший художник? (Не тот нейро-арт из интернета) или, например, создавать миры и истории так же хорошо, как мы? Какое преимущество имеют люди перед ИИ? Хорошо, допустим, что его нет. Тогда через сколько лет творческие профессии закончатся?
30 апреля 2024
Сохранен
529
Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №79 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Рейтинг моделей для кума со спорной методикой тестирования: https://ayumi.m8geil.de/erp4_chatlogs • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>878677 (OP) >>869674 (OP)
11 января 19:44
Сохранен
1
Бля, как же базированно — Чонг - достойный продолжатель редпилленых КША! Дал пизды угольку, отделал пидораса от души! Оприходовал до кровавых ссак и еще под сраку дал пинка. А гуталин забился в угол и трясётся. Причина тряски? Дикси тоже гоняли черномазых по плантациям, а те на пузе ползали враскоряку и собирали хлопок! А кто вступается за черножопых? Лишь натращи, которые грезят про большую черную балду... БЛМ говномазые забыли свист кнута, вот и бесятся. Пизди обезьяну и держи в черном теле... Одного поротого ниггера, продадут за троих не поротых... Коль не шьешь золотом, так бей негра молотом.
20 августа 2024
Сохранен
532
Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №77 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Рейтинг моделей для кума со спорной методикой тестирования: https://ayumi.m8geil.de/erp4_chatlogs • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>864092 (OP) >>854573 (OP)
4 января 10:08
Сохранен
532
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №62 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ LLaMA 3 вышла! Увы, только в размерах 8B и 70B. Промты уже вшиты в новую таверну, так же последние версии кобольда и оригинальной ллама.цпп уже пофикшены. Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Недавно вышедшая Llama 3 в размере 70B по рейтингам LMSYS Chatbot Arena обгоняет многие старые снапшоты GPT-4 и Claude 3 Sonnet, уступая только последним версиям GPT-4, Claude 3 Opus и Gemini 1.5 Pro. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>751232 (OP) >>740739 (OP)
29 сентября 2024
Сохранен
1571
AI Chatbot General № 573 /aicg/ — AI Chatbot General № 573 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Новости • Вышел Haiku 3.5 - https://www.anthropic.com/claude/haiku • Началась паблик бета xAI API - https://x.ai/blog/api Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>931084 → • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>939618 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>943391 (OP)
7 марта 0:40
Сохранен
1490
AI Chatbot General № 558 /aicg/ — AI Chatbot General № 558 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents | Текущий: >>907252 → • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>905276 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg/raw Прошлый тред: >>907013 (OP)
26 января 22:11
Сохранен
505
Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №73 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Недавно вышедшая Llama 3 в размере 70B по рейтингам LMSYS Chatbot Arena обгоняет многие старые снапшоты GPT-4 и Claude 3 Sonnet, уступая только последним версиям GPT-4, Claude 3 Opus и Gemini 1.5 Pro. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGUF и EXL2, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGUF весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей Ссылки на модели и гайды: https://huggingface.co/TheBloke Основной поставщик квантованных моделей под любой вкус до 1 февраля 2024 года https://huggingface.co/LoneStriker, https://huggingface.co/mradermacher Новые поставщики квантов на замену почившему TheBloke https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://github.com/Mobile-Artificial-Intelligence/maid Запуск самой модели на телефоне https://github.com/Vali-98/ChatterUI Фронт для телефона https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard Сравнение моделей по (часто дутым) метрикам (почитать характерное обсуждение) https://chat.lmsys.org/?leaderboard Сравнение моделей на "арене" реальными пользователями. Более честное, чем выше, но всё равно сравниваются зирошоты https://huggingface.co/Virt-io/SillyTavern-Presets Пресеты для таверны для ролеплея https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально https://rentry.co/llm-models Актуальный список моделей от тредовичков Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>829353 (OP) >>825177 (OP)
5 декабря 2024
Сохранен
549
Stable Diffusion Flux тред X+113 /sd/ — Stable Diffusion Flux тред X+113 ====================================== Предыдущий тред >>877089 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожие тематические треды - аниме-тред >>878654 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Flux — открытая нейросеть нового поколения для генерации изображений от стартапа Black Forest Labs, основанного бывшими разработчиками Stable Diffusion. Полный функционал в локальной установке (см. ниже) Пробный онлайн-генератор Stable Diffusion: https://dezgo.com/txt2img Пробный онлайн-генератор Flux: https://replicate.com/black-forest-labs/flux-dev Альтернативные онлайн-генераторы Flux: https://huggingface.co/black-forest-labs https://fluxpro.art/ ⚠️ Официальные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ https://huggingface.co/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта (запроса) для sd1.5 или SDXL: an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта (запроса) для Flux: This photo shows a small smiling young caucasian adult woman with blonde hair wearing a pink t-shirt with the words "SD3" and panties sitting on a white couch with her legs crossed in a yoga pose, in the background of the image behind the couch there a several standing large buff african american men wearing white t-shirts with the words "FLUX" and white shorts, they are staring at the blode young woman, the woman is very small in the image allowing the men to tower over her ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
11 января 19:44
Активный
503
Локальные языковые модели (LLM): LLaMA, Mistral, DeepSeek и прочие №110 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Миксы от тредовичков с уклоном в русский РП: https://huggingface.co/Moraliane и https://huggingface.co/Aleteian • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.hk/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>1054330 (OP) >>1050631 (OP)
13 марта 21:39
Активный
516
Локальные языковые модели (LLM): LLaMA, Mistral, Gemma и прочие №98 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф. картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Официальная вики треда с гайдами по запуску и базовой информацией: https://2ch-ai.gitgud.site/wiki/llama/ Инструменты для запуска на десктопах: • Самый простой в использовании и установке форк llamacpp, позволяющий гонять GGML и GGUF форматы: https://github.com/LostRuins/koboldcpp • Более функциональный и универсальный интерфейс для работы с остальными форматами: https://github.com/oobabooga/text-generation-webui • Однокнопочные инструменты с ограниченными возможностями для настройки: https://github.com/ollama/ollama, https://lmstudio.ai • Универсальный фронтенд, поддерживающий сопряжение с koboldcpp и text-generation-webui: https://github.com/SillyTavern/SillyTavern Инструменты для запуска на мобилках: • Интерфейс для локального запуска моделей под андроид с llamacpp под капотом: https://github.com/Mobile-Artificial-Intelligence/maid • Альтернативный вариант для локального запуска под андроид (фронтенд и бекенд сепарированы): https://github.com/Vali-98/ChatterUI • Гайд по установке SillyTavern на ведроид через Termux: https://rentry.co/STAI-Termux Модели и всё что их касается: • Актуальный список моделей с отзывами от тредовичков: https://rentry.co/llm-models • Неактуальный список моделей устаревший с середины прошлого года: https://rentry.co/lmg_models • Миксы от тредовичка с уклоном в русский РП: https://huggingface.co/Moraliane • Рейтинг моделей по уровню их закошмаренности цензурой: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard • Сравнение моделей по сомнительным метрикам: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard • Сравнение моделей реальными пользователями по менее сомнительным метрикам: https://chat.lmsys.org/?leaderboard Дополнительные ссылки: • Готовые карточки персонажей для ролплея в таверне: https://www.characterhub.org • Пресеты под локальный ролплей в различных форматах: https://huggingface.co/Virt-io/SillyTavern-Presets • Шапка почившего треда PygmalionAI с некоторой интересной информацией: https://rentry.co/2ch-pygma-thread • Официальная вики koboldcpp с руководством по более тонкой настройке: https://github.com/LostRuins/koboldcpp/wiki • Официальный гайд по сопряжению бекендов с таверной: https://docs.sillytavern.app/usage/local-llm-guide/how-to-use-a-self-hosted-model • Последний известный колаб для обладателей отсутствия любых возможностей запустить локально: https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing • Инструкции для запуска базы при помощи Docker Compose: https://rentry.co/oddx5sgq https://rentry.co/7kp5avrk • Пошаговое мышление от тредовичка для таверны: https://github.com/cierru/st-stepped-thinking • Потрогать, как работают семплеры: https://artefact2.github.io/llm-sampling/ Архив тредов можно найти на архиваче: https://arhivach.xyz/?tags=14780%2C14985 Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде. Предыдущие треды тонут здесь: >>984950 (OP) >>979451 (OP)
13 марта 21:39
Сохранен
584
Stable Diffusion Flux тред X+112 /sd/ — Stable Diffusion Flux тред X+112 ====================================== Предыдущий тред >>872970 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожие тематические треды - аниме-тред >>868427 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Flux — открытая нейросеть нового поколения для генерации изображений от стартапа Black Forest Labs, основанного бывшими разработчиками Stable Diffusion. Полный функционал в локальной установке (см. ниже) Пробный онлайн-генератор Stable Diffusion: https://dezgo.com/txt2img Пробный онлайн-генератор Flux: https://replicate.com/black-forest-labs/flux-dev Альтернативные онлайн-генераторы Flux: https://huggingface.co/black-forest-labs https://fluxpro.art/ ⚠️ Официальные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ https://huggingface.co/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта (запроса) для sd1.5 или SDXL: an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта (запроса) для Flux: This photo shows a small smiling young caucasian adult woman with blonde hair wearing a pink t-shirt with the words "SD3" and panties sitting on a white couch with her legs crossed in a yoga pose, in the background of the image behind the couch there a several standing large buff african american men wearing white t-shirts with the words "FLUX" and white shorts, they are staring at the blode young woman, the woman is very small in the image allowing the men to tower over her ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
4 января 10:08
Активный
1722
AI Chatbot General № 580 /aicg/ — AI Chatbot General № 580 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • Grok: https://docs.x.ai/docs • Mistral: https://docs.mistral.ai/api/ Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>961667 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>961817 (OP)
13 марта 21:39
Сохранен
607
Stable Diffusion Flux тред X+116 /sd/ — Stable Diffusion Flux тред X+116 ====================================== Предыдущий тред >>891062 (OP) https://arhivach.top/?tags=13840 ------------------------------------------ схожий тематический тред - аниме-тред >>891361 (OP) ======================== Stable Diffusion (SD) - открытая нейросеть генеративного искусства для создания картинок из текста/исходных картинок, обучения на своих изображениях. Flux — открытая нейросеть нового поколения для генерации изображений от стартапа Black Forest Labs, основанного бывшими разработчиками Stable Diffusion. Полный функционал в локальной установке (см. ниже) Пробный онлайн-генератор Stable Diffusion: https://dezgo.com/txt2img Пробные онлайн-генераторы Flux: https://huggingface.co/black-forest-labs https://fluxpro.art/ ⚠️ Официальные модели stable diffusion от Stability AI значительно отстают по качеству от кастомных моделей (см. civitai ниже). ???? Без цензуры и полный функци_анал: только ПК-версия =========================================== ????УСТАНОВКА НА ПК WebUI от Automatic1111 https://teletype.in/@stablediffusion/PC_install_SD ------------------------------------------ ???? Для новичков - простой в работе WebUI Fooocus https://github.com/lllyasviel/Fooocus?tab=readme-ov-file#download ------------------------------------------ Портативная версия альтернативного WebUI от Comfy (запуск с одного из run.bat файлов) https://github.com/comfyanonymous/ComfyUI/releases Примерные workflow для ComfyUI (можно загружать напрямую из картинок) https://comfyanonymous.github.io/ComfyUI_examples/ ------------------------------------------ Для тех, у кого видеокарта не тянет - ускоренная генерация на ЦПУ https://github.com/rupeshs/fastsdcpu =========================================== ???? РАЗЛИЧНЫЕ МОДЕЛИ (И МНОГОЕ ДРУГОЕ) ???? https://civitai.com/ https://huggingface.co/ ------------------------------------------ ???? ПАРАМЕТРЫ И НАСТРОЙКИ ГЕНЕРАЦИИ ???? https://teletype.in/@stablediffusion/samplers_steps =========================================== ???? ГАЙД ПО СОСТАВЛЕНИЮ ЗАПРОСА, СТИЛИ https://teletype.in/@stablediffusion/artists_for_prompts Пример промпта (запроса) для sd1.5 или SDXL: an european girl, standing, high quality, soft focus, 8k, photograph by nick nichols Пример промпта (запроса) для Flux: This photo shows a small smiling young caucasian adult woman with blonde hair wearing a pink t-shirt with the words "SD3" and panties sitting on a white couch with her legs crossed in a yoga pose, in the background of the image behind the couch there a several standing large buff african american men wearing white t-shirts with the words "FLUX" and white shorts, they are staring at the blode young woman, the woman is very small in the image allowing the men to tower over her ------------------------------------------ ♾️РАЗЛИЧНЫЕ ХУДОЖЕСТВЕННЫЕ СТИЛИ (С ПРИМЕРАМИ) ???? https://supagruen.github.io/StableDiffusion-CheatSheet/ https://www.artvy.ai/styles ------------------------------------------ ????ЧТО ТАКОЕ CONTROLNET И КАК ЕГО ИСПОЛЬЗОВАТЬ https://dtf.ru/howto/1669307-ustanovka-i-obyasnenie-nastroek-control-net-kopirovanie-pozy-kompozicii-i-td ========================================== ???? ОБУЧЕНИЕ ПО СВОИМ КАРТИНКАМ ???? https://dtf.ru/howto/1660668-obuchenie-modeli-s-pomoshchyu-lora https://civitai.com/models/train
17 января 22:52
Сохранен
525
Музыкальный общий №6 /music/ — ♫ Udio ♫ https://www.udio.com/ Вышла версия 1.5. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая). ♫ Suno ♫ https://app.suno.ai/ генерация на сайте https://suno.ai/discord генерация на официальном discord-сервере https://rentry.co/suno_tips советы по использованию https://www.suno.wiki вики Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов ♫ Локальные модели ♫ Ждём и надеемся... В прошлом треде какой-то анон написал про AudioCraft и MusicGen, можете прочекать, что это ????️ Открытый бета-тест Udio В открытую бету вышла нейросеть Udio, которая, по словам множества пользователей, превосходит Suno V3 в генерации музыкальных композиций. Пока идёт бета-тест, доступно 1200 генераций в месяц с одного аккаунта. Udio и Suno поддерживают множество языков для вокала (включая русский) и большое разнообразие жанров. Ориджинал контент крайне приветствуется. Прошлый тред: >>801650 (OP)
28 января 21:18
Сохранен
516
Локальные языковые модели (LLM): LLaMA, Mistral, Command-R и прочие №66 /llama/ — В этом треде обсуждаем генерацию охуительных историй и просто общение с большими языковыми моделями (LLM). Всё локально, большие дяди больше не нужны! Здесь мы делимся рецептами запуска, настроек и годных промтов, расширяем сознание контекст, и бугуртим с кривейшего тормозного говна. Тред для обладателей топовых карт NVidia с кучей VRAM или мажоров с проф картами уровня A100, или любителей подождать, если есть оперативная память. Особо терпеливые могут использовать даже подкачку и запускать модели, квантованные до 8 5 4 3 2 0,58 бит, на кофеварке с подкачкой на микроволновку. Здесь и далее расположена базовая информация, полная инфа и гайды в вики https://2ch-ai.gitgud.site/wiki/llama/ Базовой единицей обработки любой языковой модели является токен. Токен это минимальная единица, на которые разбивается текст перед подачей его в модель, обычно это слово (если популярное), часть слова, в худшем случае это буква (а то и вовсе байт). Из последовательности токенов строится контекст модели. Контекст это всё, что подаётся на вход, плюс резервирование для выхода. Типичным максимальным размером контекста сейчас являются 2к (2 тысячи) и 4к токенов, но есть и исключения. В этот объём нужно уместить описание персонажа, мира, истории чата. Для расширения контекста сейчас применяется метод NTK-Aware Scaled RoPE. Родной размер контекста для Llama 1 составляет 2к токенов, для Llama 2 это 4к, Llama 3 обладает базовым контекстом в 8к, но при помощи RoPE этот контекст увеличивается в 2-4-8 раз без существенной потери качества. Базовым языком для языковых моделей является английский. Он в приоритете для общения, на нём проводятся все тесты и оценки качества. Большинство моделей хорошо понимают русский на входе т.к. в их датасетах присутствуют разные языки, в том числе и русский. Но их ответы на других языках будут низкого качества и могут содержать ошибки из-за несбалансированности датасета. Существуют мультиязычные модели частично или полностью лишенные этого недостатка, из легковесных это openchat-3.5-0106, который может давать качественные ответы на русском и рекомендуется для этого. Из тяжёлых это Command-R. Файнтюны семейства "Сайга" не рекомендуются в виду их низкого качества и ошибок при обучении. Основным представителем локальных моделей является LLaMA. LLaMA это генеративные текстовые модели размерами от 7B до 70B, притом младшие версии моделей превосходят во многих тестах GTP3 (по утверждению самого фейсбука), в которой 175B параметров. Сейчас на нее существует множество файнтюнов, например Vicuna/Stable Beluga/Airoboros/WizardLM/Chronos/(любые другие) как под выполнение инструкций в стиле ChatGPT, так и под РП/сторитейл. Для получения хорошего результата нужно использовать подходящий формат промта, иначе на выходе будут мусорные теги. Некоторые модели могут быть излишне соевыми, включая Chat версии оригинальной Llama 2. Недавно вышедшая Llama 3 в размере 70B по рейтингам LMSYS Chatbot Arena обгоняет многие старые снапшоты GPT-4 и Claude 3 Sonnet, уступая только последним версиям GPT-4, Claude 3 Opus и Gemini 1.5 Pro. Про остальные семейства моделей читайте в вики. Основные форматы хранения весов это GGML и GPTQ, остальные нейрокуну не нужны. Оптимальным по соотношению размер/качество является 5 бит, по размеру брать максимальную, что помещается в память (видео или оперативную), для быстрого прикидывания расхода можно взять размер модели и прибавить по гигабайту за каждые 1к контекста, то есть для 7B модели GGML весом в 4.7ГБ и контекста в 2к нужно ~7ГБ оперативной. В общем и целом для 7B хватает видеокарт с 8ГБ, для 13B нужно минимум 12ГБ, для 30B потребуется 24ГБ, а с 65-70B не справится ни одна бытовая карта в одиночку, нужно 2 по 3090/4090. Даже если использовать сборки для процессоров, то всё равно лучше попробовать задействовать видеокарту, хотя бы для обработки промта (Use CuBLAS или ClBLAS в настройках пресетов кобольда), а если осталась свободная VRAM, то можно выгрузить несколько слоёв нейронной сети на видеокарту. Число слоёв для выгрузки нужно подбирать индивидуально, в зависимости от объёма свободной памяти. Смотри не переборщи, Анон! Если выгрузить слишком много, то начиная с 535 версии драйвера NVidia это может серьёзно замедлить работу, если не выключить CUDA System Fallback в настройках панели NVidia. Лучше оставить запас. Гайд для ретардов для запуска LLaMA без излишней ебли под Windows. Грузит всё в процессор, поэтому ёба карта не нужна, запаситесь оперативкой и подкачкой: 1. Скачиваем koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/ последней версии. 2. Скачиваем модель в gguf формате. Например вот эту: https://huggingface.co/Sao10K/Fimbulvetr-11B-v2-GGUF/blob/main/Fimbulvetr-11B-v2.q4_K_S.gguf Можно просто вбить в huggingace в поиске "gguf" и скачать любую, охуеть, да? Главное, скачай файл с расширением .gguf, а не какой-нибудь .pt 3. Запускаем koboldcpp.exe и выбираем скачанную модель. 4. Заходим в браузере на http://localhost:5001/ 5. Все, общаемся с ИИ, читаем охуительные истории или отправляемся в Adventure. Да, просто запускаем, выбираем файл и открываем адрес в браузере, даже ваша бабка разберется! Для удобства можно использовать интерфейс TavernAI 1. Ставим по инструкции, пока не запустится: https://github.com/Cohee1207/SillyTavern 2. Запускаем всё добро 3. Ставим в настройках KoboldAI везде, и адрес сервера http://127.0.0.1:5001 4. Активируем Instruct Mode и выставляем в настройках пресетов Alpaca 5. Радуемся Инструменты для запуска: https://github.com/LostRuins/koboldcpp/ Репозиторий с реализацией на плюсах https://github.com/oobabooga/text-generation-webui/ ВебуУИ в стиле Stable Diffusion, поддерживает кучу бекендов и фронтендов, в том числе может связать фронтенд в виде Таверны и бекенды ExLlama/llama.cpp/AutoGPTQ https://github.com/ollama/ollama , https://lmstudio.ai/ и прочее - Однокнопочные инструменты для полных хлебушков, с красивым гуем и ограниченным числом настроек/выбором моделей Ссылки на модели и гайды: https://huggingface.co/models Модели искать тут, вбиваем название + тип квантования https://rentry.co/TESFT-LLaMa Не самые свежие гайды на ангельском https://rentry.co/STAI-Termux Запуск SillyTavern на телефоне https://rentry.co/lmg_models Самый полный список годных моделей https://ayumi.m8geil.de/erp4_chatlogs/ Рейтинг моделей для кума со спорной методикой тестирования https://rentry.co/llm-training Гайд по обучению своей лоры https://rentry.co/2ch-pygma-thread Шапка треда PygmalionAI, можно найти много интересного https://colab.research.google.com/drive/11U-bC6AxdmMhd3PF9vWZpLdi6LdfnBQ8?usp=sharing Последний известный колаб для обладателей отсутствия любых возможностей запустить локально Факультатив: https://rentry.co/Jarted Почитать, как трансгендеры пидарасы пытаются пиздить код белых господинов, но обсираются и получают заслуженную порцию мочи Шапка в https://rentry.co/llama-2ch, предложения принимаются в треде Предыдущие треды тонут здесь: >>774469 (OP) >>767218 (OP)
26 октября 2024
Активный
1577
AI Chatbot General № 582 /aicg/ — AI Chatbot General № 582 БОТОДЕЛЫ!!!! Прикрепляйте новых ботов к оп-посту!!!! Общий вопросов по чат-ботам и прочего тред. Фронтэнды • SillyTavern: https://github.com/SillyTavern/SillyTavern | https://docs.sillytavern.app | https://github.com/ntvm/SillyTavern (форк нв-куна) • Гайды на таверну: https://rentry.co/Tavern4Retards | https://rentry.org/STAI-Termux (на андроид) • Agnai: https://agnai.chat/ • Risu: https://risuai.xyz/ Модели • Claude: https://docs.anthropic.com/en/docs • GPT: https://platform.openai.com/docs • Gemini: https://ai.google.dev/gemini-api/docs • Grok: https://docs.x.ai/docs • Mistral: https://docs.mistral.ai/api/ Пресеты • Бургерский список: https://rentry.org/jb-listing • Тредовский список: https://rentry.org/2ch-aicg-jb Полезности • Тредовский список: https://rentry.org/2ch-aicg-utils Ботоводчество • Чуб: https://characterhub.org | https://chub.ai/characters • Гайды: https://rentry.org/meta_botmaking_list • Редакторы: https://agnai.chat/editor | https://des une.moe/aichared/ • Боты анонов: https://rentry.org/2chaicgtavernbots | https://rentry.org/2chaicgtavernbots2 | https://rentry.org/2chaicgtavernbots3 • Бургерские боты: https://rentry.org/meta_bot_list Прочее • Термины LLM: https://2ch-ai.gitgud.site/wiki/llama/ • База по Клоду: https://rentry.org/how2claude • Чекер ключей: https://github.com/kingbased/keychecker • Чай: https://character.ai/ Прокси • gpt-4o-mini: https://unicorn.scylla.wtf/ Мета • Архив тредов: https://rentry.org/2ch-aicg-archives2 • Тредовые ивенты: https://rentry.org/2chaicgthemedevents • Реквесты ботоделам: https://rentry.org/2ch-aicg-requests • Локальные языковые модели: >>967903 (OP) • Шаблон шапки: https://rentry.org/shapka_aicg Прошлый тред: >>967163 (OP)
13 марта 21:39


жалоба / abuse: arhivach@airmail.cc

Отзывы и предложения