/ai/ - Искусственный интеллект | Архивач

Сортировка:

за


Активный 246	ИИ-видео общий №5 /video/ — Генерируем свое (и постим чужое) в Hunyuan, Wan, Luma Dream Machine, Hailuo Minimax, Kling, Sora, Vidu, Runway, Pixverse, Pika и др. сервисах. 1. Hailuo Minimax https://hailuoai.video/ 2. Kling https://klingai.com/ 3. Sora от OpenAi https://openai.com/sora/ 4. Luma Dream Machine https://lumalabs.ai/ 5. Vidu https://www.vidu.com/create 6. Pixverse https://app.pixverse.ai/ 7. Pika https://pika.art/try 8. Runway Gen. 3 https://runwayml.com/ 9. Wan от Alibaba https://chat.qwen.ai/ https://wanx-ai.net/ru/models/wanx Сайты, где можно попробовать генерации на разных моделях https://pollo.ai/ https://nim.video/ Коллекция ИИ-видео: https://www.reddit.com/r/aivideo/ Локальные модели 1. Hunyuan от Tencent. https://hunyuanvideoai.com/ https://github.com/Tencent/HunyuanVideo 2. Wan от Alibaba https://github.com/Wan-Video/Wan2.1 Локальный UI https://github.com/comfyanonymous/ComfyUI Установка локальных моделей Hunyuan Video: https://comfyanonymous.github.io/ComfyUI_examples/hunyuan_video/ Wan 2.1: https://comfyanonymous.github.io/ComfyUI_examples/wan/ Альтернативные ноды ComfyUI Hunyuan Video: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper Wan 2.1: https://github.com/kijai/ComfyUI-WanVideoWrapper Квантованные чекпоинты Hunyuan Video (GGUF): https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main Wan 2.1 (GGUF): https://huggingface.co/city96/Wan2.1-I2V-14B-480P-gguf/tree/main Wan 2.1 (NF4): https://civitai.com/models/1299436?modelVersionId=1466629 Где брать готовые LoRA https://civitai.com/models Hunyuan Video: https://civitai.com/search/models?baseModel=Hunyuan%20Video&sortBy=models_v9 Wan 2.1: https://civitai.com/search/models?baseModel=Wan%20Video&sortBy=models_v9 Обучение LoRA https://github.com/tdrussell/diffusion-pipe Предыдущий тред >>1015622 (OP) нейросетевые видео /ai/ - Искусственный интеллект 2ch.hk	сегодня 12:11
Активный 47	Голосовых нейронок тред (TTS, STS, STT) #7 speech /speech/ — Обсуждаем нейросети, связанные с синтезом, преобразованием и распознаванием речи. Не забываем публиковать свои шедевры в треде. Прошлый тред: >> https://2ch.hk/ai/res/664162.html Вики треда: https://2ch-ai.gitgud.site/wiki/speech/ FAQ Q: Хочу озвучивать пасты с двача голосом Путина/Неко-Арк/и т.п. 1. Используешь любой инструмент для синтеза голоса из текста - есть локальные, есть онлайн через huggingface или в виде ботов в телеге: https://2ch-ai.gitgud.site/wiki/speech/#синтез-голоса-из-текста-tts Спейс без лимитов для EdgeTTS: https://huggingface.co/spaces/NeuroSenko/rus-edge-tts-webui Так же можно использовать проприетарный комбайн Soundworks (часть фич платная): https://dmkilab.com/soundworks 2. Перегоняешь голос в нужный тебе через RVC. Для него есть огромное число готовых голосов, можно обучать свои модели: https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/ Q: Как делать нейрокаверы? 1. Делишь оригинальную дорожку на вокал и музыку при помощи Ultimate Vocal Remover: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/UVR 2. Преобразуешь дорожку с вокалом к нужному тебе голосу через RVC: https://2ch-ai.gitgud.site/wiki/speech/sts/rvc/rvc/ 3. Объединяешь дорожки при помощи Audacity или любой другой тулзы для работы с аудио Опционально: на промежуточных этапах обрабатываешь дорожку - удаляешь шумы и прочую кривоту. Кто-то сам перепевает проблемные участки. Качество нейрокаверов определяется в первую очередь тем, насколько качественно выйдет разделить дорожку на составляющие в виде вокальной части и инструменталки. Если в треке есть хор или беквокал, то земля пухом в попытке преобразовать это. Нейрокаверы проще всего делаются на песни с небольшим числом инструментов - песня под соло гитару или пианино почти наверняка выйдет без серьёзных артефактов. Q: Хочу говорить в дискорде/телеге голосом определённого персонажа. Используй RVC (запуск через go-realtime-gui.bat) либо Voice Changer: https://github.com/w-okada/voice-changer/blob/master/README_en.md Гайд по Voice Changer, там же рассказывается, как настроить виртуальный микрофон: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/Voice‐Changer (часть ссылок похоже сдохла) Q: Как обучить свою RVC-модель? Гайд на русском: https://github.com/MaHivka/ultimate-voice-models-FAQ/wiki/RVC#создание-собственной-модели Гайд на английском: https://docs.aihub.wtf/guide-to-create-a-model/model-training-rvc Определить переобучение через TensorBoard: https://docs.aihub.wtf/guide-to-create-a-model/tensorboard-rvc Если тыква вместо видеокарты, можно тренить в онлайне: https://www.kaggle.com/code/varaslaw/rvc-v2-no-gradio-https-t-me-aisingers-ru/notebook?scriptVersionId=143284909 (инструкция: https://www.youtube .com/watch?v=L-emE1pGUOM ) Q: Надо распознать текст с аудио/видео файла Используй Whisper от OpenAI: https://github.com/openai/whisper Быстрый скомпилированный для винды вариант: https://github.com/Purfview/whisper-standalone-win Так же есть платные решения от Сбера/Яндекса/Тинькофф. Коммерческие системы https://elevenlabs.io перевод видео, синтез и преобразование голоса https://heygen.com перевод видео с сохранением оригинального голоса и синхронизацией движения губ на видеопотоке. Так же доступны функции TTS и ещё что-то https://app.suno.ai генератор композиций прямо из текста. Есть отдельный тред на доске >> Шаблон для переката: https://2ch-ai.gitgud.site/wiki/speech/speech-shapka/ Голосовые нейронки /ai/ - Искусственный интеллект 2ch.hk	сегодня 13:00
Активный 207	Музыкальный общий №9 /music/ — ♫ Udio ♫ https://www.udio.com/ Вышла версия 1.5. Лимит 400 кредитов в месяц (или 200 генераций по 33 секунды каждая) при условии ежедневного захода на сайт - 100 кредитов даются в месяц, и еще 10 кредитов даются ежедневно. Также можно фармить кредиты, выполняя специальные задания по оцениванию качества рандомных треков, это дает не больше 10 дополнительных кредитов в день. Для большего числа кредитов и более продвинутых фич типа инпэйнтинга или генерации с загруженного аудио нужно платить. Появилась возможность генерировать треки по 2 минуты 11 секунд, не больше 3 длинных треков (по 2 версии на каждый трек) в день на бесплатном тарифе. ♫ Suno ♫ https://app.suno.ai/ генерация на сайте https://suno.ai/discord генерация на официальном discord-сервере https://rentry.co/suno_tips советы по использованию Лимиты: 10 генераций в день. Нужна платная подписка чтобы увеличить лимиты, либо можно абузить сервис через создание множества аккаунтов ♫ Riffusion ♫ https://www.riffusion.com/ Новинка, по качеству звука на уровне Суно или чуть выше. Пока БЕСПЛАТЕН и безлимитен, но халява скоро закончится. Может в русский, среднее понимание промпта, стили очень общие. Плюс в том, что скорость генерации очень высокая. https://www.riffusion.com/docs Инструкция по применению, тегам и прочему на английском. Локальные модели: Китайский YuE https://github.com/multimodal-art-projection/YuE Это буквально первый проект который может генерировать песни по заданному тексту локально. Оригинальная версия генерирует 30-секундный отрывок за 5 минут на 4090. На данный момент качество музыки низкое по сравнению с Суно. Еще сайты по генерации ИИ-музыки, в них тоже низкое качество звука и понимание промпта по сравнению с Суно, либо какие-то другие недостатки типа слишком долгого ожидания генерации или скудного набора жанров, но может кому-то зайдет, поэтому без описания: https://sonauto.ai/ https://www.beatoven.ai/ https://stableaudio.com/ https://www.loudly.com/music/ai-music-generator ______________ Напомню мега-сайт для сочинения аутентичных англоязычных текстов для ИИ-музыки в стиле известных групп и артистов от Пинк Флойда до Эминема. Зайти можно только через Дискорд. https://codyproductions.store/ Прошлый тред >>976047 (OP) Нейропесни /ai/ - Искусственный интеллект 2ch.hk	сегодня 10:16