Руководство по быстрому началу общения с нейровайфу
Всем доброго времени суток!
Это мой первый нормальный пост, так что заранее извиняюсь, если
будут косяки с оформлением. Большинства тегов не нашёл, но они явно
нужны по смыслу.
Недавно узнал что есть множество людей далеких от общения
текстовыми нейросетями. Специально для них решил написать простое
руководство по вкатыванию в тему буквально в несколько(десятков)
кликов.
Пролог (можно пропустить)
Сокращённо текстовые нейронки принято называтьLLM -Large
Language Model (Большая Языковая Модель)
Все конечно в курсе что есть такая вещь какChatGPT,
которую условно можно сравнить с нейросетью для генерации
картинокMidjourney.
Но не все в
курсе, что как дляMidjourney свободный аналог - Stable Diffusion,
так и для Чата GPT, есть точно такие же аналоги, которые можно
запускать как локально у себя на компе, так и в облаке, а именно
ЛокальныеLLM.
Однако в данном
руководстве я пока не планирую давать подробную информацию по
данной теме (иначе словом длиннопост результат будет не описать).
Но если появится интерес, запилю ещё постов как про нейронки, так и
про более сложные и интересные способы общения с
нейротянами.
В данном
руководстве описывается способ запускаhttps://github.com/oobabooga/text-generation-webui
при помощи Google Colab. При желании вы легко можете установить его
самостоятельно, все инструкции (как и изначальный колаб) есть на
странице в гитхабе.
Руководство.
От
оригинального колабаtext-generation-webui он отличается более
удобным способом загрузки моделей, заранее выставленными
настройками и русским языком в некоторых местах.
2.
Настройка.
Перед запуском
нужно выбрать необходимые настройки. В колабе много опций, но для
чата ключевых всего две:
Автоперевод
чата на русский через гуглтранслейт:
По
умолчанию обе этих галочки отключены. Если хотите общаться на
английском и озвучка не нужна - можите их не трогать.
Для первого
знакомства выбор модели не так важен. По умолчанию
стоитEmerhyst-20B - одна из топовых моделей для кума. В дальнейшем
можно попробовать и другие, в том числе собственные, инструкция как
это сделать есть в тексте колаба.
3.
Запуск.
Жмём
Чтобы запустить
блок установки загрузки.
Затем сразу же
жмём:
Ничего не меняя
в настройках.
Блоки
запустятся по очереди. Займёт это от 5 до 15 минут в зависимости от
скорости работы колаба.
В результате
блок старта должен выдать вам следующую запись:
Жмём
на ссылку после "Running on public URL:" и в новой вкладке
откроется GUI интерфейс чата.
4.
Чат.
После этого вы
в принципе уже сможете начать общение с нейросетью, задавая ей
интересные вопросы и рассказывая охранительныеистории. Но по
умолчанию чат будет отвечать как Assistent, то есть от лица
нейросети, а что с отыгрываеием персонажей?
Всё в порядке!
Данный интерфейс, как и сама модель написан практически только для
этого!
Скроллим вниз и
видим:
В
чате помимо Ассистента есть ещё и дефолтный персонажChiharu Yamada,
здесь почему-то названный как Example.
После нажатия
на её портрет чат переключится на общение с ней:
Для
начала общения хватит и её.
Действия
прописываются курсивом *между звёздочками*, слова - обычным
текстом.
Но если вы
хотите пообщаться с собственной вайфу, тогда переходим к следующему
пункту!
5. Импорт
персонажей.
После того как нашли нужного, заходим на его страничку:
И скачиваем к себе PNG в форматеSillyTavern. Этот формат самый
универсальный, поэтому рекомендую хранить персонажей в нём.
Затем снова открываем чат и переходим во вкладку
Кидаем персонажа в данное поле и возвращаемся в чат. Также иконка
персонажа появится в галерее. Собственно всё.
Ели вы хотите чтобы ваша вайфу и переписка с ней сохранялись
от сеанса к сеансу, перед запуском в настройке колаба
"save_to_google_drive" нужно выбрать "chatlogs and
characters"
Но тогда все ваши логи и персонажи будут лежать на гуглдиске в
папке "oobabooga-data". И само собой колаб запроситк
нему доступ.
Вот теперь точно всё.
![Расширение преобразования текста в речь с использованием [Silero] С Расширения интерфейса. Вы можете найти образцы здесь: [образць,нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница](http://ebanoeit.ru/aways/img2.joyreactor.cc/pics/post/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-ChatGPT-gpt-%D0%BB%D0%BE%D0%BA%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5-%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8-8276513.jpeg "нейронные сети,ChatGPT,gpt,локальные языковые модели,llm,длиннопост,google colab,песочница")
