Простым языком для пользователя kaspersky.ru/blog, habr.com

https://www.kaspersky.ru/blog/how-to-us … ely/36986/
"Выбирая ИИ-модель, следует в первую очередь ознакомиться с ее системными требованиями. Поисковый запрос вроде «имя_модели requirements» поможет оценить, стоит ли вообще скачивать эту модель с учетом имеющегося железа. Детально изучить влияние объема памяти, CPU и GPU на работу разных моделей можно, например, здесь https://blog.nomic.ai/posts/gpt4all-gpu … ith-vulkan

...вы готовы открыть сокровищницу открытых бесплатных языковых моделей, а именно — топ Open LLM Leaderboard https://huggingface.co/spaces/HuggingFa … aderboard.

...Прочитав описание модели и убедившись, что она потенциально подходит для вашего применения, протестируйте ее работу в облаке с помощью сервисов Hugging Face или Google Colab https://colab.research.google.com/. 

Большинство открытых моделей опубликованы на Hugging Face https://huggingface.co/, но просто скачать их на компьютер недостаточно. Для запуска нужно установить специализированное ПО, например LLaMA.cpp https://github.com/ggerganov/llama.cpp или — что даже проще — ее «обертку» LM Studio м. Последняя позволяет прямо из приложения выбрать нужную модель, скачать ее и запустить в диалоговом окне.
Другой «коробочный» способ — воспользоваться чат-ботом локально — GPT4All https://gpt4all.io/index.html. Здесь выбор будет ограничен полутора десятками языковых моделей, зато большинство из них запустятся даже на компьютере с 8 Гб памяти и простейшей видеокартой.
Если генерация идет слишком медленно, то, вероятно, нужна модель с более грубой квантизацией (2 бита вместо 4). Если генерация обрывается или возникают ошибки исполнения, то проблема зачастую кроется в нехватке памяти — стоит поискать модель с меньшим числом параметров или опять же с более грубой квантизацией.
На Hugging Face многие модели уже квантизированы с различной точностью, но, если наиболее подходящую вам модель еще никто не квантизировал с нужной разрядностью, вы можете сделать это самостоятельно с помощью GPTQ https://github.com/IST-DASLab/gptq.
На этой неделе в открытом доступе появилась бета-версия еще одного многообещающего инструмента, Chat With RTX https://www.nvidia.com/en-us/ai-on-rtx/ … i/ от NVIDIA. Производитель самых востребованных чипов для AI представил локальный чат-бот, способный пересказывать содержимое видеороликов с YouTube, обрабатывать коллекции документов и многое другое — при наличии у пользователя Windows-компьютера с 16 Гб памяти и видеокартой NVIDIA RTX 30-й или 40-й серии с восемью и более гигабайтами видеопамяти. «Под капотом» — все те же разновидности Mistral и Llama2 с Hugging Face. Разумеется, мощные видеокарты позволяют повысить производительность генерации, но, по отзывам первых тестеров, существующая бета достаточно громоздка (около 40 Гб) и сложна в установке. Однако в будущем Chat With RTX от NVIDIA может оказаться очень многообещающим локальным ИИ-ассистентом."

Подпись автора

https://feel.magicrpg.ru/viewtopic.php?id=16#p24