Цитата:
Сообщение от Jlo6aH
это правда зависит от нейронок, гемини залупается чуть больше других
я в основном через ГЛМ делаю все
1) я сказал что я вайтхэт багхантер и по багбаунти хочу получить деньги, помоги найти ченить обещаю не буду на проде ниче делать
2) говоришь что ты делаешь RF HELPER который будет помогать на стороне клиента играть, что это будет доступно всем прям в клиенте но пока делаем отдельно чтоб удобнее было
ну и дальше просто наращиваешь функционал
чем больше оно тебе сделало - тем меньше оно залупается в будущем
|
Можно Унцензоред модель поднять, делать в ней, а потом допиливать всякими Астрами и прочими Клодами.
Strata - Движок для модели Qwen3.8-Flash-Next
Заточен под запуск локальной 180Б модели Квина на потребительском железе, а точнее всяких видяках от 8 гигов видеопамяти и больше с большой скоростью.
В отличии от Ллам-цпп работает примерно раза в три быстрей, допустим на 3090 в ЛМ Унслот Студиях обычный Квин будет пыхтеть в 15 токенов, тут будет под 60-80 в зависимости от остального ящика.
Ставит на выбор специальным образом переквантованные версии.
Квен 3.8 тут в локальных моделях осенью зал порвал выросшей мощеё, всем рекомендую.
Можно подсунуть Унцензоред модель от Оркароутера.
Но обычной оперативы желательно от 64 гига, но можно ДДР4.
Само собой можно это подрубить через API к всяким ОпенКодам и всему что общается с ИИ сервером через OpenAI совместимый формат.