VLLM support?
#1
by
GeorgyG
- opened
Привет, Авито! Отличная модель. Можно ли ее эффективно запускать в режиме Open AI compatible API (например, через vllm), или предусмотрен только запуск через transformers?
Да, конечно можно)
Потестил - я удивлен, в 7b сделать такую умную модель которая адекватно работает с изображением! Это бомба!))) я пока в тихом шоке нахожусь))