Хабр·Russia·Friday, November 6, 2026 at 10:20 AM UTC

Локальные LLM в переводах текстов — бенчмарк на RTX 5060Ti 16GB VRAM

Translate

simple_aitishnik5 минут назад

Захотелось мне тут проверить качество ИИ моделей в переводе. Я уже перевел немало книг и текстов с облачными моделями - Qwen, Claude, OpenAI, Gemini и результат в последнее время мне нравится все больше и больше. Я не думаю что переводчикам пора искать другую работу, но на сегодняшний день реальность такова что вы можете перевести любую книгу на любом языке на русский и как минимум понять про что она. Конечно же, остаются тонкости стилистики, нюансы языка и местных реалий жизни, которые очень важны при переводе сложной художественной литературы, тут нужен как раз тот “контекст жизни”, которого не хватает моделям. Однако последние версии Claude и OpenAI неплохо натаскались в переводе авторской стилистики. Если же вам надо читать не очень специфичный текст для посвященных, то скорее всего ИИ перевод вас удовлетворит. Конечно же тут тоже есть тонкости - проверки и промпты, но это уже дело техники, все это решаемо скиллами и бюджетом на токены. Однако облачные переводы не всегда доступны из-за бюджета и policy (и непонятно сколько еще будут доступны), поэтому я задался вопросом насколько я могу положиться на локальные модели, гоняющие на довольно скромной по нынешним меркам карте и машине: NVIDIA GeForce RTX 5060 Ti 16 GB, Core Ultra 7 265, 96 GB DDR5

Переводы проверялись для разных языков, все переводили на русский. Чтобы сделать бенчмарк более репрезентативным, я выбрал несколько языков для тестирования - английский, испанский, китайский и иврит. Большинство из них я знаю, так что могу оценить перевод глазами, хотя этого и не было нужно. Эталонный перевод сделал с Claude моделями, потом “модели-судьи” (Claude и OpenAI) судили каждый перевод, давая ему оценку. Измерялось как качество перевода, так и его скорость. Цели переводов:

Переводить интернет сайты по мере браузинга, что-то типа Google Translate для сайтов, но качественнее.
Локальный перевод книг. Хоть фронтирные модели объективно переводят книги лучше и быстрее, но некоторые уже начали капризничать из-за копирайта, боюсь что скоро эту лавочку прикроют. Хотелось бы иметь что-то постоянное и не зависящее от трендов. Хотя если цель - прогонять тексты через ИИ перевод и продавать на Амазон, то наверное лучше использовать облачные модели.

В итоге два главных критерия оценки — качество перевода и скорость, так как в браузере нужно переводить быстро, а качественный перевод книги можно и на ночь оставить.

Ну что же, давайте посмотрим что за тексты участвовали в соревновании. Я решил проверять перевод не только с разных языков, но и различного типа текстов.

На английском - колонка новостей с WSJ, медицинская статья с PubMed, техническая документация к ядру, технический тред на Reddit вместе с комментариями и даосское руководство по дыханию с вкраплениями на китайском. И как вишенку на торте - главу из “Поминки по Финнегану” Джеймса Джойса.
На испанском взял статью по экономике с интернет журнала, главу из книги современного автора, главу из детектива про наркокартели с северо-мексиканским и нарко-сленгом, и стихи Лорки.
Для китайского взял статью из китайского блога про то, какая великая и инклюзивная(!) китайская культура (кошко-жена одобряет), твиты из Weibo (или надо их называть “вейбиты”?), главу из современной книги (Ли Цзюань), техническое руководство. Для экстрима также добавил античный и средневековый трактат по китайской медицине и два текста по даосизму - тоже античный и средневековый.
На иврите - стандартный договор аренды квартиры, колонку из новостного сайта, техническое руководство по ядру, два срача из фейсбука с комментариями, тред на реддите, главу из современной книги Амоса Оза. Для экстрима - древний текст (Бен Сира, 200 г. до н.э.), отрывок из религиозной литературы (3 век н.э.) и отрывок из Каббалы (16 век, забегая наперед могу сказать что именно он оказался самым сложным для перевода и все локальные модели на нем повалились).

Так как набрался текст на разные уровни, поэтому и бенчмарк разделился на два - первый для современных текстов, новости, интернет, литература, и второй - всякие древние и просто странные тексты - для стресс тестирования.

Содержание

Модели в лаборатории

Теперь про модели. После того как посоветовались с OpenAI и Gemini, решили взять следующие модели для теста на моей карте.

Модель	Тип	Параметры	ток/с	Роль в лаборатории	Статус
Qwen3.8 Flash-Next	Общего назначения	125.7B + 51.2B таблица эмбеддингов / 7.3B активных	21 / 15	Лучшее качество в целом (пресеты regular, classical-he, черновик в literary-max)	финалист
Gemma 4 31B	Общего назначения	30.7B	6	Художественный перевод и редактор (пресет literary, а также проход редактуры в literary-max, classical, max)	финалист (и редактор)
Gemma 4 26B-A4B	Общего назначения	25.2B / 3.8B активных	113 / 26	Быстрый повседневный перевод (пресет regular-fast)	финалист
Index 35B-A3B	Перевод	35.5B / 3.5B активных	68 / 31	Черновик для классического китайского (пресеты classical, max)	финалист
Index 9B	Перевод	9.2B	64 / 46	Веб-страницы (пресет web)	финалист
Index 2B	Перевод	1.9B	163	Только для понимания сути, удалена	только для понимания сути (этап 0), удалена
Hy-MT2 30B-A3B	Перевод	30.1B / 3.5B активных	68 / 22	Отсеяна на отборе, удалена	отсеяна (этап 1, удалена)
Hy-MT2 7B	Перевод	7B	49	Отсеяна на отборе, удалена	отсеяна (этап 1, удалена)
Hy-MT2 1.8B	Перевод	1.8B	169	Только для понимания сути, удалена	только для понимания сути (этап 0), удалена
TranslateGemma 27B	Перевод	27.0B	4	Отсеяна на отборе, удалена	отсеяна (этап 1, удалена)
TranslateGemma 12B	Перевод	11.8B	31	Отсеяна на отборе, удалена	отсеяна (этап 1, удалена)
Command A Translate	Перевод	111B	1	Отсеяна на отборе, удалена	отсеяна (этап 1, удалена)
Qwen3.8 27B	Общего назначения	27.3B	47 / 5	Отсеяна на отборе; Q6_K удалён, IQ3_M оставлен	отсеяна (этап 1, Q6_K удалён)
Qwen3.6 35B-A3B	Общего назначения	34.7B / 3.5B активных	57 / 31	Отсеяна на настройке, удалена	отсеяна (этап 2, удалена)
Qwen3.5 9B	Общего назначения	9.0B	71	Прежняя контрольная модель	прежняя контрольная модель
T-pro 2.1	Общего назначения	32.8B	3	Отсеяна на отборе, удалена	отсеяна (этап 1, удалена)

Размер взят из файлов GGUF. Скорость — измеренная скорость генерации при переводе, в токенах в секунду, для каждого кванта (сначала самый быстрый). Для каждой модели - ее сильные и слабые стороны, происхождение, результаты и как запускалось с llama.cpp.

Qwen3.8-Flash-Next — финалист

Роль в лаборатории: Лучшее качество в целом (пресеты regular, classical-he, черновик в literary-max)

Ссылки: Qwen/Qwen3.8-Flash-Next · unsloth/Qwen3.8-Flash-Next-GGUF (GGUF)

Сильные стороны. Лидер или в числе лидеров почти во всех категориях: английский 87.6, испанский 92, китайский 88, иврит 90, классический иврит 81 (на 8 баллов впереди следующей модели). На токен активны лишь 6B параметров, поэтому даже IQ4_XS на 94 ГБ выдаёт 14–16 ток/с из системной RAM.

Слабые стороны. Нужно около 80–95 ГБ RAM плюс GPU. Художественный текст без прохода редактуры — лишь средний. В режиме рассуждения на отложенных текстах на классическом китайском оставляла в выводе непереведённый китайский и английский текст.

Что сработало. IQ4_XS ради качества, IQ3_XXS (21 ток/с), когда важна скорость; оценки различаются в пределах шума. Инструкция на русском помогла на классических текстах (+5). Рассуждение помогло на классическом китайском при настройке (+7.8), но провалилось на отложенных текстах; на классическом иврите сработало (72.7). MTP-черновик от unsloth не загружается в этой сборке llama.cpp.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	UD_IQ3_XXS	UD_IQ4_XS	Финал, лучшая настройка
ГБ	82.0	93.7	–
Размещение на 16 ГБ	38 слоёв экспертов на CPU	41 слой экспертов на CPU	–
ток/с	21	15	–
EN	85	88	89
ES	89	92	91
ZH	88	88	85
HE	89	90	89
ES худ.	83	80	86
EN худ.	76	72	68
文言文	78	79	66
HE худ.	79	85	86
Класс. HE	81	81	73
Веб	85	88	84

Команды запуска (llama-server)

Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.

Профиль iq4 — UD_IQ4_XS, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf --host 127.0.0.1 --port 8091 --alias fnx-UD_IQ4_XS -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 41 -t 12 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — UD_IQ3_XXS, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ3_XXS/Qwen3.8-Flash-Next-UD-IQ3_XXS-00001-of-00003.gguf --host 127.0.0.1 --port 8091 --alias fnx-UD_IQ3_XXS -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 38 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль quality — UD_IQ4_XS, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf --host 127.0.0.1 --port 8091 --alias fnx-UD_IQ4_XS -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 41 -t 12 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen4exp, 48 слоёв, 512 экспертов / 10 на токен, 176.9B весов, около 7.3B активных на токен (плюс послойная таблица эмбеддингов на 51.2B)

Разработчик: Qwen (Alibaba)

Дата выхода: Репозиторий на HF создан 2026-08-24; GGUF от unsloth — 2026-08-26.

Лицензия: Qwen Community License 1.0: разрешительная, но продукты с аудиторией более 100 млн MAU или выручкой более $20 млн в месяц обязаны указывать название модели, а бизнесу формата Model-as-a-Service или ИИ-ассистентов для работы нужна отдельная лицензия.

Параметры: 125B плюс 51B n-граммных эмбеддингов и 4B MTP (всего хранится около 180B). · активных 6B

Архитектура: MoE, 48 слоёв: 12 x (3 Gated DeltaNet + 1 Qwen Sparse Attention), 512 экспертов, активны 10 маршрутизируемых + 1 общий, гейтированные остаточные связи (4 ветви), n-граммный эмбеддинг на 20 млн записей.

Контекст: 262 144 нативно, расширяется до 1 000 000 токенов.

Базовая модель: Не указана.

Языки: В карточке не указаны.

Режим рассуждения: Включён по умолчанию; enable_thinking, preserve_thinking (по умолчанию включён), reasoning_effort xhigh/medium/low.

Изображения: Да (каузальная LM с визуальным энкодером; изображения/видео).

Промпт и сэмплинг из карточки: С рассуждением: temperature 1.0, top_p 0.95, top_k 20, presence_penalty 0; без рассуждения: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.5.

Заявления о переводе в карточке: В карточке нет (только SWE-bench Multilingual 81.0).

Также стоит отметить: Экспериментальное превью архитектуры (разреженное внимание QSA, гейтированные остаточные связи, n-граммный эмбеддинг, Muon/AdamW); MTP из 1 слоя.

Gemma-4-31B-it — финалист (и редактор)

Роль в лаборатории: Переводчик художественных текстов и редактор (пресет literary, а также проход редактуры в literary-max, classical, max)

Ссылки: google/gemma-4-31B-it · unsloth/gemma-4-31B-it-GGUF (GGUF)

Сильные стороны. Пишет по-русски лучше всех моделей. Лучшая одиночная модель на художественном испанском и английском (85), в числе лидеров во всём остальном; как редактор поднимает слабые черновики на 5–14 баллов.

Слабые стороны. Здесь медленная: Q6_K требует держать половину слоёв в системной RAM, поэтому около 6–7 ток/с даже с MTP. С рассуждением на классических текстах тратит 12–21 мин на текст и однажды оставила в выводе транслитерированный иврит (Тосефта 30).

Что сработало. Официальный английский системный промпт со стилевой инструкцией для художественного текста, жадное декодирование. Все варианты (инструкция на русском −4, сэмплер для художественного текста −4, без стилевой инструкции −7, рассуждение −2) на художественном тексте оказались хуже. Рассуждение помогает на классическом китайском (+11 при настройке). MTP-черновик примерно вдвое ускоряет модель.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q6_K	Финал, лучшая настройка
ГБ	25.2	–
Размещение на 16 ГБ	33 из 60 слоёв на GPU	–
ток/с	6	–
EN	85	87
ES	87	84
ZH	86	84
HE	89	90
ES худ.	85	84
EN худ.	85	70
文言文	79	72
HE худ.	82	74
Класс. HE	74	60
Веб	88	85

Команды запуска (llama-server)

Профиль balanced — Q6_K, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/unsloth/gemma-4-31B-it-GGUF/gemma-4-31B-it-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias g31-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 33 -t 8 --spec-type draft-mtp -md /models/unsloth/gemma-4-31B-it-GGUF/MTP/mtp-gemma-4-31B-it-Q8_0.gguf -ngld 99 --temp 0 --top-k 1

Профиль quality — Q6_K, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/unsloth/gemma-4-31B-it-GGUF/gemma-4-31B-it-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias g31-Q6_K -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 32 -t 8 --spec-type draft-mtp -md /models/unsloth/gemma-4-31B-it-GGUF/MTP/mtp-gemma-4-31B-it-Q8_0.gguf -ngld 99 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: gemma4, 60 слоёв, 30.7B весов

Разработчик: Google DeepMind

Дата выхода: В карточке дата не указана; репозиторий на HF создан 2026-03-11.

Лицензия: Apache-2.0

Параметры: 30.7B (плюс визуальный энкодер ~550M).

Архитектура: Плотная, 60 слоёв, гибридное внимание: скользящее окно (1024) / глобальное, 32 головы Q, 16 голов KV в локальных / 4 в глобальных.

Контекст: 256K токенов.

Базовая модель: google/gemma-4-31B (предобученная).

Языки: Предобучена на 140+ языках, 35+ поддерживаются из коробки; русский, иврит и классический китайский не упомянуты.

Режим рассуждения: Да, включается через <|think|> в системном промпте.

Изображения: Да: текст и изображения (видео — покадрово); аудио нет.

Промпт и сэмплинг из карточки: temperature=1.0, top_p=0.95, top_k=64.

Заявления о переводе в карточке: Бенчмарков перевода в карточке нет; MMMLU 88.4%.

Также стоит отметить: Сильнейшая Gemma 4 в карточке (MMLU Pro 85.2%); в GGUF от unsloth поддержка MTP добавлена 2026-06-09, исправления шаблона чата — 2026-04-11.

Gemma-4-26B-A4B-it — финалист

Роль в лаборатории: Быстрый повседневный перевод (пресет regular-fast)

Ссылки: google/gemma-4-26B-A4B-it · unsloth/gemma-4-26B-A4B-it-GGUF (GGUF) · google/gemma-4-26B-A4B-it-qat-q4_0-gguf (GGUF)

Сильные стороны. QAT Q4_0 от Google целиком помещается на GPU с 16 ГБ, работает примерно на 115 ток/с и набирает 80–88 на обычном тексте и веб-страницах на всех языках. Лучшее соотношение скорости и качества в тесте. Q8 — хорошая черновая модель для прохода редактуры 31B на художественном тексте.

Слабые стороны. Разваливается на классических текстах (классический иврит 49, классический китайский 54 в версии QAT). Q8 (с выгрузкой на CPU, 27 ток/с) на отложенных обычных текстах оказалась не лучше QAT.

Что сработало. Официальный промпт, жадное декодирование. Рассуждение добавляет около 1.5 балла на обычном тексте, но занимает в 4–5× больше времени. Инструкция на русском помогла на художественном тексте (+3.5). Спекулятивное декодирование с MTP замедлило сборку QAT (0.85×).

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	QAT_Q4_0	Q8_0	Финал, лучшая настройка
ГБ	14.4	26.9	–
Размещение на 16 ГБ	целиком на GPU	15 слоёв экспертов на CPU	–
ток/с	113	26	–
EN	80	83	86
ES	84	90	88
ZH	80	82	85
HE	86	83	83
ES худ.	74	81	86
EN худ.	62	73	64
文言文	54	66	–
HE худ.	75	86	74
Класс. HE	49	60	–
Веб	82	84	79

Команды запуска (llama-server)

Профиль fast — QAT_Q4_0, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/google/gemma-4-26B-A4B-it-qat-q4_0-gguf/gemma-4-26B_q4_0-it.gguf --host 127.0.0.1 --port 8091 --alias g26-QAT_Q4_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль balanced — QAT_Q4_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/google/gemma-4-26B-A4B-it-qat-q4_0-gguf/gemma-4-26B_q4_0-it.gguf --host 127.0.0.1 --port 8091 --alias g26-QAT_Q4_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias g26-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 16 -t 8 -ub 1024 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: gemma4, 30 слоёв, 128 экспертов / 8 на токен, 25.2B весов, около 3.8B активных на токен

Разработчик: Google DeepMind

Дата выхода: В карточке дата не указана; репозиторий на HF создан 2026-03-11, GGUF от unsloth — 2026-04-01, официальный QAT GGUF — 2026-05-01.

Лицензия: Apache-2.0

Параметры: 25.2B (плюс визуальный энкодер ~550M). · активных 3.8B

Архитектура: MoE, 30 слоёв, 128 экспертов, активны 8 + 1 общий; гибридное внимание: локальное со скользящим окном (1024) и глобальное, последний слой глобальный, в глобальных слоях общие K=V и p-RoPE.

Контекст: 256K токенов.

Базовая модель: google/gemma-4-26B-A4B (предобученная).

Режим рассуждения: Да: включается токеном <|think|> в начале системного промпта (enable_thinking в transformers); когда выключен, модель всё равно выдаёт пустой блок рассуждения.

Изображения: Да: текст и изображения на входе (а также кадры видео); аудио у этого размера нет.

Промпт и сэмплинг из карточки: temperature=1.0, top_p=0.95, top_k=64 для всех сценариев; нативная системная роль.

Заявления о переводе в карточке: Бенчмарков перевода для этой модели в карточке нет; MMMLU 86.3%.

Также стоит отметить: Официальный QAT Q4_0 GGUF сохраняет качество почти на уровне bf16; Google также выпускает MTP-модели для черновиков (assistant), точность которых должна совпадать с QAT; в unsloth поддержку MTP добавили 2026-06-09.

Index-Translate-35B-A3B-preview — финалист

Роль в лаборатории: Черновик для классического китайского (пресеты classical, max)

Ссылки: IndexTeam/Index-Translate-35B-A3B-preview · IndexTeam/Index-Translate-35B-A3B-preview-GGUF (GGUF) · mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF (GGUF)

Сильные стороны. Самая сильная из специализированных моделей. Лучшая одиночная модель на классическом китайском (Q8 80.5), сильна на английском и испанском (87–90 в финале) и на прозе на иврите (90 на художественном тексте). Хорошая и быстрая черновая модель для прохода редактуры на 31B.

Слабые стороны. Слабое место — современный китайский (76–79). Классический иврит — 66. На фрагментах по 1000 токенов в одной ветке форума на иврите перевела только последний пост; фрагменты по 300 и 600 токенов это исправляют.

Что сработало. Официальный китайский промпт, жадное декодирование, рассуждение выключено. Q4 для скорости (70 ток/с при 11 слоях экспертов на CPU), Q8 для классических текстов. Инструкция на английском стоила 5 баллов на классическом китайском, а короткие фрагменты с контекстом заставляли модель повторяться (−13).

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	i1_Q4_K_M	Q8_0	Финал, лучшая настройка
ГБ	21.7	37.8	–
Размещение на 16 ГБ	11 слоёв экспертов на CPU	25 слоёв экспертов на CPU	–
ток/с	68	31	–
EN	85	85	87
ES	85	82	90
ZH	76	77	80
HE	70	85	81
ES худ.	80	79	84
EN худ.	66	74	72
文言文	76	80	74
HE худ.	90	87	82
Класс. HE	66	66	66
Веб	59	78	78

Команды запуска (llama-server)

Профиль fast — i1_Q4_K_M, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF/Index-Translate-35B-A3B-preview.i1-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx35-i1_Q4_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 13 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — i1_Q4_K_M, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF/Index-Translate-35B-A3B-preview.i1-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx35-i1_Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 11 -t 8 -ub 512 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-35B-A3B-preview-GGUF/Index-Translate-35B-A3B-preview.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx35-Q8_0 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 25 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль web — i1_Q4_K_M, контекст 32 768, 4 параллельных слота

llama.cpp/build/bin/llama-server -m /models/mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF/Index-Translate-35B-A3B-preview.i1-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx35-i1_Q4_K_M -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 12 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen35moe, 41 слой, 256 экспертов / 8 на токен, 35.5B весов, около 3.5B активных на токен

Разработчик: IndexTeam (Index LLM Team, bilibili)

Дата выхода: Репозиторий на HF создан 2026-10-02; официальный GGUF опубликован 2026-10-03; кванты i1 от mradermacher — 2026-10-04.

Лицензия: Apache-2.0

Параметры: 35B (всего в safetensors 35.95B с учётом визуальной части). · активных 3B

Архитектура: Гибрид MoE на базе Qwen3.5: 40 слоёв, скрытый размер 2048, 256 экспертов (8 маршрутизируемых + общий эксперт), Gated DeltaNet с полным вниманием в каждом 4-м слое, головы 16 Q / 2 KV, 1 MTP-слой, визуальный энкодер.

Контекст: В конфиге max_position_embeddings 262 144; в примере для GGUF — -c 32768.

Базовая модель: Qwen3.5 (карточка сравнивает с Qwen3.5-35B-A3B как с похожей MoE).

Языки: 150 языков; русский, иврит и классический китайский в карточке не упомянуты.

Режим рассуждения: Отключён согласно официальным инструкциям; как функция не описан.

Изображения: Да, официальный mmproj (рекомендуется Q8_0, есть f16) для перевода изображений без OCR; mradermacher кладёт mmproj в свой статический репозиторий.

Промпт и сэмплинг из карточки: Китайский промпт для перевода или формат instTrans; жадное декодирование temperature=0, шаблон чата с enable_thinking=false (llama.cpp: --jinja --chat-template-kwargs '{"enable_thinking":false}' --temp 0).

Заявления о переводе в карточке: Наивысшие FLORES COMET-22 (0.8794) и instTrans IFscore (0.8336) среди всех систем, сравниваемых в отчёте; WMT26 Judge 76.76.

Также стоит отметить: Предварительный (preview) чекпойнт; веса интерполяции экспертов из отчёта для него не указаны; официальный Q4_K_M рекомендован и сверен с BF16 на A100.

Index-Translate-9B — финалист

Роль в лаборатории: Веб-страницы (пресет web)

Ссылки: IndexTeam/Index-Translate-9B · IndexTeam/Index-Translate-9B-GGUF (GGUF)

Сильные стороны. Быстрая и точная на повседневных текстах: 92 на испанских новостях, 81.5 на китайском, 85 на обычном тексте на этапе 2. Q5_K_M с 4 параллельными слотами помещается целиком на GPU — подходит для браузерного расширения.

Слабые стороны. Слаба на сленге и текстах с форумов (веб 65–70) и в передаче авторского голоса. Один раз зациклилась на ветке Weibo при фрагментах по 300 токенов.

Что сработало. Лучше всего — официальный промпт и жадное декодирование; инструкция на английском, сэмплер для художественного текста и фрагменты меньшего размера дали столько же или меньше. Для веб-страниц — фрагменты по 600 токенов.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q5_K_M	Q8_0	Финал, лучшая настройка
ГБ	6.6	9.8	–
Размещение на 16 ГБ	целиком на GPU	целиком на GPU	–
ток/с	64	46	–
EN	–	79	83
ES	–	92	84
ZH	–	82	80
HE	–	77	72
ES худ.	–	77	–
EN худ.	–	72	–
文言文	–	70	–
HE худ.	–	80	–
Класс. HE	–	59	–
Веб	–	70	73

Команды запуска (llama-server)

Профиль fast — Q5_K_M, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q5_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q5_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — Q8_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль web — Q5_K_M, контекст 32 768, 4 параллельных слота

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q5_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q5_K_M -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen35, 33 слоя, 9.2B весов

Разработчик: IndexTeam (Index LLM Team, bilibili)

Дата выхода: Репозиторий на HF создан 2026-09-28; технический отчёт датирован сентябрём 2026.

Лицензия: Apache-2.0

Параметры: 9B по карточке (всего в safetensors 9.65B с учётом визуального энкодера).

Архитектура: Плотный гибрид на базе Qwen3.5: 32 слоя, скрытый размер 4096, линейное внимание Gated DeltaNet с полным вниманием в каждом 4-м слое, головы 16 Q / 4 KV, 1 MTP-слой, визуальный энкодер.

Контекст: В конфиге max_position_embeddings 262 144; официальный пресет для запуска — 32 768.

Базовая модель: Qwen3.5 (карточка сравнивает с базовой Qwen3.5-9B).

Языки: 150 языков; русский, иврит и классический китайский в карточке не упомянуты.

Режим рассуждения: Отключён в официальном клиенте (enable_thinking=False); как функция не описан.

Изображения: Да, перевод изображений в текст через mmproj.

Промпт и сэмплинг из карточки: Как у 2B: китайский промпт для перевода или ограниченный формат instTrans, одно сообщение пользователя, жадное декодирование temperature=0, enable_thinking=False.

Заявления о переводе в карточке: FLORES COMET-22 0.8789, WMT24++ 0.8601, WMT26 Judge 75.35; лучший instTrans IFscore на малоресурсных языках 0.7725 и наименьшая доля ответов не на целевом языке 3.47% среди сравниваемых систем.

Также стоит отметить: Лидирует среди сравниваемых моделей на субтитрах MuST-Cinema по COMET-22 (0.8979); для запуска в BF16, по руководству на GitHub, нужно около 24 ГБ памяти GPU.

Index-Translate-2B — только для понимания сути (этап 0), удалена

Роль в лаборатории: Только для понимания сути, удалена

Ссылки: IndexTeam/Index-Translate-2B · IndexTeam/Index-Translate-2B-GGUF (GGUF)

Сильные стороны. Мгновенный черновой перевод: 170 токенов/с и около 2.3 ГБ видеопамяти, плюс перевод изображений через визуальный проектор.

Слабые стороны. Иврит — 49, классический иврит — 21. Оставляет буквы иврита в русском тексте и искажает смысл. Не годится для текстов, которые нужно читать внимательно.

Что сработало. Официальный китайский промпт, жадное декодирование, рассуждение выключено.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q8_0
ГБ	2.1
Размещение на 16 ГБ	целиком на GPU
ток/с	163
EN	–
ES	–
ZH	–
HE	49
ES худ.	–
EN худ.	–
文言文	–
HE худ.	38
Класс. HE	21
Веб	–

Команды запуска (llama-server)

Профиль fast — Q8_0, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — Q8_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль web — Q8_0, контекст 32 768, 4 параллельных слота

llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen35, 25 слоёв, 1.9B весов

Разработчик: IndexTeam (Index LLM Team, bilibili)

Дата выхода: Репозиторий на HF создан 2026-09-28; технический отчёт датирован сентябрём 2026 (официальный GGUF опубликован 2026-10).

Лицензия: Apache-2.0

Параметры: 2B по карточке (всего в safetensors 2.27B с учётом визуального энкодера).

Архитектура: Плотный гибрид на базе Qwen3.5 (Qwen3_5ForConditionalGeneration): 24 слоя, 3 слоя линейного внимания Gated-DeltaNet на 1 слой полного внимания, головы 8 Q / 2 KV, 1 MTP-слой, 24-слойный визуальный энкодер.

Контекст: В конфиге max_position_embeddings 262 144; официальный пресет для запуска — 32 768; в оценках использовалось 16 384.

Базовая модель: Qwen3.5 (карточка сравнивает с Qwen3.5-2B как с базовой моделью того же размера).

Языки: 150 языков (список только в техническом отчёте); русский, иврит и классический китайский в карточке не упомянуты.

Режим рассуждения: Официальный клиент его отключает (chat_template_kwargs enable_thinking=False) и вырезает любой выведенный блок think; использование рассуждения не описано.

Изображения: Да: сквозной перевод изображений в текст без OCR через mmproj (проектор Q8_0/f16 в репозитории GGUF).

Промпт и сэмплинг из карточки: Китайский промпт '请将以下{src}文本翻译为{tgt}，直接输出翻译结果，不要进行任何解释。\n\n{text}' или формат instTrans 【源文】/【约束要求】; одно сообщение пользователя, без системного; жадное декодирование temperature=0, max_tokens по умолчанию 1024.

Заявления о переводе в карточке: FLORES COMET-22 0.8655, WMT24++ 0.8489, WMT26 Judge 60.26; по карточке обходит Hy-MT2-1.8B по всем основным метрикам.

Также стоит отметить: Обучение: многоязычное промежуточное дообучение (mid-training) на 167.77B токенов, специализированные SFT/RL, интерполяция экспертов 0.8/0.1/0.1 плюс on-policy дистилляция от нескольких учителей; GGUF проверен против F16 по KL-дивергенции.

Hy-MT2-30B-A3B — отсеяна (этап 1, удалена)

Роль в лаборатории: Отсеяна на отборе, удалена

Ссылки: tencent/Hy-MT2-30B-A3B · tencent/Hy-MT2-30B-A3B-GGUF (GGUF)

Сильные стороны. Неожиданно хороша на художественном тексте на иврите (88–89) и быстра в Q4 (75 токенов/с).

Слабые стороны. Во всём остальном уступает лидерам: английский 71, обычный иврит 67–71, классические тексты 52–56. Q8 оказался не лучше Q4.

Что сработало. Сэмплер из карточки: T 0.7, top_p 1.0. Q4_K_M помещается при 9 слоях экспертов на CPU.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q4_K_M	Q8_0
ГБ	18.2	32.0
Размещение на 16 ГБ	9 слоёв экспертов на CPU	29 слоёв экспертов на CPU
ток/с	68	22
EN	72	71
ES	78	77
ZH	80	78
HE	67	71
ES худ.	74	74
EN худ.	61	58
文言文	56	56
HE худ.	88	89
Класс. HE	54	52
Веб	69	67

Команды запуска (llama-server)

Профиль fast — Q4_K_M, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q4_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 8 -t 8 --temp 0 --top-k 1

Профиль balanced — Q4_K_M, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 9 -t 8 --temp 0 --top-k 1

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q8_0 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 29 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль web — Q4_K_M, контекст 32 768, 4 параллельных слота

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q4_K_M -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 12 -t 8 -ub 1024 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: hy_v3, 48 слоёв, 128 экспертов / 8 на токен, 30.1B весов, около 3.5B активных на токен

Разработчик: Tencent Hunyuan (Tencent Hy)

Дата выхода: Новости в карточке: открыта 2026-05-21; репозиторий GGUF создан позже, 2026-07-23.

Лицензия: Apache-2.0

Параметры: 30B (всего в safetensors 30.06B). · активных 3B

Архитектура: MoE hy_v3 (HYV3ForCausalLM): 48 слоёв, скрытый размер 2048, 128 экспертов, 8 активных + 1 общий, первый слой плотный, сигмоидный роутер, головы 32 Q / 4 KV.

Контекст: В конфиге max_position_embeddings 262 144; рекомендуемый max_tokens 4096.

Базовая модель: Не указана.

Языки: В карточке заявлено 33 языка; в таблице 38 позиций, включая русский и иврит; классического китайского в списке нет.

Режим рассуждения: Карточка называет модель 'fast-thinking' и переключателя не описывает; шаблон чата принимает reasoning_effort high/low/no_think, по умолчанию no_think.

Изображения: Нет (только текст).

Промпт и сэмплинг из карточки: Системного промпта по умолчанию нет; те же шаблоны; temperature 0.7, top_p 1.0, top_k -1, repetition_penalty 1.0, max_tokens 4096.

Заявления о переводе в карточке: По карточке обходит DeepSeek-V4-Pro и Kimi K2.6 в режиме fast-thinking (результаты только картинкой).

Также стоит отметить: Архитектура отличается от плотных 1.8B/7B; есть вариант FP8.

Hy-MT2-7B — отсеяна (этап 1, удалена)

Роль в лаборатории: Отсеяна на отборе, удалена

Ссылки: tencent/Hy-MT2-7B · tencent/Hy-MT2-7B-GGUF (GGUF)

Сильные стороны. Маленькая и быстрая (50 токенов/с целиком на GPU).

Слабые стороны. Везде в середине таблицы или ниже: английский 63, китайский 59, классический китайский 36. Index 9B того же размера лучше.

Что сработало. По карточке её GGUF рассчитан на собственное ядро llama.cpp от Tencent; мы запускали её на стандартном llama.cpp.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q8_0
ГБ	8.0
Размещение на 16 ГБ	целиком на GPU
ток/с	49
EN	63
ES	76
ZH	59
HE	–
ES худ.	69
EN худ.	48
文言文	36
HE худ.	–
Класс. HE	–
Веб	–

Команды запуска (llama-server)

Профиль fast — Q8_0, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль balanced — Q8_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль web — Q8_0, контекст 32 768, 4 параллельных слота

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Карточка модели и архитектура

Файла на диске больше нет, поэтому заголовок GGUF не прочитан.

Разработчик: Tencent Hunyuan (Tencent Hy)

Дата выхода: Новости в карточке: открыта 2026-05-21 (репозиторий на HF создан 2026-05-11).

Лицензия: Apache-2.0

Параметры: 7B (всего в safetensors 8.03B).

Архитектура: Плотная HunYuanDenseV1: 32 слоя, скрытый размер 4096, головы 32 Q / 8 KV (GQA), QK-norm.

Контекст: В конфиге max_position_embeddings 262 144; рекомендуемый max_tokens 4096.

Базовая модель: Не указана.

Режим рассуждения: Модель 'fast-thinking'; переключатель рассуждения не описан.

Изображения: Нет (только текст).

Промпт и сэмплинг из карточки: Системного промпта по умолчанию нет; те же шаблоны промптов, что у 1.8B; temperature 0.7, top_p 0.6, top_k 20, repetition_penalty 1.05, max_tokens 4096.

Заявления о переводе в карточке: По карточке 7B и 30B-A3B превосходят DeepSeek-V4-Pro и Kimi K2.6 в режиме fast-thinking (результаты картинкой плюс arXiv 2605.22064).

Также стоит отметить: По карточке этот GGUF зависит от ядра STQ от Tencent (llama.cpp PR #22836); есть вариант FP8.

Hy-MT2-1.8B — только для понимания сути (этап 0), удалена

Роль в лаборатории: Только для понимания сути, удалена

Ссылки: tencent/Hy-MT2-1.8B · tencent/Hy-MT2-1.8B-GGUF (GGUF)

Сильные стороны. Самая быстрая из протестированных моделей (179 токенов/с), иврит и русский есть в её списке языков.

Слабые стороны. Самые низкие баллы по ивриту в тесте (36, классический — 25). Смысловые ошибки почти в каждом предложении.

Что сработало. Без системного промпта; сэмплер из карточки (T 0.7, top_p 0.6, top_k 20, repetition 1.05).

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q8_0
ГБ	1.9
Размещение на 16 ГБ	целиком на GPU
ток/с	169
EN	–
ES	–
ZH	–
HE	36
ES худ.	–
EN худ.	–
文言文	–
HE худ.	36
Класс. HE	25
Веб	–

Команды запуска (llama-server)

Профиль fast — Q8_0, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль balanced — Q8_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль web — Q8_0, контекст 32 768, 4 параллельных слота

llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: hunyuan-dense, 32 слоя, 1.8B весов

Разработчик: Tencent Hunyuan (Tencent Hy)

Дата выхода: Новости в карточке: открыта 2026-05-21 (репозиторий на HF создан 2026-05-11, GGUF — 2026-05-20).

Лицензия: Apache-2.0

Параметры: 1.8B (всего в safetensors 2.04B).

Архитектура: Плотная HunYuanDenseV1: 32 слоя, скрытый размер 2048, головы 16 Q / 4 KV (GQA), QK-norm, динамическое масштабирование RoPE.

Контекст: В конфиге max_position_embeddings 262 144; рекомендуемый max_tokens на вывод 4096.

Базовая модель: Не указана.

Языки: В карточке заявлено 33 языка, но в её таблице 38 позиций, включая русский, иврит, украинский, традиционный китайский, кантонский, тибетский, уйгурский; классического китайского в списке нет.

Режим рассуждения: Описаны как модели перевода 'fast-thinking'; переключатель рассуждения не описан.

Изображения: Нет (только текст).

Промпт и сэмплинг из карточки: Системного промпта по умолчанию нет; 'Translate the following text into {target_lang}. Note that you should only output the translated result without any additional explanation:\n\n{text}' (есть и китайский вариант); temperature 0.7, top_p 0.6, top_k 20, repetition_penalty 1.05, max_tokens 4096.

Заявления о переводе в карточке: По карточке 1.8B в целом превосходит популярные коммерческие API, например Microsoft и Doubao; результаты только картинкой плюс arXiv 2605.22064.

Также стоит отметить: Квант AngelSlim 1.25 бита сжимает её до 440 МБ (отдельные репозитории GGUF 2bit/1.25bit); шаблоны для терминологии, стиля, персонализации, разделителей, структурированных данных; выпущен IFMTBench.

TranslateGemma-27B — отсеяна (этап 1, удалена)

Роль в лаборатории: Отсеяна на отборе, удалена

Ссылки: google/translategemma-27b-it · mradermacher/translategemma-27b-it-GGUF (GGUF)

Сильные стороны. Лучше 12B на иврите (77) и художественном испанском (75).

Слабые стороны. Классический китайский 42.5, Finnegans Wake 52. При 4 токенах/с и половине слоёв на CPU слишком медленная для такого результата.

Что сработало. Тот же структурированный шаблон, что у 12B; жадное декодирование.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q6_K
ГБ	22.2
Размещение на 16 ГБ	42 из 62 слоёв на GPU
ток/с	4
EN	–
ES	–
ZH	–
HE	77
ES худ.	75
EN худ.	52
文言文	42
HE худ.	78
Класс. HE	58
Веб	–

Команды запуска (llama-server)

Профиль balanced — Q6_K, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-27b-it-GGUF/translategemma-27b-it.Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tg27-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 42 -t 8 --temp 0 --top-k 1

Профиль quality — Q6_K, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-27b-it-GGUF/translategemma-27b-it.Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tg27-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 42 -t 8 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: gemma3, 62 слоя, 27.0B весов

Разработчик: Google (исследовательская команда Google Translate / Google DeepMind)

Дата выхода: Репозиторий на HF создан 2026-01-12; технический отчёт arXiv 2601.09012 (январь 2026).

Лицензия: Лицензия Gemma, доступ по запросу.

Параметры: 27B (всего в safetensors 28.84B с учётом визуальной части).

Архитектура: Плотная Gemma 3 со входом для изображений; число слоёв не прочитать (конфиг закрыт).

Контекст: Общий входной контекст 2K токенов.

Базовая модель: Дообучена из чекпойнтов Gemma 3.

Языки: 55 языков; в карте языков шаблона есть русский и иврит; классический китайский не упомянут.

Режим рассуждения: Не указан.

Изображения: Да (изображения 896x896, по 256 токенов каждое).

Промпт и сэмплинг из карточки: Тот же структурированный шаблон чата, что у 12B (source_lang_code/target_lang_code); в примерах жадное декодирование.

Заявления о переводе в карточке: WMT24++ (55 языков) MetricX 3.09 / COMET 84.4; WMT25 MQM 5.86; Vistra MetricX 1.57 (лучший результат в семействе).

Также стоит отметить: Карточка совпадает с карточкой 12B, кроме id модели.

TranslateGemma-12B — отсеяна (этап 1, удалена)

Роль в лаборатории: Отсеяна на отборе, удалена

Ссылки: google/translategemma-12b-it · mradermacher/translategemma-12b-it-GGUF (GGUF)

Сильные стороны. Хороша на испанских новостях (88) и служит независимым эталоном машинного перевода от Google.

Слабые стороны. Проваливается на классических текстах (классический китайский 37, классический иврит 48) и слаба на китайском (68). Карточка ограничивает вход 2K токенов.

Что сработало. Нужен собственный структурированный шаблон чата с кодами исходного и целевого языков; лаборатория собирает его в prompts.py.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q8_0
ГБ	12.5
Размещение на 16 ГБ	целиком на GPU
ток/с	31
EN	74
ES	88
ZH	68
HE	80
ES худ.	63
EN худ.	51
文言文	37
HE худ.	70
Класс. HE	48
Веб	68

Команды запуска (llama-server)

Профиль fast — Q8_0, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-12b-it-GGUF/translategemma-12b-it.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias tg12-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль balanced — Q8_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-12b-it-GGUF/translategemma-12b-it.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias tg12-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Профиль quality — Q8_0, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-12b-it-GGUF/translategemma-12b-it.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias tg12-Q8_0 -c 16384 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: gemma3, 48 слоёв, 11.8B весов

Разработчик: Google (исследовательская команда Google Translate / Google DeepMind)

Дата выхода: Репозиторий на HF создан 2026-01-12; технический отчёт arXiv 2601.09012 (январь 2026).

Лицензия: Лицензия Gemma, доступ по запросу (нужно принять условия Google).

Параметры: 12B (всего в safetensors 13.19B с учётом визуальной части).

Архитектура: Плотная Gemma 3 (архитектура в GGUF — gemma3) со входом для изображений; число слоёв не прочитать (конфиг закрыт).

Контекст: Общий входной контекст 2K токенов.

Базовая модель: Дообучена из чекпойнтов Gemma 3 (SFT на 4.3B токенов, RL на 10.2M токенов).

Языки: 55 языков (в карточке не перечислены); в карте языков шаблона чата есть русский и иврит; классический китайский не упомянут.

Режим рассуждения: Не указан.

Изображения: Да: изображения 896x896, по 256 токенов каждое, для перевода текста на изображениях (mmproj в репозитории GGUF).

Промпт и сэмплинг из карточки: Использовать шаблон чата: один элемент содержимого пользователя с типом text/image плюс source_lang_code и target_lang_code (ISO 639-1, регион по желанию); только роли User/Assistant; в примерах жадное декодирование (do_sample=False).

Заявления о переводе в карточке: WMT24++ (55 языков) MetricX 3.60 / COMET 83.5; WMT25 MQM 7.94; Vistra (изображения) MetricX 2.08.

Также стоит отметить: В обучающих данных есть переводы, сгенерированные Gemini; по карточке обходит открытые модели сопоставимого размера.

Command-A-Translate-08-2025 (111B) — отсеяна (этап 1, удалена)

Роль в лаборатории: Отсеяна на отборе, удалена

Ссылки: CohereLabs/command-a-translate-08-2025 · DevQuasar/CohereLabs.command-a-translate-08-2025-GGUF (GGUF)

Сильные стороны. Модель перевода Cohere на 111B; русский и иврит входят в её 23 языка.

Слабые стороны. Здесь 0.7 токена/с (67 ГБ, в основном в системной RAM), и лучше она не оказалась: художественный испанский 68, классический китайский 50. Выводила свой токен конца хода как текст. Некоммерческая лицензия.

Что сработало. Промпт 'Translate everything that follows into Russian:'; temperature 0.3 по карточке.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q4_K_M
ГБ	67.1
Размещение на 16 ГБ	13 из ? слоёв на GPU
ток/с	1
EN	–
ES	–
ZH	–
HE	–
ES худ.	68
EN худ.	60
文言文	50
HE худ.	–
Класс. HE	–
Веб	–

Команды запуска (llama-server)

Профиль quality — Q4_K_M, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/DevQuasar/CohereLabs.command-a-translate-08-2025-GGUF/CohereLabs.command-a-translate-08-2025.Q4_K_M-00001-of-00005.gguf --host 127.0.0.1 --port 8091 --alias cat-Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 13 -t 8 -ub 512 --temp 0 --top-k 1

Карточка модели и архитектура

Файла на диске больше нет, поэтому заголовок GGUF не прочитан.

Разработчик: Cohere и Cohere Labs

Дата выхода: Репозиторий на HF создан 2025-08-27 (08-2025); статья на WMT 2025 (ноябрь 2025).

Лицензия: CC-BY-NC-4.0 плюс Cohere Labs Acceptable Use Policy (некоммерческая); доступ по запросу.

Параметры: 111B

Архитектура: Плотный трансформер; 3 слоя со скользящим окном (окно 4096, RoPE), затем 1 слой глобального внимания без позиционных эмбеддингов; SFT плюс обучение на предпочтениях.

Контекст: 8K на вход плюс 8K на выход.

Базовая модель: CohereLabs/c4ai-command-a-03-2025 (дерево моделей на HF).

Языки: 23 языка, включая русский и иврит (английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, арабский, китайский, русский, польский, турецкий, вьетнамский, нидерландский, чешский, индонезийский, украинский, румынский, греческий, хинди, иврит, персидский); классический китайский не упомянут.

Режим рассуждения: Не указан.

Изображения: Нет (только текст).

Промпт и сэмплинг из карточки: Сообщение пользователя 'Translate everything that follows into {Language}:\n\n {text}'; в примере do_sample=True, temperature 0.3, max_new_tokens 4096.

Заявления о переводе в карточке: Карточка заявляет передовое (state-of-the-art) качество перевода; цифры только в блоге и в статье WMT25.

Также стоит отметить: Некоммерческая лицензия; GGUF от DevQuasar — неофициальный квант (проверен на wikitext-2).

Qwen3.8-27B — отсеяна (этап 1, Q6_K удалена)

Роль в лаборатории: Отсеяна на отборе; Q6_K удалена, IQ3_M оставлена

Ссылки: Qwen/Qwen3.8-27B · unsloth/Qwen3.8-27B-GGUF (GGUF) · bartowski/Qwen3.8-27B-GGUF (GGUF)

Сильные стороны. Сильна на испанском (89–91) и уверенно держится на обычном тексте; IQ3_M помещается на GPU, а с MTP разгоняется примерно до 40–45 ток/с.

Слабые стороны. Q6 проигрывает Gemma 4 31B при близкой скорости, IQ3 проигрывает Gemma 4 26B. Сборка IQ3 в режиме рассуждения на классическом китайском бесконечно зацикливалась, пока в лабораторию не добавили защиту от зацикливания.

Что сработало. Оставлена как возможный редактор; Gemma 4 31B справилась с этим лучше.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	IQ3_M	UD_Q6_K
ГБ	13.9	22.0
Размещение на 16 ГБ	целиком на GPU	46 из 65 слоёв на GPU
ток/с	47	5
EN	75	78
ES	89	91
ZH	82	82
HE	84	83
ES худ.	65	71
EN худ.	59	68
文言文	60	64
HE худ.	73	76
Класс. HE	66	66
Веб	78	81

Команды запуска (llama-server)

Профиль fast — IQ3_M, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/Qwen3.8-27B-IQ3_M.gguf --host 127.0.0.1 --port 8091 --alias q38-IQ3_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --spec-type draft-mtp -md /models/unsloth/Qwen3.8-27B-GGUF/MTP/mtp-Qwen3.8-27B-Q4_0.gguf -ngld 99 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — IQ3_M, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/Qwen3.8-27B-IQ3_M.gguf --host 127.0.0.1 --port 8091 --alias q38-IQ3_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --spec-type draft-mtp -md /models/unsloth/Qwen3.8-27B-GGUF/MTP/mtp-Qwen3.8-27B-Q4_0.gguf -ngld 99 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль quality — UD_Q6_K, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias q38-UD_Q6_K -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 46 -t 8 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen35, 65 слоёв, 27.3B весов

Разработчик: Qwen (Alibaba)

Дата выхода: Репозиторий на HF создан 2026-08-05.

Лицензия: Apache-2.0

Параметры: 27B (в safetensors 27.78B).

Архитектура: Плотная гибридная, 64 слоя: 16 x (3 Gated DeltaNet + 1 Gated Attention), 24 головы Q / 4 KV, FFN 17 408; обучена с MTP.

Контекст: 262 144 нативно, расширяется до 1 000 000 токенов.

Базовая модель: Не указана (сказано, что построена на архитектуре Qwen3.5).

Языки: В карточке не указаны.

Режим рассуждения: Включён по умолчанию, можно отключить для отдельного запроса; reasoning_effort xhigh (по умолчанию)/medium/low; preserve_thinking по умолчанию включён.

Изображения: Да, нативное понимание изображений и видео.

Заявления о переводе в карточке: В карточке нет.

Также стоит отметить: Кванты от bartowski включают слои MTP для спекулятивного декодирования в llama.cpp (--spec-type draft-mtp).

Qwen3.6-35B-A3B — отсеяна (этап 2, удалена)

Роль в лаборатории: Отсеяна на настройке, удалена

Ссылки: Qwen/Qwen3.6-35B-A3B · unsloth/Qwen3.6-35B-A3B-GGUF (GGUF)

Сильные стороны. Неплохо справляется с обычным текстом (75–86) и быстра в Q4 (56 ток/с).

Слабые стороны. На классическом китайском застряла на 55–71, что бы ни пробовали, а на художественном испанском однажды повторила исходник вместо перевода (50).

Что сработало. Рассуждение дало лишь +1 на классическом китайском. Отсеяна после этапа 2.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	UD_Q4_K_XL	Q8_0
ГБ	22.4	36.9
Размещение на 16 ГБ	13 слоёв экспертов на CPU	25 слоёв экспертов на CPU
ток/с	57	31
EN	75	76
ES	86	83
ZH	79	76
HE	84	80
ES худ.	50	73
EN худ.	55	57
文言文	70	71
HE худ.	69	71
Класс. HE	72	68
Веб	75	72

Команды запуска (llama-server)

Профиль fast — UD_Q4_K_XL, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf --host 127.0.0.1 --port 8091 --alias q36-UD_Q4_K_XL -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 13 -t 8 -ub 512 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — UD_Q4_K_XL, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf --host 127.0.0.1 --port 8091 --alias q36-UD_Q4_K_XL -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 13 -t 8 -ub 512 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль quality — Q8_0, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias q36-Q8_0 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 25 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen35moe, 40 слоёв, 256 экспертов / 8 на токен, 34.7B весов, около 3.5B активных на токен

Разработчик: Qwen (Alibaba)

Дата выхода: Репозиторий на HF создан 2026-04-15; первая модель Qwen3.6 с открытыми весами.

Лицензия: Apache-2.0

Параметры: 35B (в safetensors 35.95B вместе с визуальной частью). · активных 3B

Архитектура: Гибридная MoE, 40 слоёв: 10 x (3 Gated DeltaNet + 1 Gated Attention), 256 экспертов, активны 8 маршрутизируемых + 1 общий; 16 голов Q / 2 KV; обучена с MTP.

Контекст: 262 144 нативно, расширяется до 1 010 000 токенов.

Базовая модель: Не указана.

Языки: В карточке не указаны.

Режим рассуждения: Рассуждение по умолчанию; переключатель enable_thinking; новый preserve_thinking сохраняет рассуждения из предыдущих ходов.

Изображения: Да (изображения/видео).

Промпт и сэмплинг из карточки: Без рассуждения: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.5; с рассуждением: temperature 1.0, top_p 0.95, top_k 20, presence_penalty 1.5.

Заявления о переводе в карточке: В карточке нет (только SWE-bench Multilingual 67.2).

Также стоит отметить: MTP для спекулятивного декодирования.

Qwen3.5-9B — прежняя контрольная модель

Роль в лаборатории: Прежняя контрольная модель

Ссылки: Qwen/Qwen3.5-9B · lmstudio-community/Qwen3.5-9B-GGUF (GGUF)

Сильные стороны. Уже была на диске (LM Studio), поэтому служит дешёвой точкой отсчёта для старых моделей общего назначения.

Слабые стороны. Иврит 67, классический иврит 51. Уступает Index 9B — модели той же архитектуры, дообученной для перевода.

Что сработало. Без рассуждения, жадное декодирование.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q4_K_M
ГБ	5.6
Размещение на 16 ГБ	целиком на GPU
ток/с	71
EN	–
ES	–
ZH	–
HE	67
ES худ.	–
EN худ.	–
文言文	–
HE худ.	62
Класс. HE	51
Веб	–

Команды запуска (llama-server)

Профиль fast — Q4_K_M, контекст 8 192

llama.cpp/build/bin/llama-server -m /models/lmstudio-community/Qwen3.5-9B-GGUF/Qwen3.5-9B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias q35-Q4_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Профиль balanced — Q4_K_M, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/lmstudio-community/Qwen3.5-9B-GGUF/Qwen3.5-9B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias q35-Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'

Карточка модели и архитектура

GGUF: qwen35, 32 слоя, 9.0B весов

Разработчик: Qwen (Alibaba)

Дата выхода: Репозиторий на HF создан 2026-02-27 (карточка Qwen3.6 ссылается на «февральский релиз серии Qwen3.5»).

Лицензия: Apache-2.0

Параметры: Языковая модель на 9B (всего в safetensors 9.65B вместе с визуальной частью).

Архитектура: Плотная гибридная, 32 слоя: 8 x (3 Gated DeltaNet + 1 Gated Attention), за каждым следует FFN; 16 голов Q / 4 KV; обучена с MTP.

Контекст: 262 144 нативно, расширяется до 1 010 000 токенов.

Базовая модель: Qwen/Qwen3.5-9B-Base

Языки: 201 язык и диалект; русский, иврит и классический китайский не названы.

Режим рассуждения: Рассуждение по умолчанию; отключается через enable_thinking=False.

Изображения: Да, изображения и видео (визуально-языковая модель с ранним слиянием).

Заявления о переводе в карточке: WMT24++ 72.6 (XCOMET-XXL, среднее по 55 языкам); MMLU-ProX 76.3.

Также стоит отметить: MTP можно использовать для спекулятивного декодирования (vLLM qwen3_next_mtp); для сохранения рассуждения карточка советует контекст не менее 128K.

T-pro-it-2.1 — отсеяна (этап 1, удалена)

Роль в лаборатории: Отсеяна на отборе, удалена

Ссылки: t-tech/T-pro-it-2.1 · t-tech/T-pro-it-2.1-GGUF (GGUF)

Сильные стороны. Дообученная под русский Qwen3-32B с токенизатором, оптимизированным для русского; тестировалась как источник естественного русского языка.

Слабые стороны. Классический китайский 42.5, художественный английский 56, иврит 69, при 2.6 ток/с. Естественный русский не компенсировал смысловых ошибок.

Что сработало. Карточка требует задавать temperature и presence_penalty в каждом вызове; для сопоставимости мы использовали жадное декодирование.

Оценки качества по наборам текстов (0–100) и скорость по квантам:

Набор / квант	Q6_K
ГБ	26.9
Размещение на 16 ГБ	36 из 64 слоёв на GPU
ток/с	3
EN	–
ES	–
ZH	–
HE	69
ES худ.	69
EN худ.	56
文言文	42
HE худ.	56
Класс. HE	52
Веб	–

Команды запуска (llama-server)

Профиль balanced — Q6_K, контекст 16 384

llama.cpp/build/bin/llama-server -m /models/t-tech/T-pro-it-2.1-GGUF/T-pro-it-2.1-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tpro-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 36 -t 8 --temp 0 --top-k 1

Профиль quality — Q6_K, контекст 32 768

llama.cpp/build/bin/llama-server -m /models/t-tech/T-pro-it-2.1-GGUF/T-pro-it-2.1-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tpro-Q6_K -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 33 -t 8 -ub 1024 --temp 0 --top-k 1

Карточка модели и архитектура

GGUF: qwen3, 64 слоя, 32.8B весов

Разработчик: T-Tech (Т-Банк)

Дата выхода: Репозиторий на HF создан 2025-12-16; GGUF — 2025-12-18.

Лицензия: Apache-2.0

Параметры: 32.8B (safetensors).

Архитектура: Плотная Qwen3 (Qwen3ForCausalLM): 64 слоя, hidden 5120, 64 головы Q / 8 KV, полное внимание.

Контекст: 32 768 нативно (в конфиге 40 960); до 131 072 с YaRN factor 4.

Базовая модель: Qwen/Qwen3-32B

Языки: Ориентирована на русский (метаданные: ru); многоязычное покрытие не указано; иврит и классический китайский не упомянуты.

Режим рассуждения: Только без рассуждения; блоки <think> не выдаёт.

Изображения: Нет.

Промпт и сэмплинг из карточки: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.0 (temperature и presence_penalty обязательны в каждом вызове); пример системного промпта: «Ты T-pro, виртуальный ассистент в Т-Технологиях...».

Заявления о переводе в карточке: Нет (Ru Arena Hard 93.8, ruIFeval 80.7, ruBFCL 66.0).

Также стоит отметить: Токенизатор, оптимизированный для русского, ускоряет генерацию на русском; три GRPO-эксперта объединены методом SLERP; по данным карточки GGUF, Q4_K_M отстаёт от BF16 не более чем примерно на 1 балл.

Как мы с Claude тестировали

Все модели запускались через сервер llama.cpp с настройками, подобранными под эту машину (сколько слоёв или экспертов уходит в системную RAM, число потоков, тип KV-кеша).

Этап 0 · smoke test

По одному абзацу на категорию. Загружается ли модель, отвечает ли по-русски, не оставляет ли непереведённых кусков?

Этап 1 · отбор

Все модели и кванты на отрывках по 2000 знаков: промпт из карточки модели, жадное декодирование, фрагменты по 1000 токенов. По одному слепому судье на лист. Дальше проходили три лучшие модели в каждой категории плюс все, кто отставал от них не больше чем на 5 баллов.

Этап 2 · настройка

Для каждой прошедшей модели параметры менялись по одному и сравнивались с базовым результатом отбора: язык инструкции, сэмплер, размер фрагмента вместе с контекстом, стилевая инструкция, рассуждение и второй проход редактуры моделью Gemma 4 31B.

Этап 3 · финал

Лучшая настройка каждого финалиста на отложенных отрывках вдвое длиннее, не использовавшихся на настройке. По два слепых судьи на лист, оценки усреднялись.

Методы

Черновик + редактура моделью Gemma 4 31B

В двухпроходной схеме быстрая модель пишет черновик, а затем каждый фрагмент вместе с исходником передаётся Gemma 4 31B. Редактор работает с жадным декодированием, без рассуждения, под таким системным промптом (для художественных текстов к нему добавляется стилевая инструкция):

Ты — старший литературный редактор русскоязычных текстов и рецензент переводов. Ты получаешь ИСХОДНЫЙ ТЕКСТ (SOURCE) и ЧЕРНОВИК (DRAFT) русского перевода. Исправь: пропуски, добавления, ошибки перевода, неверные имена и термины, кальки и неестественный русский, потерянные тон, иронию или регистр. Сохрани всё, что уже хорошо, — не переписывай ради переписывания, не сокращай. Выведи ТОЛЬКО итоговый русский текст, без комментариев.

Проход редактуры улучшил каждый черновик, к которому применялся, и на настройке выиграл на всех листах, кроме одного. Чем слабее черновик, тем больше прирост.
Он подтягивает черновик примерно до уровня самой 31B или чуть выше. На испанских и английских художественных текстах цепочки «черновик + редактура» и одна 31B финишировали в пределах шума. На художественных текстах на иврите цепочки явно обошли одну 31B (82.5–85.5 против 74.5). На классическом китайском цепочка уверенно опередила 31B на настройке (84.2 против 71.2), а в финале немного обошла 31B с рассуждением (74.0 против 71.9), потратив примерно втрое меньше времени.
Редактор не может исправить то, чего не понимает. На классическом иврите отредактированный черновик Index (66.0) всё равно остался ниже Flash-Next без редактуры (70.7–72.7).
Это стоит времени: 31B редактирует здесь со скоростью около 6–7 ток/с, что добавляет 3–6 мин на текст длиной 2–5000 знаков.

Режим рассуждения

Рассуждение (thinking) позволяет модели общего назначения подумать, прежде чем ответить. Лаборатория ограничивает рассуждение 3000 токенов, после чего принудительно требует ответ, а если вывод начинает повторяться, перезапускает фрагмент без рассуждения (до появления этой защиты Qwen3.8 27B IQ3 однажды зациклилась на классическом китайском навсегда).

Рассуждение явно окупилось только на классическом китайском при настройке: там модели нужно разобрать предложение, прежде чем его переводить. В финале на отложенных текстах оно вело себя ненадёжно: 31B с рассуждением выиграла 2 листа из 4, но получила 59.5 на «Цзо чжуань», а Flash-Next оставляла китайские и английские слова без перевода.
На художественном и обычном тексте оно почти ничего не меняло или ухудшало результат, при этом занимая в 4–6 раз больше времени.
Указания модели, как анализировать текст (пунктуация, частицы, аллюзии, ключевые термины), поверх рассуждения дали меньше, чем просто рассуждение: Gemma 4 31B 79.0 против 82.5, Flash-Next 72.8 против 76.8.
Для сложных текстов проход редактуры 31B оказался более надёжным способом потратить дополнительное время.

Промпты и настройки

Базовый промпт у каждой модели свой: китайская инструкция из карточки Index, шаблон Hy-MT2, структурированный шаблон TranslateGemma с кодами языков, однострочная инструкция Command A, а для LLM общего назначения — английский системный промпт с просьбой о полном и точном переводе, сохраняющем абзацы, разметку, числа и имена. Для художественных текстов добавляется стилевая инструкция: сохранять авторский голос, иронию, ритм и регистр, а сленг передавать естественными русскими эквивалентами.

Как оценивали

Оценка шла по шкале 0–100: точность 40, беглость 25, стиль 20, терминология 10, формат 5, — причём судья должен был процитировать найденные ошибки. Два судьи на одном листе оценивали очень согласованно (корреляция 0.84–0.99), но при повторной оценке листа отдельные оценки сдвигались до 5 баллов. Любой разрыв меньше примерно 4 баллов следует считать ничьей.

Скорость. Измерялась во время перевода, на этой машине. Модели, которые не помещаются в GPU на 16 ГБ, держат часть весов в системной RAM, а она здесь работает в одноканальном режиме (проблема с материнкой). В двухканальной системе такие модели работали бы примерно в 1.8 раза быстрее.

Результаты

Итоги и выводы

Разочарование недели - модели TranslateGemma, от модели которая заточена на перевод ожидалось гораздо больше, а в итоге она среди худших. Модели Tencent (Hy-MT2) - распиаренный китаец себя не оправдал, даже для китайского языка большинство моделей справились лучше.

Находка недели - модели Index-Translate, здесь распиаренный китаец себя полностью оправдал, впрочем неудивительно - ведь они на основе Qwen моделей. И конечо же наше всё - Qwen Flash-Next. Хорошо зарекомендовали модели Gemma 4 (не знаю как умудрились их испортить в TranslateGemma)

Самим быстрым и качественным оказался способ с двумя моделями, где она делает простой, но быстрый перевод, другая же побольше и поумнее проходит и исправляет его. Так как вывод токенов это самое тяжелое для моделей, то переводить с самого начала тяжелой моделью берет очень много времени, а фронтирной - очень много денег. А вот исправить - это гораздо меньше, процентов 10-20 максимум от всего текста. Вывод такой, что большинство текста - обычные слова, которые можно перевести быстро и просто, а вот сложные пассажи составляют абсолютное меньшинство текста (если это не "Поминки по Финнегану") и только их можно обработать моделью получше. Итоговое качество иногда даже лучше чем если сразу переводить тяжелой моделью.

Так же и с фронтирными моделями - оказалось что они могут поправить перевод, сделанный простой локальной моделью, потратив на это 1-5% токенов от того, что бы они потратили если бы переводили весь текст целиком. Так что самый выигрышный вариант, наверное, это перевести сначала легкой локальной моделью, а потом если надо только локально - отредактировать тяжелой локальной, или же дать на исправление облачной модели. Результат будет такой же по качеству и в раз десять дешевле.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

View the original on Хабр →

KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.