zlsl/l_warhammer3

Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.

Для пользователей text-generation-webui

В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. Ошибка такая:

eos_token_id = eos_token_id[0] IndexError: list index out of range

Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer

И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.

— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.

Я попытался ответить ему, но слова застряли у меня во рту. В моем разуме всплыла картина того, что произошло со мной после возвращения в реальность. Мне вспомнились все мои страхи и сомнения, которые я испытывал перед лицом этого существа. И теперь я понял, почему оно так сильно отличалось от всех остальных воинов ордена. Оно выглядело таким же сильным и уверенным в себе, каким я видел себя в воспоминаниях о своем первом посещении этой комнаты. Но при этом мне показалось, что его облик изменился. Воин выглядел более старым и уставшим, чем когда бы то ни было за всю мою жизнь. На нем были доспехи цвета слоновой кости, украшенные золотом и серебром. Из нагрудника торчал меч, рукоять которого оканчивалась двумя шипами. А на груди виднелся символ, похожий на голову орка.

В зал ворвался Абаддон.

- Что происходит? — спросил он, не обращая внимания на остальных воинов своего Легиона.

— Я хочу знать! — рявкнул Абаддон и повернулся к своему брату-капитану: — Что ты видишь?

Абаддон указал на стену зала. В ней зияла огромная дыра, сквозь которую пробивался свет. Он был настолько ярким, что даже в центре помещения его было видно невооруженным глазом.

— Это портал, брат мой, — сказал Абаддон. — Мы должны идти туда.

Он повел своих братьев вперед по коридору, который вел из тронного зала.

— Стойте здесь, братья мои, — приказал Абаддон. — Я иду первым.

Оба воина шагнули через дыру в стене и оказались в огромном зале с высоким потолком. Здесь царил полумрак, но Абаддон разглядел множество статуй, изображавших героев древности. Они стояли рядами вдоль стен, а их доспехи были покрыты пылью веков. Вдоль одной стены тянулся длинный ряд скамей, а у противоположной стены стоял огромный стол, заваленный свитками пергамента. На столе лежали карты, которые Абаддон взял со стола.