Мы провели эксперимент по развертыванию модели ChatGLM2-6B на оборудовании с процессором Musa и обнаружили, что следующие операторы не поддерживаются. Хотелось бы узнать, когда ваша организация планирует реализовать версии этих операторов для Musa? Есть ли у вас какой-либо график?

(aten::repeat_interleave.Tensor)
aten::isnan
aten::multinomial

Если attention_mask не None и не состоит только из True или если past_key_values заданы и длина последовательности равна 1, возникает ошибка RuntimeError: В данный момент поддерживаются только типы bool/uint8.

query_layer = apply_rotary_pos_emb(query_layer, rotary_pos_emb)

NotImplementedError: Неизвестное устройство для графового объединения

context_layer = torch.nn.functional.scaled_dot_product_attention(query_layer, key_layer, value_layer,

NotImplementedError: В данный момент не поддерживается оператор Tril!

Вот список операторов, которые мы протестировали. Используя метод fallback, они были запущены на CPU, и модель в целом прошла успешно. Однако при использовании комбинации Musa+CPU производительность модели была примерно такой же, как у чистого CPU.

MUSA+CPU

• len=361, time=57.53021550178528, token_time=0.15936347784428054
• len=271, time=42.497570514678955, token_time=0.1568176033751991
• len=37, time=6.054728031158447, token_time=0.1636412981394175
• len=328, time=50.88183355331421, token_time=0.1551275413210799
• len=360, time=55.81243562698364, token_time=0.1550345434082879
• len=428, time=66.52833342552185, token_time=0.15544003136804171
• len=682, time=115.13545775413513, token_time=0.16882031928758817

Чистый CPU

• len=299, time=53.984042167663574, token_time=0.18054863601225277
• len=277, time=43.20661282539368, token_time=0.15598055171622266
• len=43, time=6.418494939804077, token_time=0.14926732418149016
• len=521, time=88.73278260231018, token_time=0.1703124426147988
• len=693, time=113.95053935050964, token_time=0.16443079271357813
• len=267, time=33.94291138648987, token_time=0.1271270089381643
• len=489, time=66.38853144645691, token_time=0.13576386798866444