MiniMax опубликовала веса M3.1 Flash на Hugging Face. Модель рассчитана на программирование, многошаговые задачи с вызовом инструментов, управление компьютерным интерфейсом и анализ уязвимостей. Всего в ней около 428 млрд параметров, но при обработке каждого токена активируются примерно 23 млрд. M3.1 Flash принимает текст, изображения и видео, а размер контекстного окна достигает миллиона токенов. За скорость инференса отвечают три механизма: MiniMax Sparse Attention сокращает объём вычислений за счёт разреженного внимания, DSpark использует спекулятивное декодирование, а quantization-aware training помогает оптимизировать использование памяти. Читать далее