MPT

Описание MPT

MPT (Mosaic Pretrained Transformer) – семейство открытых моделей от MosaicML на 7B и 30B параметров, изначально спроектированных для эффективной работы с длинным контекстом. MPT-7B обучен на ~1T токенов текста и кода, а MPT-30B – более крупный вариант с расширенным качеством рассуждений и программирования. Базовое окно контекста составляет 8K токенов, а специализированные модели вроде MPT-7B-StoryWriter поддерживают контекст свыше 65K токенов, что делает MPT особенно подходящим для длинных документов и сложных диалогов. Aрхитектура MPT – это decoder-only Transformer с ALiBi для масштабирования контекста и FlashAttention для ускорения обучения и инференса, доступный под коммерчески дружественной лицензией. На базе MPT можно разрабатывать ассистентов по документации и контрактам, аналитические RAG-платформы, чат-ботов с «длинной памятью», вспомогательные ИИ-инструменты для разработчиков и консультантов, а также встраиваемые модули в SaaS-продукты. Команда FreeBlock подберёт нужную конфигурацию MPT, дообучит её на ваших данных, выстроит архитектуру с длинным контекстом и интегрирует решение в инфраструктуру компании. Если вы хотите прочитать и понять свои большие данные с помощью ИИ, заказывайте разработку проектов на базе MPT в компании FreeBlock

Все Технологии