Microsoft і NVIDIA об'єднують зусилля для створення моделі генерації природної мови Megatron-Turing Генерація природної мови

Microsoft і NVIDIA об'єднали зусилля для створення моделі генерації природної мови Megatron-Turing, яка містить 530 мільярдів параметрів. Це найбільша і найпотужніша монолітна модель мови трансформатора, навчена на сьогоднішній день.

Тенденція зміни розмірів сучасних НЛП моделей з плином часу

Mt-NLG має в 3 рази більше параметрів в порівнянні з існуючою найбільшою моделлю цього типу і демонструє неперевершену точність в широкому спектрі завдань природною мовою, таких як:

• прогнозування завершеності тексту за змістом ;
• розуміння читання;
• генерація умовиводу;
• створення висновків природною мовою;
• розрізнення значення слів з множинними значеннями.

Навчання такої потужної моделі стало можливим завдяки численним нововведенням. Наприклад, NVIDIA і Microsoft об'єднали найсучаснішу інфраструктуру навчання на основі графічного процесора з передовим стеком програмного забезпечення для розподіленого навчання. Були створені бази даних природною мовою, які включають в себе сотні мільярдів одиниць контенту, а також розроблені методи навчання для підвищення ефективності та стабільності оптимізації.