В рамках данной работы проанализированы основные компоненты и механизмы архитектуры нейронных сетей по типу архитектуры трансформера, приведена общая схема архитектуры. А также рассмотрены модификации моделей генеративно параметрических трансформерах для решения задач связанных с понимание языка и генерацией текстов. Приведены ключевые различия в архитектуре существующих больших языковых моделей (LLM), и их вклад в развитие архитектуры. Также подобные модели имеют широкий спектр применений, включая генерацию контента, аудио-видео обработку, искусственный дизайн и другие области.
