ОПТИМИЗАЦИЯ ХРАНЕНИЯ И ОБРАБОТКИ ФИНАНСОВЫХ ОТЧЁТОВ МАРКЕТПЛЕЙСА В DUCKDB

ОПТИМИЗАЦИЯ ХРАНЕНИЯ И ОБРАБОТКИ ФИНАНСОВЫХ ОТЧЁТОВ МАРКЕТПЛЕЙСА В DUCKDB
Авторы: Серпинский Р. Э., Аскеров С. Т., Буракова М. С.
Аннотация:

В данной работе проводится экспериментальное исследование методов оптимизации хранения и обработки финансовых отчётов маркетплейса в аналитическом пайплайне на базе DuckDB. Рассматриваются две модели организации данных: монолитное хранение в виде одного оптимизированного Parquet-файла и партиционированное хранение в виде набора файлов, разделённых по временным интервалам. Анализируются особенности каждой модели, влияние файловой структуры на производительность аналитических запросов и стоимость этапов подготовки данных. Экспериментальная часть включает тестирование типовых финансовых запросов (агрегации, ранжирование, оконные функции, временные срезы) в режимах холодного и прогретого доступа к данным. Особое внимание уделяется оценке медианного и перцентильного времени выполнения запросов, а также стабильности работы при увеличении объёма данных. На основе полученных результатов сформулированы рекомендации по выбору модели хранения финансовых данных для задач аналитики и построения отчётности.

Ключевые слова: финансовые отчёты, DuckDB, Parquet, аналитическая обработка данных, оптимизация хранения, файловая структура базы данных, производительность запросов, cold и warm режимы, партиционирование, агрегатные запросы.
Страницы в выпуске: 298-305

Журнал "Оригинальные исследования (ОРИС)" (включен в РИНЦ) ведет прием статей в ближайший номер до 30 апреля 2026 г.