Статья:

ИССЛЕДОВАНИЕ ВЛИЯНИЯ ДЕФЕКТОВ ДАННЫХ НА УСТОЙЧИВОСТЬ ПОКАЗАТЕЛЕЙ ПРОДАЖ В АНАЛИТИКЕ БОЛЬШИХ ДАННЫХ

Журнал: Научный журнал «Студенческий форум» выпуск №36(387)

Рубрика: Технические науки

Выходные данные
Вишкина Е.К. ИССЛЕДОВАНИЕ ВЛИЯНИЯ ДЕФЕКТОВ ДАННЫХ НА УСТОЙЧИВОСТЬ ПОКАЗАТЕЛЕЙ ПРОДАЖ В АНАЛИТИКЕ БОЛЬШИХ ДАННЫХ // Студенческий форум: электрон. научн. журн. 2026. № 36(387). URL: https://nauchforum.ru/journal/stud/387/192279 (дата обращения: 22.11.2026).
Журнал опубликован
Мне нравится
на печатьскачать .pdfподелиться

ИССЛЕДОВАНИЕ ВЛИЯНИЯ ДЕФЕКТОВ ДАННЫХ НА УСТОЙЧИВОСТЬ ПОКАЗАТЕЛЕЙ ПРОДАЖ В АНАЛИТИКЕ БОЛЬШИХ ДАННЫХ

Вишкина Екатерина Константиновна
студент, Московский политехнический университет, г. Москва, Российская Федерация

Исследуется чувствительность показателей розничных продаж к дублированию записей, потере строк и удвоению цены. Эксперимент выполнен на наборе Predict Future Sales, предоставленном компанией 1С: после подготовки использованы 2 928 492 строки за 2013–2015 годы. Сопоставлены равномерное размещение дефектов и их концентрация в одной товарной категории. Выполнено 540 основных сценариев и 540 дополнительных сценариев без служебных позиций. При дублировании 10 % исходных строк среднее изменение общей расчётной выручки составило 10,03 % при равномерном выборе и 2,59 % при концентрации в категории DVD; внутри категории изменение достигло 51,96 %. Показано, что контроль общей суммы необходимо дополнять проверками по категориям и анализом устойчивости рейтингов.

Введение

Выручка, объём продаж и рейтинг товаров используются при оценке работы торгового предприятия и обсуждении ассортиментных решений. Эти показатели зависят от качества исходных записей. Проверка заполненности полей и корректности форматов необходима, однако сама по себе не показывает, насколько обнаруженный дефект изменяет аналитический вывод. Поэтому оценку качества данных следует связывать с назначением результата [3].

В аналитике больших данных контроль должен быть автоматизированным и воспроизводимым. При этом одинаковый процент затронутых строк может иметь разную экономическую значимость: стоимость записи о дорогом товаре и стоимость записи о дешёвом товаре различаются. Ошибка в небольшой доле общего оборота также способна существенно изменить показатели отдельной категории. Возникает задача сопоставления технической меры дефектности с чувствительностью бизнес-показателей.

Цель работы – оценить влияние типа, доли и размещения дефектов на расчётную выручку, количество проданных единиц и состав десяти ведущих позиций. Объект исследования – исторические записи о продажах из набора компании 1С; предмет – изменение агрегатов и рейтинга после контролируемого воздействия. Гипотеза состоит в том, что равная доля дефектных строк не обеспечивает равного изменения глобальных и локальных показателей. Исследуется чувствительность конкретной базы; фактическая распространённость ошибок компании и эффект управленческих решений на прибыль не оцениваются.

Данные

Использован набор Predict Future Sales с официальной страницы конкурса Kaggle [4]. Он включает ежедневную историю продаж с января 2013 по октябрь 2015 года, а также справочники товаров, категорий и магазинов. Набор ранее применялся для прогнозирования продаж [7]. В исследование включены файлы sales_train.csv, items.csv, item_categories.csv и shops.csv. Целевой файл конкурсных прогнозов не используется. Основные характеристики загруженных данных представлены в таблице 1.

Таблица 1.

Характеристики исходной и подготовленной базы

Показатель Значение
Исходные строки 2 935 849
Период наблюдений 01.01.2013–31.10.2015
Строки с неположительной ценой 1
Строки с отрицательным количеством 7 356
Полные совпадения строк, сверх первого 6
Строки в основной базе 2 928 492
Позиций / магазинов / категорий в базе 21 804 / 60 / 84

Подготовка включала проверку даты, конечности и положительности цены и количества, а также ссылок на справочники. Исключена одна строка с неположительной ценой и 7 356 строк с отрицательным количеством. Последние рассматриваются как возвратные записи, поэтому основной анализ относится к положительному обороту. Пропусков в шести полях исходной таблицы, некорректных дат и отсутствующих связей со справочниками не обнаружено. Проверка соединений «многие к одному» предотвращала размножение строк.

Шесть полных совпадений сохранены: без идентификатора операции нельзя доказать, что каждое совпадение является техническим дублем. Положительные выбросы также не удалялись автоматически. Таким образом, подготовленная таблица служит базой сравнения, а не эталоном безошибочного учёта. Выручка далее означает расчётную сумму произведений цены на количество; средний чек не вычисляется из-за отсутствия идентификатора чека.

В справочнике имеются служебные позиции. В частности, «Прием денежных средств для 1С-Онлайн» входит в исходный топ-10 по расчётной стоимости. Поэтому этот показатель нельзя без дополнительной сверки считать бухгалтерской выручкой. Основной эксперимент сохраняет все категории; после просмотра справочника отдельно выполнена проверка без категории «Служебные». Российское происхождение данных не обеспечивает репрезентативности для всей торговли, а период 2013–2015 годов не позволяет описывать современный рынок.

Методология

Исследуются три вида дефектов (таблица 2), два способа их размещения и три уровня воздействия – 1, 5 и 10 % исходных строк. Для каждой комбинации выполнено 30 повторений: 3 × 2 × 3 × 30 = 540 сценариев. Начальное состояние генератора задано числом 20261009; отдельные последовательности определяются уровнем воздействия, способом размещения и номером повторения. Для трёх видов дефекта используются одни и те же выбранные индексы, что делает их сравнение парным.

Таблица 2.

Определение искусственно внесённых дефектов

Дефект Преобразование Что изменяется
Дублирование Каждая выбранная строка добавляется один раз Стоимость и количество
Потеря строк Выбранные строки удаляются целиком Стоимость и количество
Удвоение цены Цена выбранной строки умножается на 2 Стоимость; количество сохраняется

В равномерном сценарии строки выбираются без возвращения из всей базы; в концентрированном – только из одной категории. В обоих случаях затрагивается k = round(pN) строк, где N – размер исходной базы, p – заданная доля. При добавлении дублей доля новых строк в итоговом файле равна k/(N + k), а не p. Целевая категория выбирается до внесения дефектов по наибольшему числу записей; при равенстве используется меньший идентификатор.

Этому правилу соответствует категория «Кино – DVD» (ID 40): 563 938 строк, или 19,26 % базы, при доле 4,99 % в расчётной выручке. Для всех уровней воздействия в категории достаточно записей, поэтому пропущенных сценариев нет. При воздействии на 10 % всей базы затрагивается около 51,93 % строк этой категории; данное различие знаменателей учитывается при оценке локальной ошибки.

Пусть R и R′ – суммы стоимости записей до и после воздействия, а Q и Q′ – суммы количества. Подписанные ошибки рассчитываются относительно базовых величин:

E_R = 100 × (R′ − R) / R; E_Q = 100 × (Q′ − Q) / Q (1)

Локальная ошибка выручки категории определяется аналогично, с её собственной суммой в знаменателе. Устойчивость рейтинга измеряется долей позиций, сохранившихся в группе десяти ведущих:

S10 = 100 × |T10 ∩ T′10| / 10 (2)

При одинаковой выручке порядок задаётся возрастанием идентификатора позиции. Метрика оценивает состав группы и не отражает перестановки внутри неизменного состава. По 30 повторениям рассчитаны средние, стандартные отклонения и квантили 2,5 и 97,5 %. Квантильный диапазон описывает разброс искусственного размещения дефектов, а не доверительный интервал для российского рынка.

Обзор материалов

Ehrlinger и Wöß [3] систематизируют инструменты профилирования, измерения и мониторинга качества данных. Их обзор позволяет разделить обнаружение дефекта и оценку пригодности данных для аналитической задачи. В настоящей работе профиль таблицы дополнен измерением изменения конкретных показателей продаж.

Qi и соавторы [5] экспериментально исследуют влияние неполных, несогласованных и конфликтующих данных на классификацию и кластеризацию. Из этой работы заимствована общая логика управляемого изменения входных данных, но объектом оценки здесь являются агрегаты и состав ведущих позиций. Источник доступен как препринт.

Raman [6] рассматривает причины и последствия проблем качества данных розничной торговли. Работа обосновывает прикладную значимость проверки записей о продажах. Swami, Shah и Ray [7] используют непосредственно набор компании 1С для прогнозирования и описывают его подготовку. Их препринт служит ориентиром для работы с набором, однако результаты прогнозирования не переносятся на задачу оценки чувствительности отчётных показателей.

Русскоязычная профессиональная публикация Поспелова [1] обсуждает дублирование, пропуски и ошибки форматов. Она используется как дополнительный источник практических постановок. Рассмотренная литература обосновывает проблему и экспериментальный подход. Вклад настоящей работы состоит в совместной оценке глобальных и локальных последствий по единому протоколу на конкретном наборе; новая универсальная теория качества данных не заявляется.

Практическая реализация

Расчёты выполнены в Python 3.12.14 с NumPy 2.3.5, pandas 2.2.3 и Matplotlib 3.10.8. Jupyter Notebook содержит чтение CSV, проверки схемы и ключей справочников, подготовку базы, функции воздействия, эксперимент и визуализацию. Сохранены SHA-256 входных файлов, параметры, журнал подготовки и результаты каждого повторения. Эти сведения позволяют воспроизвести расчёт на той же версии данных.

Для линейных агрегатов используется точное изменение вклада выбранных строк вместо создания сотен полных копий таблицы. При дублировании их стоимость и количество прибавляются к базовым суммам, при потере – вычитаются; удвоение цены добавляет только стоимость. Суммы по позициям затем используются для пересчёта рейтинга. Эквивалентность явному преобразованию таблицы и воспроизводимость генератора проверены 18 проверками на искусственном наборе. Эти тестовые записи не смешиваются с исследуемыми продажами.

Связь исследования с большими данными заключается в автоматизированной проверке многомиллионного массива и оценке распространения дефектов на агрегаты. Дополнительный раздел ноутбука показывает перенос агрегации в PySpark на основе Spark SQL [2]. В настоящем эксперименте он отключён: полученные результаты относятся к реализации pandas/NumPy. Испытание кластера и оценка масштабируемости не проводились.

Эмпирическая проверка

Средние результаты основного эксперимента приведены в таблице 3. Обозначения «равн.» и «кат.» соответствуют равномерному размещению и размещению внутри категории DVD. Доля воздействия во всех строках таблицы рассчитана от исходного числа записей всей базы.

Таблица 3.

Среднее изменение общей выручки и сохранение состава топ-10

Воздействие Доля, % Eᵣ равн., % Eᵣ кат., % S₁₀ равн., % S₁₀ кат., %
Дублирование 1 0,99 0,26 98,3 100,0
Дублирование 5 4,99 1,30 96,7 100,0
Дублирование 10 10,03 2,59 97,0 100,0
Потеря строк 1 -0,99 -0,26 100,0 100,0
Потеря строк 5 -4,99 -1,30 96,0 100,0
Потеря строк 10 -10,03 -2,59 95,0 100,0
Цена × 2 1 0,99 0,26 98,3 100,0
Цена × 2 5 4,99 1,30 96,7 100,0
Цена × 2 10 10,03 2,59 97,0 100,0

При равномерном дублировании 10 % строк средняя ошибка общей выручки составила 10,03 %, а диапазон квантилей – от 9,86 до 10,21 %. При концентрации того же числа дублей в категории DVD средняя ошибка снизилась до 2,59 % с диапазоном от 2,59 до 2,60 %. Одновременно локальная выручка DVD увеличилась на 51,96 %. Таким образом, относительно небольшое изменение общей суммы сопровождалось существенным искажением категории (рис. 1).

Рисунок 1. Глобальное и локальное изменение стоимости продаж при дублировании

Полученные различия объясняются структурой базы. При равномерном выборе k записей ожидаемая относительная ошибка выручки равна ±k/N. Для категории с долей строк s и долей выручки w математическое ожидание составляет:

E[(R′ − R) / R] = ±(k/N) × (w/s) (3)

Отношение w/s для DVD равно 0,259. Поэтому при воздействии на 10 % всей базы ожидаемая ошибка составляет около 2,59 %, что согласуется со средним результатом. Концентрация дефектов не обязана увеличивать ошибку общей суммы: направление зависит от средней стоимости строки выбранной категории. При этом локальная относительная ошибка может быть намного выше глобальной.

Для одинакового набора строк дублирование и удвоение цены дали одинаковые изменения выручки и рейтинга – это следует из определения воздействий. Количество единиц при удвоении цены не изменялось. При дублировании 10 % строк количество выросло в среднем на 10,00 % в равномерном сценарии и на 9,02 % в категории. Потеря тех же строк давала противоположное по знаку изменение сумм, но не обязательно симметричное изменение состава топа.

При равномерной потере 10 % строк среднее сохранение топ-10 составило 95,0 %; в отдельных повторениях совпадали девять или десять позиций. Для равномерного дублирования и удвоения цены на этом уровне среднее сохранение составило 97,0 %. В сценариях, ограниченных DVD, состав общего топ-10 сохранялся во всех повторениях (рис. 2). DVD изначально не входили в эту группу; результат отражает структуру данного рейтинга и не доказывает устойчивость всех категорий.

Рисунок 2. Средняя доля позиций, сохранившихся в общем топ-10

После исключения категории «Служебные» удалено 9 067 строк и осталось 2 919 425 строк. Расчётная стоимость базы уменьшилась на 0,504 %. В дополнительных 540 сценариях при дублировании 10 % строк средняя глобальная ошибка составила 9,99 % для равномерного выбора и 2,60 % для DVD; локальная ошибка категории – 51,80 %. Различие между общей и локальной чувствительностью сохранилось. Эта проверка носит исследовательский характер: категория исключена после просмотра справочника, а не по заранее заданному плану.

Результаты зависят от выбора одной категории, периода наблюдений и механизмов искусственного воздействия. Потеря целых строк не моделирует пропуски отдельных полей, а удвоение цены является заданным сценарием, а не восстановлением реальной ошибки. Тридцать повторений характеризуют случайное размещение дефектов на фиксированной базе. Выводы не позволяют оценить частоту ошибок в реальном учёте или их причинное влияние на прибыль.

Собственные варианты решения и развитие исследования

Для контроля предлагается сочетать проверки структуры и ссылочной целостности с проверками последствий на нескольких уровнях агрегации. В рассматриваемом примере контроль только общей суммы мог бы недооценить масштаб искажения DVD. Поэтому вместе с глобальной стоимостью следует отслеживать показатели категорий и изменение состава приоритетных позиций.

При назначении приоритетов проверки целесообразно учитывать среднюю стоимость строки и долю категории в обороте. Однако высокая чувствительность не означает высокую вероятность возникновения дефекта: для выбора мер контроля необходимы обе характеристики. Служебные записи требуют отдельного согласованного правила учёта, особенно если рейтинг интерпретируется как рейтинг товаров.

Развитие работы предполагает повторение эксперимента по нескольким категориям и отдельным временным периодам, сравнение методов исправления ошибок и оценку влияния дефектов на прогноз продаж. Сохранённые файлы каждого повторения и контрольные суммы исходных CSV позволяют использовать выполненный эксперимент как базовый вариант для таких сравнений.

Заключение

Эксперимент подтвердил различную чувствительность общих и локальных показателей к одинаковой доле дефектных строк. Практический результат состоит в обосновании совместного контроля глобальных и локальных показателей; перенос численных оценок на другие компании и периоды требует отдельного исследования.

Список литературы

  1. Поспелов Д.Ю. Качество данных: вызовы и решения в эпоху аналитики // Информационное моделирование. – 2025. – № 2 (6). – URL: https://im-journal.ru/articles/im_06_14.html (дата обращения: 09.10.2026).
  2. Apache Spark. Spark SQL and DataFrames. Документация [Электронный ресурс]. – URL: https://spark.apache.org/docs/latest/sql-programming-guide.html (дата обращения: 09.10.2026).
  3. Ehrlinger L. Wöß W. A Survey of Data Quality Measurement and Monitoring Tools // Frontiers in Big Data. – 2022. – Т. 5. – Art. 850611. – DOI: 10.3389/fdata.2022.850611.
  4. Guschin A. et al. Predict Future Sales. Kaggle. 2018. Данные предоставлены 1C Company [Электронный ресурс]. – URL: https://www.kaggle.com/competitions/competitive-data-science-predict-future-sales/data (дата обращения: 09.10.2026).
  5. Qi Z., Wang H., Li J., Gao H. Impacts of Dirty Data: and Experimental Evaluation. Препринт arXiv:1803.06071. 2018. Версия 2 от 26.04 [Электронный ресурс]. – 2021. – URL: https://arxiv.org/abs/1803.06071 (дата обращения: 09.10.2026).
  6. Raman A. Retail-data quality: evidence, causes, costs, and fixes // Technology in Society. – 2000. – Т. 22, № 1. – P. 97⁠–⁠109. – DOI: 10.1016/S0160-791X(99)00037-8.
  7. Swami D., Shah A.D., Ray S.K.B. Predicting Future Sales of Retail Products using Machine Learning. Препринт arXiv:2008.07779 [Электронный ресурс]. – 2020. – URL: https://arxiv.org/abs/2008.07779 (дата обращения: 09.10.2026).