Большой CSV в pandas

«Учебные чанки: магазин A имеет 100 и 200 копеек в разных частях, B — 50, ещё у A пустая сумма. Ожидаю A=300 с одним пропуском, B=50». Попросите прогнать логику при размере чанка один и два. Итог должен совпасть: граница чтения не должна менять бизнес-результат, даже когда записи одной группы лежат в разных частях файла.

Не в общем случае: части могут содержать разное число значений. Для среднего обычно накапливают сумму и количество допустимых наблюдений, затем делят общий итог. Аналогично уникальные значения и медиана требуют отдельного подхода. Попросите объяснить объединяемость именно вашей операции. Нельзя считать, что любая функция groupby сохраняет правильный результат при произвольном разбиении исходной таблицы на части.

Задайте разделитель, кодировку, обработку кавычек, типы и правило для повреждённых записей. Артикул с ведущими нулями сохраняйте строкой. Пропуск строки из-за ошибки должен попадать в отчёт, а не исчезать после общей настройки игнорирования. Сравните количество исходных логических записей с обработанными и отклонёнными; затем вручную проверьте несколько групп и пограничные значения числового типа.

Когда промежуточный результат сам становится огромным, например при множестве уникальных ключей или сложном соединении больших файлов. Тогда стоит обсудить внешнюю сортировку, базу или другой движок выполнения. Для выбора нужны размер результата и характер операций, а не только вес CSV. Чат не обрабатывает ваши 18 ГБ автоматически: он подготавливает скрипт, который вы запускаете локально на копии.