Находит пик по этапам, а не только итоговый размер процесса
Зачем
Зачем это нужно
Убирает промежуточные списки и копии, сохраняя потоковую обработку
Проверяет освобождение ссылок на завершённые элементы большого файла
Вопросы
Частые вопросы
Почему del не уменьшил память процесса?
Другие ссылки могут удерживать объект, сборщик ещё не прошёл или аллокатор оставил освобождённый блок для будущих объектов Python. Смотрите число живых объектов и пик на следующем цикле. Модель найдёт владельцев и перестроит время жизни, а не будет вставлять del после каждой строки.
Генератор всегда использует мало памяти?
Только если потребитель обрабатывает элементы по одному. Вызов list вокруг генератора, сортировка всего результата или кэширование снова собирают данные целиком. Модель проследит цепочку до конечной операции и предложит внешнюю сортировку, накопительную агрегацию либо порционную запись там, где поток обрывается.
Что лучше измерять?
Пиковую память процесса и распределение выделений по строкам или типам на одинаковом входе. Один снимок в конце пропускает временный пик, который и убивает контейнер. Модель составит короткий воспроизводимый прогон и сравнит объём входа с ростом, чтобы увидеть линейную или квадратичную зависимость.
Рядом
Соседние страницы каталога
Дальше — весь каталог задач: поиск по названию, темы и фильтры.