Разведите типы Scala, nullable-поля схемы Spark и Option
Попробуйте прямо здесь
Отвечает Gemma 3 12B — модель подобрал сервис
Доступ без VPN
Русский интерфейс
Оплата рублями по факту
Зачем
Зачем это нужно
Сравните число строк с числом непустых значений в агрегате
Подготовьте маленький набор для проверки NULL до запуска большого задания
Вопросы
Частые вопросы
Как запросить разбор NULL в Spark на Scala?
Разбери Spark SQL из Scala: таблица t с nullable INT value содержит строки 1, NULL, 3. Объясни SELECT COUNT(*), COUNT(value), SUM(value) FROM t и почему WHERE value = NULL не отбирает пропуски. Покажи эквивалент через DataFrame API с импортами, ожидаемые значения и локальную проверку для пустой таблицы. Не запускай Spark.
Что указать о Scala и Spark перед вопросом?
Передайте версии Scala и Spark, схему DataFrame, короткое выражение и несколько обезличенных строк. Удалите секреты из конфигурации кластера. Сначала согласуйте ожидаемую таблицу результата, затем попросите выражение на выбранном API.
Какие агрегаты ожидаются для 1, NULL и 3?
В локальном Spark-примере COUNT(*) должен дать 3, COUNT(value) — 2, SUM(value) — 4. Для пустого набора проверьте оба счётчика 0 и NULL у суммы. Обязательно задайте схему, чтобы пустой набор сохранил нужный тип.
Можно ли перенести сравнение с null из Scala прямо в SQL?
У SQL своя трёхзначная логика. Проверка равенства NULL не заменяет IS NULL и влияет на WHERE и JOIN. Порядок строк без явной сортировки также нельзя использовать как критерий корректности Spark-результата.
Рядом
Соседние страницы каталога
Дальше — весь каталог задач: поиск по названию, темы и фильтры.