🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
DuckDB получит асинхронный ввод-вывод для Parquet и CSV
С версии 2.0 осенью 2026 года DuckDB научится читать Parquet и CSV асинхронно. Раньше поток простаивал, ожидая ответа от удалённого хранилища вроде S3.
Это важно, если ты держишь данные в облаке, а считаешь их на отдельной машине. Синхронное чтение не выбирает всю доступную полосу, и потоки ждут вместо работы.
Внутри два пула: обычные воркеры и ASYNC-потоки, которых вчетверо больше, максимум 256. Подвох в упреждающем чтении: при быстрой сети и медленном декодировании память забивается префетчем.
🔗 Подробнее
@nuancesprog #Data