Zen of Python - дзен

В документации Python появилась таблица цены каждой операции со встроенными типами Сколько стоит l.insert(), почему l.pop() дешёвый, а l.pop(0) нет и чем x in set отличается от x in list — раньше за этим ходили в вики или в исходники CPython. Теперь в документации 3.16 есть отдельная страница: сложность операций для list, tuple, dict, set, str, memoryview и range в нотации O-большое, с оговорками о том, где поведение зависит от реализации CPython. Такое сохраняют: половина вопросов «почему тормозит» на ревью и собеседованиях закрывается этой таблицей. Страница в документации @zen_of_python

Ruff замечает синхронный HTTP-запрос внутри async-функции Линтер Ruff получил проверку синхронных HTTP-запросов внутри асинхронных функций. Она показывает место, где один обычный вызов может остановить событийный цикл всего сервиса. Новое правило ASYNC210 вошло в версию 0.16.5. Такая ошибка легко прячется в коде: функция объявлена через async, однако блокирующий запрос задерживает выполнение остальных задач. Из-за этого асинхронный сервис незаметно теряет ожидаемое поведение под нагрузкой. В preview появились селекторы категорий правил. С ними можно включать целые группы проверок вместо перечисления отдельных кодов. Релиз также уточняет две существующие проверки. DTZ007 перестал ругаться на безопасные цепочки strptime с таймзоной. Отдельно SIM401 теперь учитывает побочные эффекты в аргументах по умолчанию у lambda. @zen_of_python

uv экономит место в кэше и проверяет архив до распаковки Менеджер пакетов uv получил две правки для кэша. Одна сокращает число одинаковых распакованных файлов, другая останавливает архив с неверным хешем до записи его содержимого. Изменения вошли в версию 0.12.7. Новая preview-функция content-addressed-cache дедуплицирует распакованные wheel по содержимому. Одинаковые файлы теперь могут храниться в одной копии вместо десятка повторов в кэше. Проверка архивов с исходниками тоже сдвинулась раньше. Если хеш не совпадает с ожидаемым, uv отклоняет архив до попадания распакованных файлов в кэш. В прежнем порядке повреждённый или подменённый архив успевал там осесть. Ещё релиз добавляет разрешение зависимостей для платформ s390x, ppc64le и loongarch64. К 30 августа релиз отметили реакциями 22 человека. @zen_of_python

Django опросил 3500 разработчиков: ядро скучное, всё вокруг него бурлит 28 августа Django Software Foundation и PyCharm опубликовали ежегодный The State of Django: почти 3500 ответов из более чем 40 стран, от студентов до людей с десятилетиями стажа. Ядро держится на месте, и авторы называют это комплиментом: зрелое, но не застывшее. PostgreSQL держит 76–79% пятый год подряд, штатный шаблонизатор — около 80%, а 43% опрошенных уже перешли на Django 6.0 через несколько месяцев после выхода. Меняется обвязка. Совсем без ИИ-инструментов работают 10% опрошенных; из тех, кто ими пользуется, 58% делают это ежедневно и ещё 27% несколько раз в неделю. 🔘 лидера среди инструментов нет: Claude Code — 35%, ChatGPT — 33%, GitHub Copilot — 23%, а интерфейсы делятся почти поровну между браузером, IDE и командной строкой; 🔘 56% пользователей ИИ применяют его только для советов в чате; 🔘 работа с агентами остаётся поднадзорной: 59% просят сгенерировать код и вносят правки сами, 44% разрешают править файлы и запускать команды по прямому указанию, и только 27% дают довести до конца многошаговую задачу; 🔘 официальная документация Django остаётся главным источником обучения с 67%, но ИИ-инструменты уже вторые с 51% — впереди YouTube, чтения исходников и Stack Overflow. @zen_of_python

В стандартной библиотеке 3.15 появился профилировщик, который цепляется к работающему процессу по PID Профиль с прода снять обычно нечем: profiling.tracing инструментирует каждый вызов функции и заметно тормозит программу, а перезапускать сервис ради замера никто не даст. Из-за этого «тормозит в бою, на стенде не воспроизводится» годами оставалось без ответа. В Python 3.15 добавили profiling.sampling, он же Tachyon: семплирующий профилировщик, который периодически снимает стеки уже запущенного процесса. Код менять не нужно, перезапускать не нужно, накладные расходы околонулевые. Частота семплирования — до 1 000 000 Гц, на момент добавления это самый быстрый семплирующий профилировщик для Python. 🔘 куда целиться: attach по PID к живому процессу, run — скрипт с самого старта, run -m — модуль, dump — одноразовый снимок стеков всех потоков, чтобы понять, на чём висит зависший процесс (с --async-aware — по всем задачам asyncio); 🔘 что мерить: --mode wall по умолчанию считает календарное время вместе с ожиданием ввода-вывода, --mode cpu — только счёт, --mode gil показывает, какой поток держит GIL, --mode exception берёт пробы только с потоков с активным исключением; 🔘 форматы вывода: --pstats, --collapsed для FlameGraph и speedscope, --flamegraph — самодостаточный HTML на D3.js, --gecko для Firefox Profiler, --heatmap — построчная тепловая карта по файлам; 🔘 есть живой TUI в духе top через --live и профилирование до уровня байткода через --opcodes. Авторы — Пабло Галиндо и Ласло Кишш Коллар. Раздел в What's New описывает все режимы; финал 3.15 ожидается в октябре, сейчас доступен rc1. @zen_of_python

Отключение GIL ускоряет не всё и берёт плату памятью. Хосе Даниэль Монтойя Саласар сравнил сборки Python 3.14.2 с GIL и без него на четырёх классах нагрузок, меряя время, загрузку ядер, память и потраченную энергию. На распараллеливаемых задачах с независимыми данными свободнопоточная сборка сокращает время до 4 раз, и энергия падает примерно во столько же. На последовательных выигрыша нет вовсе, а энергии тратится на 13–43 процента больше. Там, где потоки часто читают и меняют одни и те же объекты, ускорение меньше или уходит в минус из-за конкуренции за блокировки. Энергия во всех замерах пропорциональна времени: снятие GIL почти не меняет мощность, даже когда загрузка ядер вырастает в десять раз. Память растёт почти везде, виртуальная заметнее физической. Причины — блокировка на каждый объект, дополнительные механизмы потокобезопасности в рантайме и новый аллокатор. @zen_of_python

Актуальный openai — 3.5.0 — не тянет за собой httpx. В зависимостях SDK стоит httpx2: отдельный пакет, в который команда Pydantic перенесла сопровождение httpx, потому что оригинал последнее время почти не развивался, а сам он, по формулировке Pydantic, «лежит в критическом пути слишком многих продакшен-систем». Если клиент создаётся без своего http_client, вызовы, разбор ответов, стриминг, ретраи и числовые таймауты работают как раньше. Смотреть стоит в три места. 🔘 import httpx в вашем коде упадёт, если пакет приезжал только вместе с SDK и никто больше его не ставит. Лечится строчкой httpx в зависимостях или переносом импортов на httpx2. 🔘 Собственный http_client собирается из нового пакета — DefaultHttpx2Client, httpx2.Timeout, httpx2.HTTPTransport. 🔘 Проверка TLS-сертификатов переехала с certifi на системное хранилище доверенных корней, и сам certifi SDK тоже больше не ставит. Третий пункт бьёт по проду: минимальный образ без системных CA-сертификатов, корпоративный прокси, чей корень лежал только в certifi, свой доработанный бандл — во всех этих случаях верификация может начать падать. Поднимается либо установкой CA в системное хранилище, либо явным бандлом через SSL_CERT_FILE или каталогом в SSL_CERT_DIR (обе переменные читаются при trust_env=True, это значение по умолчанию), либо своим ssl.SSLContext в параметре verify. Инструкция по миграции лежит в репозитории SDK — там же про изменения в исключениях транспорта, event hooks и моках через RESPX.

Polars 1.44.0 вышел 24 августа, и основная работа в нём пришлась на SQL-слой и на Iceberg. 🔘 Общие табличные выражения теперь кэшируются, а cross join, который раньше появлялся при декорреляции подзапросов в предикатах равенства, устраняется. Неквалифицированные предикаты соединения опускаются до inner join. 🔘 В SQL добавили коррелированные подзапросы с IN и квантифицированные сравнения с подзапросом. 🔘 Нативный scan_iceberg понимает эволюцию схемы, deletion vectors третьей версии и свойства снапшотов, а пути к объектному хранилищу принимает напрямую. 🔘 join_where поддерживает больше типов соединения, появились скалярные произведения для массивов фиксированного размера и метод struct.drop(). 🔘 При разрешении схемы в __arrow_c_stream__ Polars освобождает GIL. Отдельно починили порчу данных во вложенных LargeList при работе через Arrow. 🔘 Параметр rechunk у функций чтения и сканирования вместе с Expr.rechunk() объявлены устаревшими. Чисел по скорости в релизе нет, так что заявлять конкретное ускорение не станем. @zen_of_python

EVE Online переезжает с Python 2.7 на Python 3. Прошлый раз версию интерпретатора в игре меняли в 2010 году. CCP рассказала 25 августа, из чего эта работа состоит. Кодовая база — 2,4 млн строк Python примерно в 20 тысячах файлов, поверх 23 лет данных живых игроков: персонажи, навыки, имущество, ISK. Часть кода написана по правилам Python 2.3 и 2.5, которые тройка уже не принимает. Первый этап — сделать код совместимым сразу с обеими версиями, продолжая запускаться на 2.7; помогают python-future и 2to3. При компиляции обоими интерпретаторами 95,9% файлов собрались сразу. Осталось около 3300 строк с явными несовместимостями: примерно 1500 старых print, 800 литералов вида 123L, 600 старых форм except и 50 операторов . Опаснее другое: нашлось около 20 тысяч строк, синтаксически корректных в обеих версиях, но работающих по-разному. Классика — 1 / 2, которое даёт 0 в Python 2 и 0.5 в Python 3. Отдельное ограничение — сервер Tranquility должен оставаться доступным 23,75 часа из каждых 24. @zen_of_python