Tiempos Generativos - Real Thai n

Алгоритмы научились определять подделку (или реставрацию) произведений искусств, и без всяких там NFT 🖼 В 2017 году портрет Иисуса, известный как Salvator Mundi был продан на аукционе Christie’s в Нью-Йорке за 450,3 миллиона долларов. После чего скептики усомнились в подлинности картины, точнее – была ли эта картина действительно написана Леонардо да Винчи, потому что ~50 лет назад некий житель Луизианы купил эту картину в Лондоне всего за 45 фунтов. Если обычная экспертиза может, например, определить возраст, выявить детали под краской, то она уж точно не справится с определением автора картины. Но вот нейронка с этим может справиться — проанализировать стиль, технику, на основании чего уже можно попробовать сделать выводы. Тут есть много сложностей, но ват парочка: во-первых это огромный размер исходного изображения – изображение картины в высоком разрешении слишком велико, чтобы её проанализировать неронкой сразу (Даже этих ваших RTX 3k не хватит), а слишком мелкие картинки недостаточно информативны. Во-вторых — датасет. Нет столько авторских картин, чтобы нейронка на них хоть как-то научилась (например, достоверно подтверждено только 20 картин Леонардо). Проблема конечно серьезная но не является какой-то особенной в мире машинного обучения, в итоге исследователи решили воспользоваться медицинским опытом – различные изображения в большом разрешении мед-ученые разбивают на мелкие фрагменты (квадратные картинки), после чего скармливают из нейронке для, например, диагностики рака. Это в частности помогает решить проблему размера датасета: чем больше таких плиток, тем больше датасет и тем качественнее обучение нейронки (по модному – происходит аугментация датасета). Дальше возникает вопрос какие именно эти плитки использовать: в Salvator Mundi есть области как богатые деталями, так и просто фоновые, которые никакого визуального интереса не представляют. Возможно Леонардо писал фон быстро, и поэтому эти фрагменты отличались бы от мест картины где много деталей, возникла бы проблема датасета, поэтому исследователи придумали критерий, который определяет визуально значимые плитки – энтропию фрагмента (люблю когда не стесняются в названиях). Она несет в себе информацию об уровне сложности (разнообразии информации) того или иного кусочка. Например полностью белая или полностью черная область имеет нулевую энтропию. В итоге на картине выбрали фрагменты, охватывающие лицо Иисуса, локоны волос и благославляющую руку — прямо те самые атрибуты, которые наиболее ярко оспариваются скептиками. Исследование поставило под сомнение авторство Леонардо в отношении фона и благославляющей руки, что согласуется с информацией о реставрации картины, которая включала полную перекраску фона. А еще эксперты расходятся во мнении кто же написал руку: при реставрации в 2004 году нашли следы исправления положения большого пальца руки Христа, выполненного первоначальным художником. Полную статью можно почитать здесь, интересно описан сам метод тренировки нейронки. По ссылке также есть примеры тестов алгоритма на Рембрандте и Ван Гоге (там все четко с авторством).