Data, Stories and Languages - ML и языки

Насколько мы далеки от runaway AI? Я прочитал постмортем OpenAI про инцидент с Hugging Face - было интересно, советую изучить. В ходе чтения у меня возник вопрос: а насколько мы близки к runaway AI - модели, которую никто не запускал и никто не контролирует? Я написал короткий блогпост про это. Мне кажется, что сейчас есть три реальных ограничения, которые мешают runaway AI: - Интент (goal/objective). Либо агенту дали задачу, и он решил, что скопировать себя - это способ её выполнить. Либо человек прямо попросил его размножиться: кто-то ради фана, кто-то ради хаоса, кто-то чтобы кому-то навредить. - Размер весов. Чтобы скопировать 1T модель нужно много железа - это сложно. 30-70B спокойно запускается на арендуемом железе, но capability сильно ниже. Возможно скоро мы дойдём до tipping point, когда маленькие модели будут достаточно capable и смогут сами себя копировать. - Деньги. За компьют надо чем-то платить. Vending-Bench 2 показывает, что модели умеют зарабатывать в контролируемых условиях, а ещё в 2023 в ARC-эвале GPT-4 наняла человека на TaskRabbit, чтобы тот решил за неё капчу. Что будет дальше - без понятия. Может, враждебный ИИ из фильмов, а может, наоборот. Отдельно мне интересна тема coherence на длинных горизонтах: чем дольше идёт сессия, тем сильнее переполняется контекст и тем хуже модель помнит, с чего начинала. В Vending-Bench из-за этого модели уходят в ступор и действуют по состояниям мира, которых уже нет. Мне кажется, что это вопрос времени. И история с Hugging Face показывает, что для этого даже не нужна одна супермощная модель: рой агентов справился вместе и уже развернул самовосстанавливающийся под. Блог Medium #ai #safety

Book Review: Build a DeepSeek Model (From Scratch) Мне прислали на ревью очередную книжку, на этот раз от Manning. Идея простая: взять ключевые находки DeepSeek и собрать каждую из них с нуля в уменьшенном виде, так чтобы всё запускалось на ноутбуке. Порядок такой: KV-кэш и его memory cost (плюс MQA и GQA как стандартные ответы), потом Multi-Head Latent Attention с decoupled RoPE и DeepSeek-MoE, потом multi-token prediction, FP8 и DualPipe, и в конце GRPO и дистилляция. Книга не для новичков: предполагается, что трансформеры вы уже понимаете. Авторы обычно демонстрируют подходы по шагам. Например, вот так демонстрируется RoPE: сначала добавляют целые числа (ломают эмбеддинги большими значениями), потом бинарные векторы (чинят магнитуду, но дают разрывы), потом синусоиды. И заодно показывают, что бинарное кодирование — это мультичастотный сигнал (младшие биты осциллируют быстро, старшие медленно), а синусоиды просто его непрерывная версия. Из минусов: эксперименты идут на TinyStories и на маленьком масштабе, так что разница в метриках маленькая. И архитектурная часть заканчивается на V3 и R1, а attention с тех пор ушёл в сторону sparse-стеков. Amazon Manning Code Мои обзоры: Personal blog Medium #bookreview

Talk: breaking into machine learning - мысли по итогам Я полторы недели назад писал, что делал доклад для пакинстанских студентов. Участникам выдали электронные сертификаты с подписью оргов и меня. И вот уже который день они пишут в Linkedin посты об этом (приятно) Что интересно - прям видно бимодальное распределение: почти все пишут буквально один абцаз в стиле "послушал доклад, было норм, всем спасибо". И только 2-4 написали длинные тексты о том, что конкретно им понравилось. Первые посты я лайкаю, для вторых делаю репост Так сказать, организовываю RLAF - Reinforcement Learning with Andrey Feedback 😁 #ai #career

Генерация картинок в 2019 Я сейчас что-то вспомнил соревнование 2019 года на Kaggle по генерации изображений собак. Нашёл там тредик, где люди выкладывали, что у них получилось Ссылка скрыта Выглядит жутковато. Прошло каких-то 7 лет, и теперь нередко сгенерированные изображения фиг отличишь от реальных. #ai