Prefire iOSdevelopmentiOS

Кажется, мой кот начал жить своей жизнью. Сначала друзья просто закинули Mewmori в несколько больших Telegram-пабликов. Я тогда сидел и смотрел, как внезапно растут скачивания, DAU и онбординг. Потом про кота отдельно написал AppleInsider (кстати классный обзор вышел). А теперь он добрался до RationalAnswer, где Mewmori уже обсуждают как «нейрокотана». И вот это, если честно, для меня сейчас самое странное ощущение от проекта. Когда ты долго что-то делаешь сам, ты очень хорошо знаешь все кривые места: • Где костыль. • Где окно иногда не открывается. • Где OCR можно сделать лучше. • Где кот говорит какую-то ерунду. А потом люди снаружи начинают воспринимать это уже просто как готовую штуку. Не как очередной эксперимент с локальной LLM. А как: «о, прикольный кот для Mac» или «нейрокотан». И, кажется, именно в этот момент проект впервые становится не только твоим. Он начинает жить у других людей 😊

Нахождение текста котом Mewmori в уникальных приложениях Что бы кот видел, я снимаю скриншот активного приложения. После перегоняю скриншот в текст через VIsion. И вот после этого идет довольно много работы, перед тем как ИИ мозг кота получит текст и понимание. Сейчас кот перед тем как передать контекст в ИИ, немного его причесывает. Что получаем после обычного Vision OCR (определение текста по скриншоту): Telegram Антон был недавно Маша А ты сегодня будешь? Да, ближе к вечеру Работа Prefire 12:43 12:45 По сути просто набор строк с координатами. Для маленькой модели это выглядит очень сложно и она не может связать хоть что-то по смыслу. Для этого нужен процессинг. Сам процессинг максимально простой, весь текст делится линиями, который вычисляются на основе x/y координат текста. И эти линии говорят нам о том, где примерно заголовок и тд. А Вот что в итоге передаем в модель: Приложение: Telegram Чат: Антон Статус: был недавно Сообщения: Антон: А ты сегодня будешь? Я: Да, ближе к вечеру Причём для разных приложений это работает по-разному. Есть общие вещи. Например, заголовок почти всегда стоит искать сверху. А есть специфичные. Например, для Telegram я ищу самый большой разрыв по X между распознанными строками. Так можно довольно неплохо понять, где заканчивается список чатов и начинается сам чат. И после процессинга кот уже начинает забавно шутить. Он может не просто сказать что-то про текущий диалог, а запомнить, что я уже общался с этим человеком. А через какое-то время спросить что-нибудь типа: «Вы давно дружите?» 😼 Пока всё это набор эвристик под конкретные приложения. Но мне прям нравится, насколько сильно такая простая предобработка меняет ощущение от маленькой локальной 2B модели.

Начал готовить к релизу ScreenCat - 🐈 Mewmori - Переименовал проект в Mewmori (типо memory - память, но измененное под мяу) - Cделал большой редизайн и кучу внутренних оптимизаций, что бы кот не кушал всю батарею и ресурсы на mac. Потестил даже на Mac M1 - работает отлично. - Сейчас активно готовлю контент для соц. сетей. И даже некоторый уже выложил. В целом, проект именно по добавлению фич - заморозил. Он уже очень сильно разросся и вышел за пределы котика (ассистент, игры и тд). Это мне позволило переключиться именно на продвижение) А сверху видео для рилса, которое я сделал полностью кодом: 1. Написал промо сценарий 2. Cделал фейковый рабочий стол 3. На питоне сделал запись экрана и подстановку музыки Теперь клипаю ролики спокойно, написав один простой json с сценарием этого ролика 😊   "name": "intro-ru",   "settle": 1.0,   "tail": 1.0,   "steps": [     { "action": "move", "x": 0.47, "y": 0.20, "style": "teleport" },     { "action": "look", "skin": "classic_cat" },     { "action": "mood", "value": "sleeping" },     { "action": "wait", "seconds": 1.6 },     { "action": "mood", "value": "interacting", "direction": "right" },     { "action": "effect", "value": "surprise" },     { "action": "say", "text": "Ой. Ты меня видишь?", "hold": 2.0 },     { "action": "say", "text": "Я Mewmori. Живу у тебя на рабочем столе.", "hold": 3.2 },   ]