Три месяца я ударно слежу за развитием самой перспективной нейросети последних лет – Stable Diffusion. За короткое время самая свободная и почти никем не регулируемая соцсеть достигла таких высот, что стала самой обсуждаемой и затмила в трендах даже легендарные DALL-E и Midjourney.
С недавних пор она появилась в «облачном» виде внутри многочисленных приложений для обработки фото. Также она уже давно доступна онлайн, с ограничениями и нередко платными функциями. Но это ерунда.
Stable Diffusion всегда задумывалась как бесплатная и локальная нейросеть без ограничений. И с недавних пор её можно полноценно установить и запускать прямо на iPhone и iPad.
SD будет работать полностью оффлайн, без интернета, без отправки данных на чужие сервера. Для создания картинок она задействует только процессор смартфона или планшета Apple. Уже сейчас поддерживается почти десяток моделей .ckpt (так называемых «чекопоинтов») – в том числе стилизация под 3D-рендеры и даже аниме-картинки.
Повторяю: это та самая Stable Diffusion, теперь бесплатно в App Store.
Коротко про Stable Diffusion
Кто не в теме, Stable Diffusion – это сложнейшая нейросеть с открытым кодом, которая способа на почти любые… скажем так, нейрозадачи. В перспективе её можно будет использовать для огромного количества творческих целей. Сейчас лучше всего у неё получается создавать изображения на основе текстового запроса и изменять их содержимое, исходя из контекста других изображений.
Почти все необычные картинки со знаменитостями и персонажами видеоигр, которые вы видели в последние месяцы, были созданы в Stable Diffusion. Эта нейросеть доступна любому желающему на открытых началах и невероятно популярна.
В начале осени я писал здесь про первые способы запуска Stable Diffusion на компьютерах Mac. Сейчас они во многом устарели, а технологии и возможности шагнули очень далеко вперёд. И если раньше установка SD на iPhone и iPad казалась невозможной, то сейчас это займёт у вас максимум одну минуту.
Как установить Stable Diffusion на iPhone и iPad бесплатно
1. Скачайте приложение Draw Things в App Store (бесплатно)
2. Откройте и дождитесь загрузки нейромодели.
3. Готово. Пишите запрос на английском в текстовое поле вверху и экспериментируйте с настройками генерации.
В программе нет рекламы или платных функций, как нет и планов по их добавлению. Можно полностью отключить интернет, это никак не скажется на работоспособности – все вычисления от начала и до конца производятся на вашем устройстве. То есть это настоящая нейросеть на вашем iPhone или iPad, а не просто «оболочка» для веб-генератора.
У Draw Things нет технических требований как таковых, но по факту есть несколько существенных ограничений.
Во-первых, на устройствах с оперативной памятью 2 ГБ и менее программа будет работать медленно и иногда вылетать. Есть вылеты на iPhone XR и на iPhone SE второго поколения (2020). Если вам это не подходит, придётся смириться. Напомню, что ещё недавно для запуска Stable Diffusion было необходимо минимум 16 ГБ оперативной памяти. То, что нейросеть умудряется шевелиться на 4 и менее ГБ – и без того огромное достижение тысячи энтузиастов, развивающих SD.
Список поддерживаемых устройств, согласно данным от разработчика: iPhone 11, 11 Pro, 11 Pro Max, 12, 12 Mini, 12 Pro, 12 Pro Max, SE 3rd Gen, 13, 13 Mini, 13 Pro, 13 Pro Max, 14, 14 Plus, 14 Pro, 14 Pro Max и любые iPad с оперативной памятью 4 ГБ и более.
И во-вторых, изображения размером 512х512 пикселей и больше будут создаваться долго (2 минуты и более) на любых устройствах Apple, кроме iPad Air M1 и iPad Pro M1/M2. Тут ничего не поделать, всё упирается в малый размер оперативной памяти. Здесь топовые iPad Pro, имеющие 16 ГБ оперативной памяти, сильно вырываются вперёд по скорости.
Наконец, программа пока что не поддерживает пакетную генерацию изображений. Это серьёзный минус. Но пока что более продвинутого оффлайн-приложения для девайсов Apple никто не сделал, уж тем более бесплатного.
Рекомендую каждому как минимум установить и попробовать Draw Things на своих iPad и iPhone. Ещё никогда нейронка Stable Diffusion в своём правильном, приватном и локальном, виде не была доступна так легко и быстро.
P.S. Для Android аналогов не существует, только онлайн-генераторы.
18 комментариев
Форум →https://diffusionbee.com Для Мака с GUI
@Huawei, забавно что на Intel-мак без NVidia картинка генерируется дольше, чем на iphone. Нейропроцессоры в iphone решают.
@Clifford Price, эти проекты не используют NPU. Просто GPU в свежих айфонах мощнее интеловских встроек
@Huawei, жалко, что оно не генерит больше 768х512 и нет встроенного апскейлера. Но шевелится достаточно бодро, нативно поддерживая Radeon GPU. Есть ещё InvokeAi, но он под М1 и М2.
@XAPOH, вы что-то (СИЛЬНО) перепутали. 7хх * 7хх оно генерирует, апскейлер встроенный есть, использует NPU и доступно только на Мх чипах…
Upd: удивлён, в последнем релизе и интелы добавили, остальные претензии актуальны
Не нужон нам интернет ваш :)
Спасибо за статью. Как раз во время!
Правило 34 рисует?
Так проверьте, я не пробовал.
@2132196668, за three hundred bucks!!!
@2132196668, да
А можно ссылку на какой-нибудь модный онлайн-генератор?
Можно объединить два фото разных лиц в одно?
Надо бы добавить в статье, что как минимум 2Гб модели на диске ещё сожрут.
Использовал эту нейросеть и до midjourney ей ооой как далеко.
телефон в ребут улетел от вашей проги )
Список моделей – не ограничивается моделями из программы, стандартные модели можно и из вне подгружать. А на многих моделях на CivitAi прям кнопка есть, по нажатию которой drawthing начнет их скачивать
Статья была написана, когда эта программа только вышла. На тот момент там не было поддержки сторонних моделей. И вообще много чего не было. Теперь-то другое дело.
Нашли орфографическую ошибку в новости?
Выделите ее мышью и нажмите Ctrl+Enter.Что случится с подпиской iCloud при переходе на Apple One
В App Store сняли больше денег, чем стоит приложение. Что делать?
Не удаляются приложения на iOS, что делать?
Какой блок питания подойдет для быстрой зарядки MacBook Pro
Почему iPhone часто спрашивает пароль от Apple ID
Что делать, если купил утопленный iPhone
Как в iOS 12 включить ограничение на встроенные покупки?
Как автоматически загружать купленные приложения на Apple TV