А какие альтернативы? Андройд устройство где сейчас хорошо или почти идеально? Вот сейчас кто-то из-за (подчеркнуть нужное: отсутствие приложений, отсутствие nfc, 60гц в базовых моделях, неудобные настройки, кривой ИИ) решает мигрировать к конкурентам. Где сейчас хорошо? На андройдах родителей поиск по настройкам/задачам тоже мягко говоря не интуитивен.
Или просто принимаем для простоты: 1 GPU ядро apple это 128 Cuda ядер. Множим на число GPU ядер из той же таблички llama.cpp и получаем актуальное число CUDA для сравнения с NVIDIA.
А можете сделать гипотезы о количестве CUDA ядер во всех современных mac? По аналогии с прекрасной табличкой: https://github.com/ggerganov/llama.cpp/discussions/4167
Выбираю как раз для инференса. На СДЭКе можно купить например mini M4 Pro (20gpu) на 64гига, или студио M2 Max (30gpu) на 32гига. Конечно в 64гб лезет всего интересного больше, но мне надо рилтайм, а от 2t/s от моделей которые типа поинтереснее тоже толку не так и много. А если из-за слабой производительности их все равно не запустить, то взять 30gpu который модель поменьше раскачает на 40-50t/s. В идеале бы наверное и 30 gpu и 60-196ram но это уже за гранью разумного стоит(( и 220-250к то жалко
Запустите пожалуйста 9b, 27b gemma2. Если можно на ollama)). Производительность t/s. В 48gb должна уже нормально влезать. У меня на m1 pro 16gb лезет только 9b дает что-то около 22-25t/s
задача – ассистент помощник в рознице. видеокарта понятно что лучше. Но мак можно сунуть в любой шкаф/терминал и ему не надо 40 вентиляторов, кондиционированное помещение, шумность и вот это все. Облачная история компактна, но задержки на работу сети. Простенькая голосовая отвечалка чатгпт APi у меня на андройде через 7-10 секунд ответ давала, что не подходит для рилтайма от слова вообще. А на макбуке вот интересно. А пробовали стартовать на М2 макс ту же гемму27б? у меня в макбук м1 16гб она не лезет, и тормозит при работе. квен7, гемма9 – работают отлично около 25t/s жить можно. квен14 уже не очень быстр 13t/s. Если возможно запустите на M2 в олламе – гемму9,27, квен 7,14 – напишите сколько t/s. Надо связаться с вами))
Размышляю о покупке под небольшую inference endpoint для LLMок. Можно взять 24GB а лучше 64GB памяти и запихивать в него довольно жирные LLMы. Да, производительность не будет как у CUDA, но в тех задачах куда я его присматриваю там сильно и не нужно много. А вот крутить несколько LLM, занимать минимум места и охлаждения – вполне торт.
Сертификат от ленивого магазина продержался где-то с неделю(. Сдох и магазин написал что этот сертификат забанен apple (типа за пиратство) и на это устройство покупка сертификата более невозможна. Предложили 50% скидки на покупку сертификата на другое устройство. Других у меня нет так что весьма печальный опыт.
Последние комментарии пользователя 221
12 июня в 17:01
расшифровка по сравнению с whisper/Х увы очень посредственная.
В статье: 10 полезных фишек Dropbox. Старичок предлагает много, чего нет у других28 мая в 12:11
для квеста бы еще сделали ее. Снова прошел бы).
В статье: Популярная игра про выживание в океане Subnautica выйдет на iPhone в июле26 мая в 11:26
А бывают качественные компактные зарядки? В идеале чтобы в шайбу вставлялся type-c и они не перегревались?
В статье: Не покупайте дешёвые зарядки для Apple Watch! Это редкий случай, когда экономить опасно17 апреля в 9:53
А можно получить по api извне данные?
В статье: Наконец-то в России. Обзор умного датчика присутствия Aqara FP2, который видит людей без камеры21 марта в 9:09
интересно можно завести с его помощью quest3 pcvr игры типа той же HL Alyx?
В статье: Протестировал новейшую программу CrossOver 25 для запуска Windows-игр на Mac. Как работает Red Dead Redemption 2 на M1 и M410 февраля в 16:44
А какие альтернативы? Андройд устройство где сейчас хорошо или почти идеально? Вот сейчас кто-то из-за (подчеркнуть нужное: отсутствие приложений, отсутствие nfc, 60гц в базовых моделях, неудобные настройки, кривой ИИ) решает мигрировать к конкурентам. Где сейчас хорошо? На андройдах родителей поиск по настройкам/задачам тоже мягко говоря не интуитивен.
В статье: Эта важнейшая функция в iPhone сломана уже два года. Стив Джобс бы уволил всех8 января в 14:16
Или просто принимаем для простоты: 1 GPU ядро apple это 128 Cuda ядер. Множим на число GPU ядер из той же таблички llama.cpp и получаем актуальное число CUDA для сравнения с NVIDIA.
В статье: Чем отличаются процессоры Apple и NVIDIA друг от друга. Почему в графике Mac M4 всего 10 ядер, а в RTX 5090 десятки тысяч8 января в 13:40
А можете сделать гипотезы о количестве CUDA ядер во всех современных mac? По аналогии с прекрасной табличкой: https://github.com/ggerganov/llama.cpp/discussions/4167
В статье: Чем отличаются процессоры Apple и NVIDIA друг от друга. Почему в графике Mac M4 всего 10 ядер, а в RTX 5090 десятки тысяч10 ноября 2024
Выбираю как раз для инференса. На СДЭКе можно купить например mini M4 Pro (20gpu) на 64гига, или студио M2 Max (30gpu) на 32гига. Конечно в 64гб лезет всего интересного больше, но мне надо рилтайм, а от 2t/s от моделей которые типа поинтереснее тоже толку не так и много. А если из-за слабой производительности их все равно не запустить, то взять 30gpu который модель поменьше раскачает на 40-50t/s. В идеале бы наверное и 30 gpu и 60-196ram но это уже за гранью разумного стоит(( и 220-250к то жалко
В статье: Распаковали MacBook Pro c процессором M4 Pro и нанотекстурой. Первые впечатления и тест яркости экрана10 ноября 2024
Запустите пожалуйста 9b, 27b gemma2. Если можно на ollama)). Производительность t/s. В 48gb должна уже нормально влезать. У меня на m1 pro 16gb лезет только 9b дает что-то около 22-25t/s
В статье: Распаковали MacBook Pro c процессором M4 Pro и нанотекстурой. Первые впечатления и тест яркости экрана9 ноября 2024
задача – ассистент помощник в рознице. видеокарта понятно что лучше. Но мак можно сунуть в любой шкаф/терминал и ему не надо 40 вентиляторов, кондиционированное помещение, шумность и вот это все. Облачная история компактна, но задержки на работу сети. Простенькая голосовая отвечалка чатгпт APi у меня на андройде через 7-10 секунд ответ давала, что не подходит для рилтайма от слова вообще. А на макбуке вот интересно. А пробовали стартовать на М2 макс ту же гемму27б? у меня в макбук м1 16гб она не лезет, и тормозит при работе. квен7, гемма9 – работают отлично около 25t/s жить можно. квен14 уже не очень быстр 13t/s. Если возможно запустите на M2 в олламе – гемму9,27, квен 7,14 – напишите сколько t/s. Надо связаться с вами))
В статье: Вышли обзоры Mac mini с процессором M4. Все хвалят новый миниатюрный дизайн, но жалуются на кнопку7 ноября 2024
Размышляю о покупке под небольшую inference endpoint для LLMок. Можно взять 24GB а лучше 64GB памяти и запихивать в него довольно жирные LLMы. Да, производительность не будет как у CUDA, но в тех задачах куда я его присматриваю там сильно и не нужно много. А вот крутить несколько LLM, занимать минимум места и охлаждения – вполне торт.
В статье: Вышли обзоры Mac mini с процессором M4. Все хвалят новый миниатюрный дизайн, но жалуются на кнопку23 сентября 2024
Коллеги, а VoWiFi так и не заводится на не РСТ айфонах?
В статье: Режим модема в iOS 18 сломался. Вот как его вернуть на своем айфоне23 августа 2024
Сертификат от ленивого магазина продержался где-то с неделю(. Сдох и магазин написал что этот сертификат забанен apple (типа за пиратство) и на это устройство покупка сертификата более невозможна. Предложили 50% скидки на покупку сертификата на другое устройство. Других у меня нет так что весьма печальный опыт.
В статье: Как установить Fortnite на iPhone и iPad в России. Не нужны иностранные IP, Apple ID или eSIM6 августа 2024
@Leadman, а что за новости про аркаду без новинок? вроде все появляется
В статье: Apple ограничила Apple Music в России впервые за 2 года. Всех россиян лишили этой вкладки в сервисеms (at) iphones.ru