11 place 0
![[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать](https://times42.com/media/9/1/4/12460914_640x200.jpg "[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать")
Ошибка CUDA out of memory при обучении LLM обычно превращается в бесконечный цикл случайных правок: уменьшили batch size, урезали sequence length, снизили LoRA rank — и всё равно где-то снова падает. Особенно весело становится в RL-сценариях с GRPO, vLLM и генерацией нескольких ответов на один промпт. Поговорим о том, как перестать гадать и начать считать потребление GPU-памяти: от чтения самого текста ошибки до оценки вклада vLLM, активаций и параметров обучения. С формулами, реальными конфигами и объяснен
A newsletter a day!
You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.
LIKE us on Facebook so you won't miss the most important news of the day!
Habr
An East Bay apartment complex has been bought at a price that's well below its prior value. Read more ›
0
A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more ›
0
Вот именно такой вопрос был задан в первом же комментарии к статье "DI-контейнер на чистом JavaScript без TypeScript и reflect-metadata" уважаемого @alexander_kubarski. Я когда-то и сам на Хабре отвечал на этот вопрос ("Зачем нужно внедрение зависимостей в JS"), и уважаемый @Wroud тоже ("Dependency Injection в JavaScript: зачем он вам нужен"), но непонимание места и значения DI у JS-разработчиков всё равно присутствует. Попробую ответить на этот вопрос ещё раз:Внедрение зависимостей помогает... Read more ›
0 newcommer
На днях наш агент собрался дежурно отчитаться об успехе. Прежде чем нажать «готово», он сверился с собственной памятью — и нашёл там запись из прошлой сессии: эту идею он уже проверял на реальных данных, и она провалилась. Он остановил сам себя, до ложного отчёта. Это не рекламная зарисовка, это лог из жизни. Ниже — два таких лога подряд, и во втором память заставила нас выбросить фичу, которой мы гордились. Хватай... Read more ›
0 newcommer
The US Navy wants autonomous carrier drones capable of eight missions, 1,150-mile ranges, and operations alongside advanced manned aircraft. Read more ›
0 fresh
GPU memory is the most expensive resource in production AI, and it's also the one running out fastest. Long context windows and multi-turn conversations force AI models to repeatedly recompute information they've already processed, consuming GPU memory and compute that could otherwise serve additional users or generate new responses.Instead of treating GPU memory as the limiting resource, why not extend it with much cheaper storage technologies? Weka, for one, believes... Read more ›
0 newcommer
Saying “I have the power” into your remote will also launch the new He-Man movie. Read more ›
0 fresh
This story appeared in Today, Explained, a daily newsletter that helps you understand the most compelling news and stories of the day. Subscribe here. President Donald Trump seemed visibly irked when asked about his plans for Iran on Tuesday. “You don’t know anything,” he snapped at a reporter who said Iran showed no signs of de-escalating. You have […] Read more ›
0 fresh
The White House has circulated some details of the conflict-of-interest limits the president agreed to with Republican negotiators, but talks are still underway. Read more ›
0 fresh
Samsung's classic pre-order perk of doubled storage for free is gone for Austria, replaced by discounted upgrades on the Galaxy Z Fold 8 and Z Flip 8. Read more ›
0 fresh
Disposal of Chinese agentic AI start-up has left the Facebook owner better off than it might seem Read more ›
0 newcommer
Longtime Slashdot reader williamyf writes: FireFox 153 was released today. The most important user-facing changes are improvements to PDF handling (you can now merge PDFs and add images to them), and HDR video playback (on Windows, provided HDR is active systemwide). Other under-the-hood changes include browser-wide containers and QWAC support. The full list is in the change notes. But the most important feature is that this version is an ESR... Read more ›
0 fresh
Garmin's new Cirqa band tracks and analyzes your workouts, heart rate, and sleep—all without a subscription. Read more ›
0 fresh
The elevated streaming experience is happening in collaboration with Prime Video. Read more ›
0 fresh
Acquisition expands online farmers market’s reach across British Columbia and Alberta. Read more ›
0 fresh
We asked 3 immigration lawyers to break down what international students should know about F-1 student visa changes announced last week. Read more ›
0 fresh
Honda's New Zealand subsidiary is closing the long-running Nelson Bays location, and that means several vintage Hondas are now up for auction. Read more ›
0 fresh
Habr
Я проанализировала 115 экспертных заключений Минцифры (март-июнь 2026 г.) и готова поделиться с вами выводами по причинам отказа по включению в реестр российского ПО. Читать далее Read more ›
0
Внеочередная публикация с мнением относительно последних фич Макса. Просто не могу не прокомментировать. Читать далее Read more ›
0
Представьте обычное рабочее письмо: знакомый логотип ИБ-компании, подпись директора, реквизиты, блок об электронной подписи и архив с программой конференции. Внутри действительно может лежать программа. Рядом — троян.Сразу две российские ИБ-конференции предупредили о поддельных приглашениях, которые рассылали от их имени. Схемы оказались почти одинаковыми: деловой по виду PDF, архив с паролем, форма регистрации и исполняемые файлы, которые получателю предлагали открыть ради гостевого билета.Но сама идея гор Read more ›
0
“Web 3.0” провалился с оглушительными убытками и структурной иронией: под капотом “децентрализованных” приложений почти всегда обнаруживались два-три централизованных сервера. Но что, если проблема вообще не там, где её ищут годами — не в удобстве, не в модели собственности и не в токенах? Что, если каждая следующая "Web N+1" обречена повторить тот же провал просто потому, что решает не тот вопрос?Статья спускается на уровень ниже маркетинговых обещаний — туда, где DNS-резолверы,... Read more ›
0
Разберём современные теории старения и посмотрим на проблему с инженерной точки зрения. На примере нейронного клеточного автомата покажем, как система может долго сохранять устойчивость, а затем начать разрушаться без отдельной «программы смерти».Построим кривые дожития, найдём скрытые модельные биомаркеры старения и попробуем воздействовать на внутреннее состояние системы. В результате частично восстановим клеточную массу и форму, а заодно увидим, почему хорошие биомаркеры не всегда совпадают с лучшими точ Read more ›
0
Я Артур Валиев, разработчик EVRTКогда мы форкнули RustDesk и начали строить EvertyDesk — корпоративный удалённый рабочий стол с поддержкой Hyper-V, Proxmox, VirtualBox и умным агентом — первое, во что упёрлись, было видео. H.264 — стандарт де-факто. TeamViewer, AnyDesk, Windows App — все используют H.264. Он работает. Но он lossy. И вот здесь начинается проблема, о которой в статьях про remote desktop обычно не говорят.Когда оператор смотрит на терминал с git... Read more ›
0
Привет, Хабр! Я Олег Ассур, технический директор SafeMobile. Управление мобильными устройствами или MDM – тема, мимо которой проходят не только лишь все, пока в компании не появляется сто, тысяча или пятьдесят тысяч корпоративных телефонов, которыми вдруг надо управлять централизованно. Я в ней с 2012 года: писал MDM клиент для джейлбрейкнутых iOS, поднимал управление iOS, Android и Windows, прошёл с заказчиками все пять стадий принятия российского ПО и дорос от разработчика... Read more ›
0
Claude Code, Codex, Gemini CLI — мощные штуки. Но живут они в терминале: вы открываете окно, печатаете задачу, смотрите, как агент думает, лезет в файлы, гоняет тесты. Для человека — отлично. А теперь представьте, что в это кресло перед терминалом нужно посадить не человека, а вашу программу: чтобы она сама ставила агенту задачу, видела каждый его шаг и могла остановить опасное действие до того, как оно случится.Вот тут и начинается... Read more ›
0
НИОКР — это тот тип проектов, где в начале пути не всегда есть готовый ответ на вопрос: «Как именно получить нужный результат?».Сначала нужно проверить техническую возможность, исследовать варианты решения и подтвердить выбранный подход. Проблема в том, что бизнес обычно ждет понятный результат: изделие, технологию, прототип, экономический эффект, патент, новую линейку продукции. А научная или инженерная команда работает в зоне неопределенности: проверяет теории, меняет подходы, уточняет требования, сталкив Read more ›
0
“У нас внедрен сканер, значит, есть процесс” - нет. Инструмент это еще не процесс. Разбираем, из чего на самом деле состоит управление уязвимостями, почему оно держится на связке ИБ-ИТ-бизнес и какие четыре грабли встречаются чаще всего. Плюс честно про то, отменяет ли безопасная разработка патчинг (не отменяет). Читать далее Read more ›
0
Most popular sources
Tech Wire Asia
|
0% |
ReadWrite
|
0% |
ArcticStartup
|
0% |
Tech.eu
|
0% |
EU-Startups
|
0% |
| View sources » | |
LIKE us on Facebook so you won't miss the most important news of the day!
21.07.2026 17:45
Last update: 17:40 EDT.
News rating updated: 00:40.
What is Times42?
Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.
