176 place 0 fresh
![[Перевод] Как работает кэширование промптов — PagedAttention и автоматическое кэширование префикса плюс практические советы](https://times42.com/media/1/4/2/11801142_640x200.jpg "[Перевод] Как работает кэширование промптов — PagedAttention и автоматическое кэширование префикса плюс практические советы")
Prompt caching часто обсуждают как «бонусную опцию» в API-прайсе: мол, попал в кэш — дешевле и быстрее. В статье разбираем, что за этим стоит на самом деле: почему кэш — это не «память диалога», а переиспользование KV-тензоров на уровне одинаковых префиксов, как из этого вырастает PagedAttention/vLLM с блоками и хэш-цепочками, и какие мелкие, но фатальные детали (динамический системный промпт, недетерминированный JSON, перестановка tool defs) мгновенно превращают кэш в тыкву. Как это устроено
A newsletter a day!
You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.
LIKE us on Facebook so you won't miss the most important news of the day!
Habr
Micron has responded to criticism over its decision to exit the consumer memory business and warns that shortages may last until 2028. Read more ›
809 fresh
Our wellness experts tested these devices to make sure you can conveniently manage your blood sugar at home. Read more ›
512 fresh
Samsung is celebrating the finale of Stranger Things with a new theme and wallpapers for Galaxy devices. Read more ›
384 fresh
It looks like scammers are using smart glasses in a bid to capture IMEI details. Read more ›
316 fresh
As competing narratives and interpretations of viral videos muddy the investigations of the fatal shooting of Renee Nicole Good by an Immigration and Customs Enforcement officer in Minneapolis last week, there’s at least one thing that can’t be denied: the Department of Homeland Security’s operations in American cities are a sharp departure from how its […] Read more ›
304 fresh
A new emulator makes running classic Apple Macintosh 68K software a breeze on a cheap, portable, IoT development kit. Read more ›
296 fresh
iMac and Lego – the perfect combination? New concept set for Apple's original iMac G3 looks stunning. Read more ›
277 fresh
We’ve found the best travel cameras—from point-and-shoot to full-frame—to help you bring home the perfect vacation photos. Read more ›
269 fresh
As someone who's been to every US national park, Grand Teton is my favorite. From the mountains to the cute towns nearby, there's so much to love. Read more ›
268 fresh
At some point today, EA will turn the Anthem servers off, rendering BioWare's multiplayer online shooter inaccessible and unplayable, presumably forever. And fond farewells have already started to pour in. Read more Read more ›
265 fresh
Powell described the move as a part of a broader effort to pressure the central bank on monetary policy. Read more ›
254 fresh
A tech CEO put together a dream board of directors with AI representing famous leaders. Here's how he uses it. Read more ›
247 fresh
When Cyberpunk 2077 was sort of relaunched with its 2.0 update and the Phantom Liberty expansion, female V took over as the face of the game. More than two years later, and with the RPG still selling well and attracting new players, that hasn't changed. Read more Read more ›
235 fresh
The UK will publish its first under-5 screen time guidance in April. It targets passive viewing after research linked very high daily use in two-year-olds with weaker vocabulary and other concerns. Read more ›
223 fresh
High school teachers say that teaching capitalism has become increasingly politicized, with students drawn to figures like Zohran Mamdani and AOC. Read more ›
207 fresh
Mariana Tata experienced a few subtle, common symptoms of colon cancer and got them checked out. She was diagnosed at stage 4. Read more ›
202 fresh
The NIMA Gluten Sensor is 99% accurate at detecting gluten in your food. All it takes is three minutes. Read more ›
189 fresh
"KPop Demon Hunters" took home Golden Globes for Best Animated Feature Film and Best Original Song for eternal banger "Golden." Read more ›
176 fresh
Habr
Ларингалы – самые загадочные звуки праиндоевропейского языка, не сохранившиеся ни в одном из живых индоевропейских языков. Звуки-призраки, которых никто из ныне живущих не слышал. И звуки-атланты, на которых держатся все реконструкции праиндоевропейского. Почему учёные так уверены в их существовании? Можем ли мы хотя бы представить себе их звучание? И как их можно записать, кроме нижних индексов? Обо всём по порядку – в этой особой статье по заявкам читателей. Читать далее Read more ›
15
История с тем, что украинский президент установил на 7 января «День программиста» слегка взбудоражила общественность, но не с той стороной, которую я считаю самой интересной.Вобщем, сперва будет рассказ о том, откуда берутся всякие там «Международные дни» и какова их ценность, а затем будет вопрос, на который я не смог найти ответа. Читать далее Read more ›
8
Как жадные до прибыли торгаши и спекулянты привели планету к прогрессу, и почему девайс с которого вы читаете эту статью заслуга капитализма. Об эпидемии чумы, Ост-Индской компании и ростовщиках с патентным правом. 1/3 статей из цикла истории Капитализма. Читать далее Read more ›
3
В телеграмме есть способ раскрыть IP собеседника в 1 клик, не скидывая ему никаких файлов, картинок и даже не заставляю его переходить по сомнительным ссылкам.Телеграм даже не предупреждает о том, что вас скамят. Но как? Читать далее Read more ›
3
Каждый раз, когда мы пишем «быстрый скрипт на коленке», мы тратим время на одни и те же вещи: настройку логов, парсинг конфигов и создание прогресс-баров. В этой статье разберем 10 легковесных утилит (от tqdm до beartype), которые закроют рутинные задачи и позволят вам сфокусироваться на логике, а не на «обвязке». Читать далее Read more ›
1
Современные подходы к безопасности ИИ часто сводятся к внешним запретам и попыткам заставить системы выглядеть «этичными». Однако системный анализ и опыт биологической эволюции указывают на то, что подобные методы прямого ограничения могут оказаться неэффективными при масштабировании систем до уровня искусственного интеллекта общего назначения (AGI).В данной статье анализируется переход от биологических основ принятия решений к математическим моделям кооперации искусственного интеллекта. Мы рассмотрим, поче Read more ›
1
У меня нет классического образования в области радиотехники, но связь представлений сигнала во временной и частотной областях меня сильно интересует. При попытке сформировать в голове ясное представление возникают примерно такие вопросы.Рассмотрим базовую ситуацию для любого радиоканала.Передатчик излучает немодулированную несущую (Рис. 1) Читать далее Read more ›
2
Приветствую всех! Два года назад я уже рассказывал о том, как запустить у себя дома базовую станцию 4G LTE. Тем не менее, в той сети работал только мобильный интернет, тогда как при попытке позвонить или отправить SMS связь немедленно обрывалась.Самое время восполнить это упущение. Сегодня мы поднимем сеть, в которой будут работать все эти функции. Заодно разберёмся, как работают звонки в LTE-сетях, как запустить такую сеть при помощи SDR и... Read more ›
2
Доброго времени суток, «Хабр»!На дворе 2026 год, когда люди применяют нейросети в разных сферах своей жизни: от помощи в обучении до решения достаточно сложных задач.Программирование - область, требующая солидного запаса знаний и, конечно же, опыта их применения. Не каждая модель способна продемонстрировать даже относительно качественный результат.Сегодня мы сравним ChatGPT 5.2 Pro, Claude Opus 4.5 и Gemini 3 Pro в области программирования. Мне не интересно оценивать лишь написание программ под конкретные... Read more ›
1
Предисловие: вся информация находится в открытом доступе. Статья написана с целью привлечения внимания к общественно важной теме.Я хочу всесторонне разобраться в ситуации, услышать комментарии всех участников (особенно компаний «Яндекс» и «Авито») и только после этого делать какие-либо выводы, и вас к этому тоже призываю.Недавно вышло интервью HR из Яндекса основателю сообщества «Осознанная меркантильность». В нём говорилось о найме, «красных флагах» в резюме соискателей и другом булщите о найме, от которог Read more ›
2
Most popular sources
Business Insider
|
28% 11 |
Eurogamer.net
|
8% 5 |
Tom's Hardware
|
7% 18 |
The Verge
|
6% 0 |
Slashdot
|
6% 1 |
| View sources » | |
LIKE us on Facebook so you won't miss the most important news of the day!
12.01.2026 10:26
Last update: 10:20 EDT.
News rating updated: 17:21.
What is Times42?
Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.
popular
