9 place 0 fresh

98 Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

Habr
xonika9 @ Habr · today 03:00 EDT

Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно.vLLM и paged attention я руками не писал, зато исходники открыты, и я полез в них за байтовой причиной. Что физически лежит на GPU в момент попадания в кэш, как движок управляет этой памятью и почему хватает одного символа, чтобы всё посыпалось. Читать дале

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
Habr Habr
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
02.07.2026 ♈︎ Horoscope for the Aries Sign Today Love: Today, it will be challenging for your heart... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

Tech.eu
Cate Lawrence @ Tech.eu 1 place · 07/03/2026 05:36 EDT

Pytorch: the software layer underpinning Europe's AI ambitions

Europe has emerged as one of the world's leading centres for open-weight AI, with companies including Mistral, Black Forest Labs and Helsing contributing to a growing ecosystem focused on open models ... Read more

0 fresh

The Verge
Thomas Ricker @ The Verge 1 place · today 05:13 EDT

Amazon has enough satellites to launch its Starlink competitor

Amazon says it now has enough satellites operating in low-Earth orbit to light up its Starlink internet competitor. With last night's launch, Amazon Leo has 396 satellites deployed, which is "enough to support continuous service across initial latitudes," according to Chris Weber, VP heading up business and product for Amazon Leo. That puts the company […] Read more

0 newcommer

Business Insider
Tess Martinelli @ Business Insider 1 place · today 05:12 EDT

I quit my job at 53 and feel like I can breathe again. My advice to older job hunters: Know your value.

A sales rep quit her job at 53 when it started impacting her mental health. Though it was scary, as the breadwinner, a multi-month exit plan helped. Read more

0 newcommer

EU-Startups
David Cendon Garcia @ EU-Startups 1 place · today 05:12 EDT

Quantum Systems lands €1 billion Series D in one of Europe’s largest DefenceTech financings

The German powerhouse for unmanned systems, Quantum Systems, has today announced the signing of its €1 billion ($1.2 billion) Series D financing round, more than doubling the company’s valuation at around €7 billion ($8 billion) on a post-money basis. The round was co-led by Blackstone, Noteus, Airbus and Advent, and supported by institutional investors including ... Read more

0 newcommer

Habr
srzybnev @ Habr 1 place · today 05:10 EDT

AI как новая поверхность атаки: реальные инциденты, мошенничество и уязвимости агентной эпохи

AI-агенты становятся полезными ровно в тот момент, когда получают доступ к данным, инструментам, браузеру, репозиториям, почте и рабочему контексту. Но именно там AI превращается в новую поверхность атаки.В этой статье я разбираю не абстрактный “AI-хайп”, а реальные кейсы: дипфейк-кражу $25 млн у Arup, открытую ClickHouse-базу DeepSeek, отзыв токенов Hugging Face Spaces, фишинг через легитимные AI-workspace invites, сбой Replit-агента и исследования вроде EchoLeak и BioShocking.Главный вопрос не в том, “мож Read more

0 newcommer

Business Insider
Suzanne Reilley @ Business Insider 2 place · today 05:05 EDT

I'm a full-time interior designer with a side hustle selling eco-friendly household products. I make up to £2,000 a month from it.

An interior designer launched an eco-friendly online marketplace for household products to expand his creativity and make more money. Read more

0 newcommer

Business Insider
James Faris @ Business Insider 3 place · today 05:05 EDT

The Paramount leaders who gained power during an ad product and tech reshuffling

David Ellison's Paramount Skydance is reshaping its ad product and tech teams. Here's what changes were made, and who's rising within the company. Read more

0 newcommer

Habr
Lord_3D (Okko) @ Habr 2 place · today 05:03 EDT

HTTPS через прокси без иллюзий: зачем компаниям Squid и почему allow all — это песочница, а не прод

HTTP-прокси вспоминают в двух случаях: когда сервису нужно вывести наружу строго ограниченный трафик или когда инцидент уже случился и нужно понять, кто и куда ходил. Первый вариант дешевле.Меня зовут Саша Скоков, я блогер, инженер группы сопровождения системной инфраструктуры в ОККО и в этой статье разберу, как работает Squid в проде. Читать далее Read more

0 newcommer

Eurogamer.net
Sherif Saed @ Eurogamer.net 1 place · today 05:03 EDT

Xbox will continue to publish OD, the upcoming horror title from Hideo Kojima. The experimental project, which was announced in late 2023, will survive the cuts and cancellations currently being made at Xbox as the division charts a path towards profitability. Read more Read more

0 fresh

Habr
vasiliyovchinnikov (Высшая школа бизнеса НИУ ВШЭ) @ Habr 3 place · today 05:03 EDT

Продвижение игр в 2026: выживут ли традиционные медиа и как использовать новые каналы?

Инструменты для PR и маркетинга видеоигр находятся в постоянном движении. Рынок меняется, и классические способы требуют переосмысления: хотя традиционные медиа, офлайн-события, пресс-туры и дорогие рекламные кампании все еще работают на массовый охват, их эффективность снижается, а цена – растет. Впечатляющие тиражи журналов для геймеров канули в Лету («Игромании», разумеется, это не касается), наружная реклама без мощной digital-стратегии может оказаться пустой тратой денег, а негативные обзоры и короткие Read more

0 newcommer

Habr
DAN_SEA (RUVDS.com) @ Habr · today 05:02 EDT

Про моторы, топливо, пути экономии и апгрейда…

Картинка: GSenkowС момента появления первых двигателей внутреннего сгорания человечество озабочено вопросом обеспечения их топливом. Проблема значительно усугубилась с XX века, который по праву называют «веком моторов», и в настоящее время, пожалуй, невозможно даже представить мир без двигателей внутреннего сгорания — хотя, справедливости ради, попытки делаются, и все мы их видим: те же самые электрические двигатели, с водородным топливом (и не только). Тем не менее и по сей день учёные в... Read more

0 newcommer

Habr
nedovyazhu @ Habr · today 05:01 EDT

Как так вышло, что я люблю свою работу

Вы когда-нибудь задавали себе вопрос, почему вы стали тем, кем стали? Почему вы пишете код, или читаете чужой код, или пишете запросы к базе данных, или настраиваете окружение для бухгалтерии, или подключаете сервера? Почему? Как так вышло? В какой момент это началось?Может быть, с детства вы были увлечены компьютерными технологиями? Или визжали от восторга, когда компьютер у вас появился, или наоборот, компьютера не было и поэтому, повзрослев, вы сказали: хочу... Read more

0 newcommer

Android Authority
Rita El Khoury @ Android Authority 1 place · today 05:00 EDT

Gemini Live on Android Auto is brilliant — and very broken

A lot of things worked as expected, but the issues I encountered made me want to stop using it. Read more

0 fresh

Habr
ZackST (X5 Tech) @ Habr · today 05:00 EDT

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде.🔧 Это не про «у нас классные модели» и не про «просто прикрутили YOLO», а про честную инженерную продуктивизацию. Про то как универсальный классификатор путал фарш с грязью, почему часть анкет всё равно лучше отдавать человеку, зачем отдельно мониторить качество моделей и что приходится чинить, когда реальный мир меняется быстрее обучающей... Read more

0 newcommer

Business Insider
Melia Russell @ Business Insider · today 05:00 EDT

Inside the strange side hustle of teaching AI to think like a lawyer

AI has created a booming new side hustle for lawyers: training the systems that could one day take over their work. Read more

0 fresh

Wired
Emily Mullin @ Wired 1 place · today 05:00 EDT

Heat Domes Are Dangerous. July Fourth Activities Will Make Things Worse

Long hours outdoors, day drinking, and World Cup matches are among the factors raising the risks of heat-related illness, as hot weather spreads across the eastern US. Read more

0 fresh

The most popular news from the same source for the last week
Habr Habr
Habr
Magnificus (BotHub) @ Habr · 06/25/2026 04:51 EDT

Как выбрать эмбеддинг для проекта

Эмбеддинги (иначе говоря, векторные представления) — это способ представления абстрактных данных в виде набора чисел (в виде векторов, как вы могли уже понять), близкие значения которых связаны семантически и математически и с которыми может работать модель искусственного интеллекта. Разберемся какие модели лучше других подходят для кодирования слов. Параллельно с этим разберём принципы, на которые нужно опираться при выборе эмбеддинг-модели, пощупаем русские BERT-модели и внесём ясность про системные требо Read more

0

Habr
vackoVack0 (Гарда) @ Habr · 06/25/2026 04:53 EDT

Алгоритм реверса Python-вирусов и вредоносных утилит для начинающих аналитиков

Привет, Хабр! Меня зовут Максим Мотиков, я аналитик киберугроз в «Гарде». Недавно на анализ мне пришел странный экзешник весом 81,54 МБ. Коллега выцепила его из сетевого трафика, но что внутри было, непонятно. Стиллер? Загрузчик? Что-то новое?Оказалось, что передо мной вредоносная утилита на Python. Хотя эти зловреды давно существуют и регулярно эксплуатируются, мне задача отреверсить подобную штуку досталась впервые. До «Гарды» я занимался реверсом firmware — встроенного ПО инициализации ПК (BIOS,... Read more

0

Habr
mrpromter (StudyAI) @ Habr · 06/25/2026 05:00 EDT

ИИ фото онлайн: сделать фотосессию нейросетью и генерацию реалистичных изображений и снимков

Фотограф нужен на свадьбе, корпоративе, предметной рекламной съёмке — там, где важны живой контакт, реакция и контроль на месте. Но когда нужен аватар для трёх соцсетей в разных стилях, серия карточек товара на разных фонах, деловой портрет для нового резюме или образы для лукбука — нейросеть для генерации фото закрывает это быстрее, дешевле и без логистики.В 2026 году ИИ-генератор картинок перестал быть экспериментом для продвинутых пользователей. Это стандартный рабочий инструмент... Read more

0

Habr
alina_kiz (Хабр Карьера) @ Habr · 06/25/2026 04:56 EDT

Как гуманитарию найти первую работу в IT

В IT-компаниях работают не только разработчики. В корпорациях и сотнях других технологических компаний трудятся специалисты, которые не пишут код: редакторы, HR-специалисты, маркетологи, дизайнеры, менеджеры по продажам, сотрудники поддержки, аналитики, продюсеры. Гуманитарное образование и навыки могут стать отличным конкурентным преимуществом.В статье расскажем, какие профессии доступны гуманитариям в IT-компаниях, что нужно знать и уметь, как развивать нужные навыки и где искать первую работу. Читать дал Read more

0

Habr
ggsel (ggsel.net) @ Habr · 06/25/2026 05:00 EDT

В ожидании ремейка: за что мы любим серию игр про Макса Пэйна

Еще осенью 2025 года в СМИ просочились новости о разработке ремейка первой и второй частей трилогии про Макса Пэйна. А уже зимой стало известно, что в 2027 году выйдет игра, объединяющая сюжет сделанной финскими трудягами дилогии.А сейчас, пока Rockstar готовят обновленный шедевр, мы предлагаем поговорить о «Максе Пэйне» как о культурном и игровом феномене, а также попытаться понять, чем он так зацепил многочисленную армию поклонников. Читать далее Read more

0

Habr
shvedov_grangroup (ГРАН Груп) @ Habr · 06/25/2026 05:00 EDT

Что такое HDI-платы и как их оптимально проектировать

Применение более сложных компонентов с очень большим числом выводов привело к внедрению технологий по созданию более мелких переходных отверстий, а также внедрению новых и модификации уже существующих технологических процессов. Все они имеют общие особенности: позволяют существенно увеличить плотность трассировки, уменьшить размер и вес изделия, улучшить электрические характеристики.Такие платы называют HDI (англ. High Density Interconnect) — это печатные платы с высокой плотностью межсоединений.Цель нашей. Read more

0

Habr
xtraroman (ЭРЕМЕКС) @ Habr · 06/25/2026 05:04 EDT

От набора PDF-файлов до портала технической документации на 2,5 тысячи статей

В этой статье мы расскажем, как развивали систему документации, сохранив за техническими писателями привычный инструмент, какие трудности возникли с производительностью генератора сайта и как в итоге появился портал docs.eremex.ru. При этом привычный инженерам формат PDF мы сохранили: новый портал не заменяет его, а дополняет, и документация по-прежнему доступна в виде файлов для тех, кому так удобнее. Читать далее Read more

0

Habr
DAN_SEA (RUVDS.com) @ Habr · 06/25/2026 05:02 EDT

Компактные и интеллектуальные (роботизированные) DIY-тренажёры для дома? Вполне себе реальность…

Картинка: Aaron Willey (awilley), OpenWorkoutSystemСегодня мы поговорим об очень интересной, на мой взгляд, теме — высокотехнологичных самодельных тренажёрах для дома: ведь не секрет, что многие хотели бы иметь дома тренажёрный комплекс, однако основная его проблема заключается зачастую не в том, сколько такого рода вещи стоят (так как цены для увлечённых довольно доступны), а скорее в том, что такой аппарат занимает весьма существенное место — в современных квартирах любой метр на... Read more

0

Habr
evgeni_zaharenko @ Habr · 06/25/2026 05:07 EDT

Прокачали магазин автозапчастей: рост заказов с 59 до 609 в месяц

SEO-продвижение магазинов автозапчастей существенно отличается от продвижения обычных сайтов. 10+ млн страниц, технические ограничения, проблемы индексации и многое другое.В кейсе описаны особенности стратегии продвижения, разобраны ключевые проблемы и решения. Читать далее Read more

0

Habr
koptehe @ Habr · 06/25/2026 05:11 EDT

[Перевод] Чем является ваша работа сегодня?

В декабре 2025 года многие ведущие инженеры мира все-таки высказались вслух о том, о чём боялись даже думать: «Кажется, LLM пишет код лучше меня».Фархан Тавар, руководитель инженерного направления Shopify (3000 инженеров, 10% мирового e-commerce), рассказал, как они к этому готовились — и что делать дальше. Спойлер: сокращать команду они не только не собираются, но и наняли уже 1000 интернов. Но обо всем – в статье Понять, кто я теперь Read more

0

Most popular sources

  • You see 860 news out of 860.
  • Sources 61 out of 61.
ScienceDaily 0%
VentureBeat 0%
ArcticStartup 0%
Mashable 0%
StartupNation 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

02.07.2026 05:22
Last update: 05:15 EDT.
News rating updated: 12:15.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026