10 place 0

967 LLM Inside: выжимаем максимум из Decoder Attention на GPU

Habr
b1tway (Яндекс) @ Habr · 03/10/2026 03:01 EDT

LLM Inside: выжимаем максимум из Decoder Attention на GPU

Привет, Хабр! Меня зовут Андрей Шукшов. Я пишу YNMT в Яндекс R&D — это движок инференса, на котором работают почти все наши большие языковые модели (LLM). Бо́льшую часть времени я пытаюсь понять, почему некоторые вещи работают медленно и как сделать так, чтобы у них это получалось чуточку быстрее.Если вы запускали локальную LLM, то, возможно, тоже удивлялись: почему железо, способное рендерить фотореалистичные миры в реальном времени, работает в темпе печатной машинки? В своей статье я попробую хотя бы отча

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
Habr Habr
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
30.03.2026 ♋︎ Dear Cancer, today the stars are favorably aligned for your personal happiness and family relationships.... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

Digital Trends
Pranob Mehrotra @ Digital Trends 1 place · today 08:35 EDT

Battery tech that stores over 9 times more energy is here and it’s perfect for your gadgets

Researchers have developed a new silicon-carbon battery design that can store up to nine times more energy while staying stable over time. Read more

0 fresh

TechRadar
TechRadar 1 place · today 08:35 EDT

Don't get fooled by fake discounts in the Amazon Big Spring Sale! Join our live Q&A for the best tech deals advice

From the best-value Garmin watches to whether that Dyson vacuum is worth the hype, our deals experts are standing by to help you get more bang for your buck. Read more

0 newcommer

Startups News
Nickie Louise @ Startups News 1 place · today 08:34 EDT

Top Tech News Today, March 30, 2026

It’s Monday, March 30, 2026, and here are the top tech stories making waves today — from AI and startups to regulation and Big Tech. The AI race just took a sharp turn—and it’s no longer just about models. It’s about ... Read more

0 fresh

GSMArena.com
GSMArena.com 1 place · today 08:33 EDT

vivo X300 Ultra is official with near 1" 35mm camera, new 200MP 85mm zoom

The vivo X300 Ultra has just arrived officially! It continues the refinement of the series and doesn't diverge from the core specs of its predecessors. That means, its camera system has gotten better with both better hardware and software, but it's fundamentally the same 14mm + 35mm + 85mm premier-quality setup. The vivo X200 Ultra brought the large sensor 1/1.28-inch 14mm ultrawide, and the X300 Ultra seemingly reuses it for... Read more

0 newcommer

Android Authority
Hadlee Simons @ Android Authority 1 place · today 08:30 EDT

Never mind the iPhone: This new phone might be the best for video capture

APV codec support, 4K/120fps Log video, and a ~17x external lens are some of the key highlights here. Read more

0 fresh

SlashGear
SlashGear 1 place · today 08:30 EDT

12 Of The Weirdest Gadgets That Serve A Practical Purpose

From quirky mouse jigglers to bizarre kitchen tools, these strange gadgets provide solutions you may not have thought possible. Read more

0 fresh

The Verge
Jess Weatherbed @ The Verge 1 place · today 08:30 EDT

Vivo launches X300 Ultra flagship ‘designed for professional photography’

Vivo has launched the X300 Ultra in China today, the company's latest flagship that really puts the "camera" in cameraphone. The device is "designed for professional photography," according to Vivo's press release, and features a set of Zeiss camera lenses that are optimized for specific shooting styles, including telephoto close-ups, wide-angle, and videography. My colleague […] Read more

0 fresh

CoinDesk
James Van Straten @ CoinDesk 1 place · today 08:29 EDT

Rate hike bets are building for the Fed – and now the Bank of Japan too

A weakening yen, rising bond yields, and the risk of a carry trade unwind pose a headwind to risk assets, including bitcoin. Read more

0 fresh

AlleyWatch
AlleyWatch @ AlleyWatch 1 place · today 08:27 EDT

The notable startup funding rounds for the week ending 3/28/26 featuring funding details for Lace, Xona, Steno, and twenty-six other deals representing $13.8B in new funding that you need to know about. Read more

0 fresh

Digital Trends
Shimul Sood @ Digital Trends 2 place · today 08:23 EDT

WhatsApp support for CarPlay is right around the corner

I’ve been a loyal CarPlay user for years, so this update feels long overdue. WhatsApp is finally working on a proper app for CarPlay, and it’s about time. Until now, all I could do was see notifications pop up on the dashboard, with zero real interaction beyond that. The catch is, it’s still in testing […] Read more

0 fresh

MacRumors
Hartley Charlton @ MacRumors 1 place · today 08:19 EDT

Apple Subsidiary Fined Over $500,000 for Breaching Russian Sanctions

Apple's Irish subsidiary has been fined £390,000 ($516,110) by the UK government for making payments to a sanctioned Russian streaming platform in 2022. The Office of Financial Sanctions Implementation (OFSI) said that Apple Distribution International Ltd. (ADI), the Republic of Ireland-based entity Apple uses to pay App Store developers, made two payments totaling £635,618 to Okko LLC, a Russian video streaming platform, in June and July 2022, at a time... Read more

0 fresh

Tech.eu
Cate Lawrence @ Tech.eu 1 place · today 08:18 EDT

Maguar takes significant stake in GlobalSuite Solutions to capitalise on surging demand for compliance tech

German tech investor Maguar , which specialises in medium-sized B2B software companies, has acquired a significant stake in GlobalSuite Solutions, a multinational software company specialising in Gove... Read more

0 fresh

Digital Trends
Vikhyaat Vivek @ Digital Trends 3 place · today 08:16 EDT

PUBG’s top-down experiment is over before it really got started

PUBG: Blindspot’s unusual top-down tactical hook won over part of its audience, but the game is still being shut down before it ever reaches a full release. Read more

0 fresh

Habr
ekatarios (МТС) @ Habr 1 place · today 08:15 EDT

Пиплметры: зомби из 90-х как основа рекламного рынка на ТВ

Вообразим себе картинку: бабушка записывает в блокноте каждый просмотренный эпизод “Поле чудес”, а потом сотрудники аналитического агентства, пытаясь разобрать ее почерк, неделю вручную вводят данные в таблицу. Так выглядела аналитика просмотров в доцифровую эпоху. Зрители вручную заполняли дневники просмотра - что и сколько времени смотрел. Затем задау немного автоматизировали и так появились пиплметры - устройства, измеряющие телеаудиторию в относительно автоматическом режиме.Сегодня все проще. Заглянул в Read more

0 fresh

Habr
MediaMetriqa @ Habr 2 place · today 08:14 EDT

Криптовалюта с нуля: что обязан знать новичок, который не хочет распрощаться с деньгами в первый же год

Каждая фаза активного роста Биткоина наполняет медиапространство хайпом вокруг крипто-индустрии и приводит сюда десятки, а то и сотни тысяч наивных юзеров, обреченных на одну и ту же историю. Наслушались про «неизбежные иксы», купили монеток, ждали, хотели, надеялись, но… Но через несколько месяцев потеряли 70-80-90% вложенного.На старте важна не столько техничка (как работает блокчейн, как завести денег на биржу или как купить Биток), сколько понимание принципов рынка, финансовой психологии и правил... Read more

0 fresh

Habr
blognaumen (NAUMEN) @ Habr 3 place · today 08:13 EDT

Мифы о тестировании, в которые я верила в начале карьеры

Меня зовут Диана, я работаю тестировщиком больше полутора лет. Когда я только приходила в профессию, мои представления складывались из статей, курсов и разговоров с друзьями из ИТ. Казалось, что работа у тестировщика довольно простая: технических знаний нужно немного, а зона ответственности ограничена.Практика быстро показала, что это не так. В статье я собрала мифы о тестировании, в которые я сама верила, и то, как все оказалось на самом деле. Читать далее Read more

0 fresh

Tom's Hardware
Tom's Hardware 1 place · today 08:11 EDT

Grab $1,100 off Lenovo's ultimate 2-in-1 OLED road warrior — two devices for one single price

For a limited time, the Lenovo ThinkPad X1 2-in-1 Gen 10 Intel (14") Aura Edition is available for $1,593.05 after discounts and coupons. Read more

0 fresh

The most popular news from the same source for the last week
Habr Habr
Habr
maniyax (ISPsystem) @ Habr · 03/23/2026 09:56 EDT

О цифровой доступности: как постигать интернет без визуальных интерфейсов

Всем привет! Меня зовут Артем Плаксин, я с рождения практически ничего не вижу.Незрячему или слабовидящему человеку при освоении компьютера приходится сталкиваться с очевидным барьером: очень многое завязано на визуальные интерфейсы, а без них порой сложно даже просто перейти на следующую страницу по ссылке.Для своего некоммерческого проекта — экосистемы севисов для незрячих и слабовидящих TifloHost — я использую платформу серверной виртуализации VMmanager. Так я и познакомился с ребятами, которые делают эт Read more

0

Habr
relige @ Habr · 03/23/2026 10:08 EDT

Как выбрать SCADA систему для АСУ ТП: рекомендации для инженеров, основанные на реальном опыте

Давно хотелось написать материал-помощник для себя и коллег по подбору SCADA системы. Описать сам подход к выбору нужной технологии: с чего начать, что не упустить и как не перебрать. Читать далее Read more

0

Habr
Gofoloman @ Habr · 03/23/2026 10:15 EDT

Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу

Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться.Мы увидели это на практике, когда строили систему для работы с нормативкой. Сначала задача выглядела стандартно: есть документы, есть вопросы пользователей,... Read more

0

Habr
bormee @ Habr · 03/23/2026 10:32 EDT

ИИ съедает джунов, а вместе с ними племенной фонд индустрии

С 2021 года я работаю на стыке двух отраслей - цифровой и сельского хозяйства. За это время мышление у меня заметно профдеформировалось: я все чаще смотрю на другие сферы через сельхоз-призму. Мне пришла мысль провести аналоги между ИТ и племенным животноводством. Да простят меня айтишники и племенные бычки... Что же дальше? Read more

0

Habr
Cuder (Positive Technologies) @ Habr · 03/23/2026 10:37 EDT

Техпис на зоне: нужна ли свобода при написании документации

Документацию можно готовить где угодно и как угодно. Писать инструкции в многочисленных CCMS, публиковать сайты через генераторы наподобие Sphinx, применять сложные разметки вроде DITA, вести базы знаний в Confluence или вообще собирать файлы в Word. У каждого инструмента и подхода есть свои плюсы и минусы. Выбор зависит от множества факторов: сложности, требований к результату, потребителя контента, бюджета отдела, объема накопившегося легаси — да и просто моды в профессиональной среде.Но что... Read more

0

Habr
diffnotes-tech @ Habr · 03/23/2026 10:54 EDT

Как я собрал AI-оркестратор расследования продовых инцидентов на `SKILL.md`, субагентах и API

Тикет «404 на оплате» раньше означал для меня 5 вкладок и 15-20 минут ручного расследования: Sentry, Kibana, Grafana, база, Jira. Я собрал AI-оркестратор расследования на SKILL.md, субагентах и обычных API: теперь агент за 3-5 минут приносит первый черновик отчёта. Показываю архитектуру, контракт между агентами, рабочие формулировки и границы, где AI-оркестрация реально помогает, а где начинает буксовать. Читать далее Read more

0

Habr
badcasedaily1 (OTUS) @ Habr · 03/23/2026 11:01 EDT

AbortController в Node.js: отмена чего угодно

Пока асинхронный код в Node.js работает штатно, про отмену операций обычно не вспоминают. Но как только запрос зависает, клиент разрывает соединение, а фоновая задача продолжает тратить ресурсы, выясняется, что без внятного механизма остановки всё это быстро превращается в источник лишней нагрузки и трудноуловимых ошибок. В этой статье разбираем, как AbortController решает эту проблему в Node.js, где он уже реально применим и как встроить поддержку отмены в собственный код без лишней... Read more

0

Habr
codesrc @ Habr · 03/23/2026 11:15 EDT

Нагрузочное тестирование с нуля: наши грабли, гонка за токеном и рабочий чек-лист

Привет, хабровчане!Мы команда «Исходного кода» и уже полгода системно занимаемся нагрузочным тестированием (НТ). Раньше такие проверки были от случая к случаю - оттуда и взяли базу знаний. Сегодня хотим поделиться историей одного показательного фейла, который заставил нас пересмотреть весь подход и прийти к системе, которая показала себя, как работающая. Все мы знаем эту боль: фича идеально работает на деве и предпроде, проходит все тесты, а когда под реальной нагрузкой на... Read more

0

Habr
konstkozlov (Ozon Tech) @ Habr · 03/23/2026 11:22 EDT

Как с помощью A/B-платформы найти лучшее решение, если вариантов слишком много, чтобы тестировать все?

Привет, Habr! Меня зовут Костя Козлов, я работаю в команде анализа и валидации экспериментов A/B-платформы Ozon. В предыдущей статье коллеги рассказали, как создать высокопроизводительную платформу сплитования пользователей на группы и стенд метрик. В этой статье расскажу, как построить поверх этого инструмент, который автоматически оптимизирует бизнес-метрики продукта за счёт "умного" перебора возможных вариантов его параметров.Статья будет касаться всех кейсов, где необходимо найти оптимальные по бизнес-м Read more

0

Habr
cognitronn (BotHub) @ Habr · 03/23/2026 11:26 EDT

[Перевод] Apple проиграла ИИ-гонку? Или выиграла ту, о которой никто не говорит?

Все сейчас говорят об ИИ-гонке. Или об ИИ-пузыре и о том, когда он лопнет.GPU от NVIDIA, дата-центры на миллиарды долларов, гигантские тренировочные прогоны. OpenAI, Google, Claude, Microsoft.Весь мир технологий наблюдает, как ИИ-гиганты выясняют, кто построит модель покрупнее.Об Apple говорят редко. А если говорят — в основном негативно. «Apple уже проиграла ИИ-гонку». Siri — посмешище. Никаких реальных ИИ-функций. Никакого реального рывка — только сделка с Google, чтобы Gemini в итоге питал... Read more

0

Most popular sources

  • You see 522 news out of 522.
  • Sources 61 out of 61.
VentureBeat 0%
Engadget 0%
Ubergizmo 0%
ScienceDaily 0%
The Information 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

30.03.2026 08:55
Last update: 08:50 EDT.
News rating updated: 15:51.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026