15 place 1

133 Why your LLM bill is exploding — and how semantic caching can cut it by 73%

VentureBeat
VentureBeat 1 place · 01/10/2026 14:00 EDT

Our LLM API bill was growing 30% month-over-month. Traffic was increasing, but not that fast. When I analyzed our query logs, I found the real problem: Users ask the same questions in different ways."What's your return policy?," "How do I return something?", and "Can I get a refund?" were all hitting our LLM separately, generating nearly identical responses, each incurring full API costs.Exact-match caching, the obvious first solution, captured only 18% of these redundant calls. The same semantic question,.

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
VentureBeat VentureBeat
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
11.06.2026 ♓︎ Dear Pisces, today will bring a variety of emotions and situations that require your attention... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

Engadget
Engadget 1 place · today 02:33 EDT

OpenAI says fake accounts from China tried to turn Americans against data centers

OpenAI has published a report detailing how China-linked influence campaigns against data centers used ChatGPT. Read more

0 fresh

Habr
ToxaBes @ Habr 1 place · today 02:30 EDT

Нейронные сети нетрадиционного вычисления

Статья призвана познакомить читателя с тем, как биологические механизмы могут применяться при разработке искусственных нейронных сетей для создания сильного искусственного интеллекта (AGI). Читать далее Read more

0 fresh

Inc42 Media
Pranav Pai @ Inc42 Media 1 place · today 02:27 EDT

AI’s Biggest Opportunity Lies In Paying For Outcomes, Not Tokens

Enterprises are rationing AI because they are paying for effort instead of outcomes. The startups that build the outcome-pricing layer,… Read more

0 fresh

Habr
ivanarefyev @ Habr 2 place · today 02:25 EDT

Как Maersk пережила две мировые войны, гибель флота и стала судоходным монстром на 30 млрд

История Maersk началась еще в 1886 году, когда жена капитана Петера Мёллера внезапно тяжело заболела. В отчаянии мужчина начал молиться со всей силой, и в конце своей молитвы он попросил у Бога какой-то знак, чтобы появилось какое-то доказательство того, что его молитва услышана. И тогда посреди неба, полностью погребенного под густыми тучами, сквозь тьму внезапно пробилась одна яркая звезда. Читать далее Read more

0 fresh

ScienceDaily
ScienceDaily 1 place · today 02:25 EDT

Researchers discovered that declining levels of phosphatidylcholine may be a major cause of age-related mitochondrial dysfunction and loss of cellular energy. Remarkably, boosting this nutrient restored more youthful mitochondrial performance in aging organisms, suggesting some aspects of aging can be slowed or reversed. Read more

0 fresh

Habr
Chetverovod @ Habr 3 place · today 02:24 EDT

Спутниковая связь в симуляторе NS-3. Часть 4

Эта статья является продолжением цикла статей. В предыдущей статье мы узнали как организован модуль спутниковой связи Satellite и как его установить в симулятор NS-3. В этой же статье мы познакомимся с наиболее употребляемыми классами симулятора NS-3, без знания которых в моделировании не обойтись Читать далее Read more

0 fresh

Habr
enamored_poc @ Habr · today 02:17 EDT

SQL Оконные функции простым языком

Каждый SQL-разработчик помнит свое первое столкновение с конструкцией OVER(). Когда после понятных и уютных SELECT и GROUP BY ты видишь этот перегруженный синтаксис, появляется непреодолимое желание закрыть IDE и пойти работать руками на свежем воздухе.Но вот главный спойлер: оконные функции — это не закрытый клуб для избранных. На деле это изящная замена километровым самоджойнам (JOIN) и многоэтажным подзапросам, которая бережет ваши нервы и вычислительные ресурсы базы данных.В этой статье мы... Read more

0 fresh

Habr
rolena @ Habr · today 02:14 EDT

Как я решила разобраться что происходит с рынком труда и зарплат менеджеров по работе с партнерами и что вышло

Началось все с того, что я, ощущая на рынке кризис, решила поговорить с предпринимателями и узнать, как его ощущают они. В итоге из этого выросло полноценное исследование, о результатах которого я уже рассказывала тут.В результате выяснилось, что 60% респондентов планируют делать ставку на развитие партнерского канала в 2026 году, чтобы оставаться на плаву. Из этого появилась идея разобраться, как ведет себя рынок вакансий и резюме менеджеров по работе с партнерами,... Read more

0 fresh

Habr
codexteam @ Habr · today 02:05 EDT

Путь к ошибке: зачем нужны «Breadcrumbs» во frontend-мониторинге

Пользователь столкнулся с ошибкой в вашей программе. Трекер ошибок ее зафиксировал. Стек-трейс показывает место сбоя. Но что делал пользователь за несколько секунд до этого? Какие запросы выполнялись? На каком шаге сценарий пошёл не так?Для ответа на эти вопросы в трекерах ошибок используются Breadcrumbs — цепочка событий, предшествующих ошибке. Разберём, как они работают в Хоуке и как помогают быстрее расследовать сбои в приложениях. Читать далее Read more

0 fresh

EU-Startups
Rahul Raj @ EU-Startups 1 place · today 02:03 EDT

Dublin’s CameraMatics secures up to €49 million to scale AI-powered fleet intelligence platform across Europe and the US

CameraMatics, a Dublin-based AI-powered video telematics and fleet intelligence platform, has secured up to €49 million in investment to support its next phase of international expansion and ongoing product innovation as the company scales across the UK, Ireland, Europe, and the US.  The investment was secured from a consortium led by Blume Equity, alongside the ... Read more

0 fresh

Habr
PavelTkachenk0 @ Habr · today 02:00 EDT

Токен-оптимизация агентов: на что уходит контекстное окно MCP

Чем больше задач берёт на себя агент, тем чаще он упирается не в качество модели, а в контекстное окно: туда нужно уместить инструкции, историю диалога, схемы инструментов и всё, что эти инструменты возвращают. Я считаю, что токен-оптимизация агентов — то, как мы расходуем это окно — станет одним из ключевых направлений ближайших лет, наравне с выбором модели и качеством промпта. Читать далее Read more

0 fresh

Tech.eu
Tamara Djurickovic @ Tech.eu 1 place · today 02:00 EDT

Mendo secures €12M to scale enterprise AI adoption in Europe

Mendo, the French startup helping enterprises adopt generative andagentic AI, has raised €12 million in Series A funding. The round was led byVentech and Educapital, with participation from Tomcat and... Read more

0 fresh

Habr
ku78 @ Habr · today 02:00 EDT

В попытках разобраться с VPN зачем то написал Bash-костыль и немного проализировал обстановку 2026 году

Тысячи статей про VPN? Да, знаю. Но я всё равно написал свой Bash-костыль, разобрался, почему в июне 2026 всё сломалось, и даже сделал отказоустойчивую систему. Хейтеры, я вас жду в комментах. Читать далее Read more

0 fresh

TechRadar
TechRadar 1 place · today 02:00 EDT

How to watch World Cup 2026: FREE Streams, TV Channels & Fixtures

All the ways for you to stream the World Cup 2026 for free from anywhere in the world as 48 teams go for glory in the USA, Mexico and Canada. Read more

0 fresh

The Fintech Times
The Fintech Times @ The Fintech Times 1 place · today 02:00 EDT

Europe’s Cross-Border Conundrum: The Battle for Sovereignty and Blockchain Dominance

A new report from Money20/20 Europe and FXC Intelligence finds EMEA accounts for 48% of global outbound retail cross-border payments, with stablecoins, tokenization and blockchain emerging as key drivers of the region’s push for financial sovereignty. Read more

0 fresh

Habr
chasing_nlp @ Habr · today 02:00 EDT

LLM Sandbox: изолированная среда для исполнения кода от LLM [часть 1, теория]

В большинстве бизнес-сценариев LLM перестала быть просто чат-ботом. Современные модели становятся частью агентских систем: у них есть инструменты, доступ к файлам, терминалу, браузеру, базам данных. Они не только отвечают на вопросы, но и выполняют действия.В этой статье (ее первой части) разберём среду изолированного исполнения кода: песочницу (sandbox).Представим ситуацию: пользователь загружает Excel-файл, просит проанализировать таблицу, найти аномалии и на основе анализа создать PowerPoint-презентацию. Read more

0 fresh

Habr
George_Prikashchenkov @ Habr · today 02:00 EDT

Дело о молчаливой JVM: мониторинг Spring Boot с Prometheus и Grafana. Production-нуар

Она умерла в воскресенье вечером, и никто не услышал ни звука. Детективная история о том, как поставить прослушку на собственное приложение: Prometheus, Grafana, Micrometer, алерты, SLO. Все улики в комплекте, демо-проект прилагается. Совпадения с вашим продакшеном не случайны. Открыть дело Read more

0 fresh

The most popular news from the same source for the last week
VentureBeat VentureBeat
VentureBeat
VentureBeat · 06/04/2026 16:25 EDT

Anthropic co-founder and CEO Dario Amodei said it was coming, but it still feels like a milestone: More than 80% of the code merged into Anthropic’s production codebase in May wasn't authored by humans, but by its own AI model, Claude, according to a new report shared by the record-breaking AI startup today.This transformation has triggered an 8x increase in the volume of code shipped per engineer per quarter compared... Read more

0

VentureBeat
VentureBeat · 06/05/2026 12:42 EDT

Meta's AI support agent bound recovery emails to accounts for whoever asked, and SOCs never saw an alert. An authorized agent writes a log of legitimate transactions, so nothing in the detection stack fired. Attackers asked the bot to make the change, took the one-time code it sent, and ran the password reset, 404 Media reported.No malware, no stolen credentials, and no prompt injection in the sense most security teams... Read more

0

VentureBeat
VentureBeat 3 place · 06/05/2026 13:51 EDT

When someone on a team corrects an AI agent — better prompts, better feedback, better context — that improvement disappears the moment a colleague opens the same tool. The correction doesn't transfer, and the next person starts from zero.The problem compounds in multi-agent workflows, where teams expect agents to share context across users and tasks. Without a shared memory layer, every team member effectively trains a different version of the... Read more

0

VentureBeat
VentureBeat 3 place · 06/05/2026 15:31 EDT

Microsoft used its Build 2026 conference this week to push a clear message: agents are rapidly moving into production throughout enterprise systems, and the winning platform will be the one that gives them reliable context, governance, identity, memory — and secure access to enterprise data. The company announced Microsoft IQ as a context layer across GitHub Copilot, Microsoft Foundry and Copilot Studio; Work IQ APIs coming June 16; Fabric IQ... Read more

0

VentureBeat
VentureBeat 2 place · 06/05/2026 18:55 EDT

For three years, Microsoft's artificial intelligence story has been inseparable from OpenAI. The partnership — cemented by a cumulative investment exceeding $13 billion — gave Microsoft early access to the most advanced AI models on the planet, catapulting its Copilot products into the enterprise mainstream and adding hundreds of billions of dollars to its market capitalization. To the outside world, Microsoft's AI strategy was OpenAI.Mustafa Suleyman wants to change that... Read more

0

VentureBeat
VentureBeat 1 place · 06/06/2026 00:00 EDT

Our system did one thing, and it did it well: It turned natural-language questions into API calls.The users were analysts, account managers, and operations leads. They knew what data they needed, but assembling it manually meant pulling from four dashboards, two BI tools, and a Salesforce report builder. With our system, they typed the request in plain English. A request like "Compile a report on sales volume for January through... Read more

0

VentureBeat
VentureBeat 2 place · 06/07/2026 12:00 EDT

Agentic AI is now a core part of the engineering process, driving massive execution leverage and helping us generate more code than ever before. Yet, a difficult question I’ve increasingly heard from business leaders is: if we’re shipping code faster than ever, why aren’t our products improving at the same rate?The reason is that writing code was never the rate limiter. Defining the right requirements, integrating with complex systems, and... Read more

0

VentureBeat
VentureBeat 3 place · 06/07/2026 21:02 EDT

Our system did one thing, and it did it well: It turned natural-language questions into API calls.The users were analysts, account managers, and operations leads. They knew what data they needed, but assembling it manually meant pulling from four dashboards, two BI tools, and a Salesforce report builder. With our system, they typed the request in plain English. A request like "Compile a report on sales volume for January through... Read more

0

VentureBeat
VentureBeat · 06/08/2026 17:01 EDT

In Q1 2026, VentureBeat's Pulse Research surfaced the “Governance Mirage”: the gap between the governance org charts enterprises had drawn and the control layers they had actually built. Forty-three percent said a central team owned AI governance; 23% couldn't agree on who owned it at all; and 31% named vendor opacity as the single biggest obstacle.This new wave of research asks the next question: Once you've admitted the governance problem,... Read more

0

VentureBeat
VentureBeat · 06/08/2026 18:19 EDT

A joint research collaboration between researchers at the University of Illinois at Urbana-Champaign (UIUC), UC Berkeley, and the open source AI-native vector database platform Chroma unveiled Harness-1, a 20-billion parameter open-source search agent built atop OpenAI's gpt-oss-20B open source model that fundamentally redesigns how AI executes complex retrieval tasks. Harness-1 achieves a massive leap in performance, scoring 73% average on its ability to recall relevant information correctly from a curated Read more

0

Most popular sources

  • You see 894 news out of 894.
  • Sources 61 out of 61.
Startup News 0%
ReadWrite 0%
ScienceDaily 0%
UK Tech News 0%
Irish Tech News 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

11.06.2026 03:08
Last update: 03:01 EDT.
News rating updated: 10:03.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026