9 place 0 fresh

83 vLLM Production Stack. Часть 1: Базовые возможности vLLM

Habr
Bambarambambum @ Habr · today 12:09 EDT

vLLM Production Stack. Часть 1: Базовые возможности vLLM

Статья будет о том, как быстро начать работать с vLLM и vLLM Production Stack: от первого запуска модели до базовых режимов инференса через OpenAI-совместимый API. Разберем практические настройки и сценарии запуска — tool calling, thinking/non-thinking, мультимодальные и CPU-модели, а так же какие стартовые параметры сильнее всего влияют на память, производительность и стабильность. Отдельном рассмотрим полезные оптимизации для production-сценариев: FP8, Tensor Parallelism, KV-cache offloading, Speculative.

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
Habr Habr
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
27.03.2026 ♏︎ Dear Scorpio! Today may bring you many challenges and minor disappointments related to various areas... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

MacRumors
Juli Clover @ MacRumors 1 place · today 14:01 EDT

Apple Brings On Google Shopping VP to Lead AI Marketing Push

Apple has hired former Google VP Lilian Rincon as its vice president of product marketing for artificial intelligence, reports Axios. Before joining Apple, Rincon was vice president of product for Google Shopping. At Apple, Rincon will be in charge of product marketing and product management for all of Apple's AI platforms, reporting to Apple marketing chief Greg Joswiak. Rincon led the global product organization that handled Google's consumer-facing shopping experiences,... Read more

0 newcommer

Vox
Ian Millhiser @ Vox 1 place · today 14:00 EDT

The sneaky way Trump’s lawyers are supercharging ICE

Shortly after President Donald Trump took office for the second time, his administration started illegally detaining immigrants without giving them a bond hearing or other method of avoiding incarceration while an immigration judge determines if they are in the country legally.  The overwhelming majority of federal judges have rejected this illegal practice. As Politico’s Kyle […] Read more

0 newcommer

Slashdot
BeauHD @ Slashdot 1 place · today 14:00 EDT

Popular LiteLLM PyPI Package Backdoored To Steal Credentials, Auth Tokens

joshuark shares a report from BleepingComputer: The TeamPCP hacking group continues its supply-chain rampage, now compromising the massively popular "LiteLLM" Python package on PyPI and claiming to have stolen data from hundreds of thousands of devices during the attack. LiteLLM is an open-source Python library that serves as a gateway to multiple large language model (LLM) providers via a single API. The package is very popular, with over 3.4 million... Read more

0 newcommer

Gizmodo
Germain Lussier @ Gizmodo 1 place · today 14:00 EDT

‘Mike & Nick & Nick & Alice’ Is a Genre Blending Delight

Two Vince Vaughns star along with James Marsden and Eiza González in the sci-fi, action, comedy, gangster film now on Hulu. Read more

0 newcommer

Habr
yeg @ Habr 1 place · today 13:58 EDT

Как я хотел одного AI-агента, а получил целую деревню

Всё началось с простого желания: чтобы AI-агент мог потихоньку развивать мои проекты, пока я занят другими делами. Поставил задачу, ушёл, вернулся к готовому результату. За неделю из этого желания выросла мультиагентная система с шиной сообщений, мониторингом, делегированием задач и собственной веб-админкой. Система, которая в значительной мере построила сама себя.Под катом: путь от первого запуска Claude Code до деревни из двенадцати агентов, каждый хак и каждые грабли на этом пути, и... Read more

0 newcommer

Engadget
Matt Tate @ Engadget 1 place · today 13:55 EDT

It looks like we're finally getting an Ocarina of Time remake

After years of rumors and countless fan-made Unreal Engine tech demos of varying quality, it sounds like we might finally be getting a ground-up remake of The Legend of Zelda: Ocarina of Time. That’s according to Nintendo insider NatetheHate, who said in the latest edition of his podcast that a remake of the seminal Nintendo 64 game would be coming to Switch 2 in the second half of 2026. The... Read more

0 newcommer

Habr
momo934 @ Habr 2 place · today 13:49 EDT

Из фронтенда в «мультиспециалисты»: Как я штурмовал вертолетный завод и получил 16 рублей

История одного выгорания, которая привела меня к токарному станку 4-го разряда. О том, как завод заманивает стипендиями, но встречает мешками со списанной формой и кумовством. О том, как важно найти «твердую почву» и почему программирование станков - это новый фронтенд, только честнее Читать далее Read more

0 fresh

Silicon Canals
Sarah Mitchell @ Silicon Canals 1 place · today 13:45 EDT

I’ve noticed something at family gatherings over the last few years. The older relatives, the ones who used to smile through every awkward conversation and absorb every bit of unsolicited drama, have stopped doing that. They leave earlier. They say no more. They don’t explain themselves as much. And the younger people at the table? ... Read more Read more

0 fresh

Wired
Brad Bourque @ Wired 1 place · today 13:39 EDT

This Premium Sennheiser Soundbar Is $1,000 Off

Save big on this oversized Sennheiser soundbar with lots of ports and excellent virtual surround. Read more

0 fresh

Engadget
Lawrence Bonk @ Engadget 2 place · today 13:35 EDT

The original Hollow Knight just got an update to fix a glitch with a final boss

Team Cherry just fixed a bug with the original Hollow Knight, according to a report by GamesRadar. That game came out a full nine years ago, so it's pretty impressive that the dev team is still cranking out updates. Spoilers follow, but it's been nine years so whatever. The update involves a glitch regarding an attack from The Radiance, one of the final bosses of the game. At later stages,... Read more

0 fresh

BetaKit
Jesse Cole @ BetaKit 1 place · today 13:31 EDT

Feds put nearly $29 million toward cleantech projects across Canada

Funded projects include Red Deer solar research and two Saskatchewan projects studying carbon capture technology. Read more

0 fresh

Silicon Canals
Sarah Mitchell @ Silicon Canals 2 place · today 13:30 EDT

Psychology says people who are intellectually curious but socially selective aren’t antisocial — they’ve simply reached a level of self-awareness where they’d rather be alone than accommodate conversations that require them to shrink their thinking

I’ll admit something that took me years to say out loud: I’ve never been the person who lights up at the idea of a crowded dinner party. For most of my twenties, I thought that meant something was wrong with me. Everyone around me seemed energized by packed social calendars and big group hangs, and ... Read more Read more

0 fresh

The most popular news from the same source for the last week
Habr Habr
Habr
Dmitrii85 @ Habr · 03/20/2026 14:12 EDT

Рубрикатор клинических рекомендаций Минздрава РФ: почему врачу неудобно работать с PDF

Когда врач ищет клинические рекомендации, ему обычно нужен не весь PDF, а конкретный фрагмент: схема лечения, критерии диагностики, раздел для детей или взрослых, связь с МКБ-10. На этом месте официальный рубрикатор и обычный поиск по документам начинают проигрывать реальному сценарию. В статье разбираю задачу с инженерной точки зрения: почему одного каталога недостаточно, зачем нужны нормализация, версионирование, гибридный поиск, офлайн-кэш и ссылки на источник. На примере клинических рекомендаций Минздр Read more

0

Habr
ZiNTeR @ Habr · 03/20/2026 14:34 EDT

Ремонт механизма офисного кресла Top Gun. Как починить его, и сделать надежным

Так сложилось, что в последние 3 года в мою жизнь вошли сварочные работы. У нас с женой в Краснодаре своя сварочная мастерская. Я – любитель. Моя жена профессиональных сварщик аргоном и полуавтоматом. В статье я расскажу, как можно починить механизм «качалки» (он же Top-Gun) компьютерных кресел. Обсудим слабые места. Признаки проблем с ним. Как это можно починить – простыми (и не очень) инструментами. Или сделать более прочным при помощи сварки.... Read more

0

Habr
franky_d_zoro @ Habr · 03/20/2026 14:49 EDT

Внедрение SEO в цикл разработки SDLC

Сайт запустили два месяца назад. Дизайн стильный, кнопки нажимаются, оплата проходит. Но органического трафика – ноль. SEO-специалист проводит аудит и выдаёт вердикт: «Нужно переписывать половину сайта. Каталог отрисовывается на клиенте через JavaScript – поисковый робот видит пустую страницу. URL-адреса выглядят как /page?id=37841. Структура заголовков отсутствует. Бюджет на разработку уже потрачен, и каждый час переделок стоит новых денег.Знакомая ситуация? Она повторяется в половине проектах что приходят Read more

0

Habr
DanielLetto2025 @ Habr · 03/20/2026 15:13 EDT

Как я устал от того, что локальные ИИ-агенты ломают мои планы, и написал CLI-инструмент для защиты структуры задач

HBT — production-grade CLI для управления иерархическими задачами с защитой от изменений. Идеальный инструмент для работы с LLM, автономными агентами и сложными проектами. Читать далее Read more

0

Habr
ggsel (ggsel.net) @ Habr · 03/20/2026 15:17 EDT

Весенняя распродажа Steam 2026: топ-50 игр по скидкам

В Steam открылась 4 большая весенняя распродажа — тысячи игр получили серьезные скидки, включая совсем недавние релизы. Это отличный повод поддержать любимых разработчиков или закрыть давние хотелки в библиотеке!Мы собрали самые интересные предложения из разных жанров, чтобы упростить вам выбор. Читать далее Read more

0

Habr
deema35 @ Habr · 03/20/2026 15:18 EDT

Создание USB контроллера на FPGA чипе и подключение клавиатуры

Здравствуйте меня зовут Дмитрий сегодня мы напишем контроллер USB шины и подключим к нему клавиатуру. Читать далее Read more

0

Habr
intdif @ Habr · 03/20/2026 16:59 EDT

Может ли парусная яхта идти быстрее ветра?

Пока соцсети активно обсуждают блокировку Телеграм РКН-ом, «по просьбам трудящихся», решил вспомнить такую тему. Когда-то она была очень популярна. Здесь нет ничего нового, просто собрал воедино некоторые материалы. Введение Вопрос о том, может ли парусное судно двигаться быстрее ветра, на первый взгляд кажется абсурдным. Интуиция подсказывает: если толкающая сила создаётся ветром, то как можно обогнать то, что тебя толкает? Однако на протяжении десятилетий эта тема вызывала жаркие споры — от... Read more

0

Habr
KaRaKlA @ Habr · 03/20/2026 17:30 EDT

Конкурсные списки: как публичные СНИЛС и приказы о зачислениях создают риск для персональных данных

Приемная кампания в российских колледжах и вузах сопровождается публикацией обширных массивов данных на официальных сайтах. С одной стороны, это требование прозрачности процедуры зачисления. С другой стороны, существующий подход к обезличиванию информации содержит системную уязвимость, которая позволяет стороннему наблюдателю с высокой точностью сопоставить ФИО абитуриента с его номером СНИЛС.Я провел анализ открытых источников 100 учебных заведений (вузы и колледжи) и выяснил, что 87 из них оставляют возмо Read more

0

Habr
Livadies @ Habr · 03/20/2026 17:40 EDT

Запуск Open-Sora на 15 ГБ VRAM: Реверс-инжиниринг, monkey-patching и борьба с NaN-ами

Запуск современных Text-to-Video моделей локально — задача не для слабонервных. Когда китайские исследователи из PKU-YuanGroup выложили в open-source свою модель Open-Sora-Plan, энтузиасты бросились её тестировать. Но есть нюанс: оригинальный пайплайн рассчитан на кластеры уровня H100/A100. Веса модели в полном разрешении занимают десятки гигабайт.Моя цель заключалась в том, чтобы запустить инференс Open-Sora-Plan (v1.3.0) в спартанских условиях — на абсолютно бесплатном инстансе Google Colab с видеокартой. Read more

0

Habr
Emelian1917 @ Habr · 03/20/2026 17:56 EDT

Лена, прости! Или как мы заменили QA тестировщика на автономного AI-агента за 24 часа

В стартапе на стадии Pre-Seed/Seed вы либо фанатично считаете деньги, либо умираете. В RankCaster AI мы уперлись в классическую ловушку масштабирования: больше фич = больше людей в QA = раздутый COGS и медленные релизы.Регрессионный анализ каждого апдейта занимал до 48 часов ручного труда. Мы решили, что платить за «прокликивание» дашбордов в 2026 году — это грех, и собрали автономного AI-агента, который делает это лучше человека. Читать далее Read more

0

Most popular sources

  • You see 881 news out of 881.
  • Sources 61 out of 61.
150sec 0%
Droid Life 0%
Startup News 0%
Tech Wire Asia 0%
ArcticStartup 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

27.03.2026 14:14
Last update: 14:06 EDT.
News rating updated: 20:04.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026