15 place 0

887 Как развернуть Mistral 7B на GPU-сервере через vLLM

Habr
natlysky (Selectel) @ Habr · 05/20/2026 04:00 EDT

Как развернуть Mistral 7B на GPU-сервере через vLLM

Если бюджет и ресурсы ограничены, а развернуть self-hosted LLM нужно, присмотритесь к такой связке: Mistral-7B-Instruct-v0.3 + виртуальная машина с RTX A5000 24GB в облаке + vLLM. Да, это далеко не энтерпрайз-уровень, но для некоторых базовых сценариев результат работы будет очень даже хорошим.Собственно, в этой статье мы развернем сервер с GPU, подготовим Python-окружение, установим vLLM, запустим модель, отправим тестовый запрос через API и посмотрим на базовые метрики, которые помогут оценить выбранную к

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
Habr Habr
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
09.06.2026 ♑︎ Dear Capricorn, today you can expect a day that might feel somewhat less inspiring and... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

MacRumors
Hartley Charlton @ MacRumors 1 place · today 07:25 EDT

macOS 27 Lets You Resize iPhone Mirroring in New Aspect Ratios

macOS 27 Golden Gate brings a major improvement to iPhone Mirroring, allowing users to resize the window beyond the iPhone's fixed aspect ratio for the first time. Until now, iPhone Mirroring has been limited to the iPhone's native aspect ratio in a small window. Users could adjust the window's overall size somewhat, but its proportions remained locked. With ‌macOS 27‌, users can now change the aspect ratio of the iPhone... Read more

0 newcommer

Startups News
Nickie Louise @ Startups News 1 place · today 07:24 EDT

OpenAI confidentially files for IPO at $852 billion valuation as AI race with Anthropic and SpaceX heats up

Just weeks ago, Anthropic quietly filed paperwork to go public. SpaceX is already on the road pitching investors. Now OpenAI has entered the race. The company behind ChatGPT announced Monday that it has confidentially filed for an initial public offering ... Read more

0 newcommer

Business Insider
Kristina Wright @ Business Insider 1 place · today 07:18 EDT

My family has always had dinner together. Sometimes, it's all the time we have.

I've always insisted on family dinners. As my kids get older and our schedules get more packed, it's sometimes the only time we have together. Read more

0 newcommer

Eurogamer.net
Fran Ruiz @ Eurogamer.net 1 place · today 07:17 EDT

Mina the Hollower sells 500k copies less than two weeks after launch as Yacht Club Games teases "the adventure is just getting started"

Shovel Knight studio Yacht Club Games was worried last year about Mina the Hollower's launch after such a long time away from the public, but it turns out it had nothing to worry about. Mina's debut has now sold over 500k copies in less than two weeks. Read more Read more

0 newcommer

TechRadar
TechRadar 1 place · today 07:17 EDT

Simple Height Adjustable Desk review: A mid-range standing desk with more depth than the 'simple' name might suggest

The Simple Height Adjustable Desk is, well, a simple height adjustable desk. It’s got sturdy legs, a decent desktop, especially for the money, and all of the basic features you want, without the fluff and price you don’t. Read more

0 newcommer

MacRumors
Tim Hardwick @ MacRumors 2 place · today 07:15 EDT

iOS 27: Find My App Lets You Hide Location From Others Temporarily

Apple's first iOS 27 developer beta, released on Monday, includes a new feature in the Find My app that lets you temporarily hide your location from select people. A new "Hide Location" option appears in the user's Find My card in the People section, under "My Location." Tapping it hides your location temporarily for 12 hours before reverting to your previous shared location state. When enabled, the option switches to... Read more

0 fresh

Digital Trends
Paulo Vargas @ Digital Trends 1 place · today 07:15 EDT

A humanoid robot climbed a volcano, with some very human help

A humanoid robot named Pemba reached Ecuador’s Chimborazo summit, but the climb also showed the limits of robot autonomy, especially when humans had to carry it through tougher terrain. Read more

0 newcommer

Habr
vanderwardan (AvitoTech) @ Habr 1 place · today 07:14 EDT

Почему A/B-тест не подходит для оценки ранжирования и что с этим делать

Всем привет! Меня зовут Вардан Манучарян, я аналитик в команде Монетизации Авито, и мы отвечаем за механику алгоритмов продвижения, то есть управляем порядком, в котором пользователи видят объявления. Для этого нам нужно отслеживать, как изменения в ранжировании влияют на бизнес и покупателей. В этой статье расскажу про интерливинг, — метод, который помогает корректно проводить A/B-тесты с изменением ранжирования. Статья будет интересна аналитикам, которые проводят много A/B-тестов. Читать далее Read more

0 newcommer

Eurogamer.net
Connor Makar @ Eurogamer.net 2 place · today 07:13 EDT

Xbox Game Pass lost millions of subscribers following the fall 2025 price hike, Xbox's chief strategy officer Matthew Ball has revealed. Read more Read more

0 fresh

Silicon Canals
Mal James @ Silicon Canals 1 place · today 07:11 EDT

In 1981, two researchers proposed that burnout is not simple tiredness but three separate collapses

In 1981, two psychologists published a short paper in the Journal of Organizational Behavior that quietly influences how a lot of us talk about being worn down by work. Christina Maslach and Susan E. Jackson introduced something they called the Maslach Burnout Inventory, a questionnaire, and four decades later it is still one of the ... Read more Read more

0 fresh

Habr
telphin @ Habr 2 place · today 07:10 EDT

Виртуальная АТС для бизнеса: от архитектуры до выбора провайдера

У бизнеса часто возникает закономерный вопрос: зачем нужна ВАТС, если уже есть мобильная связь и городская линия. Разница становится очевидной при масштабировании. Cуть в тщательно контролируемой модели коммуникаций, где всё имеет значение: кто принимает вызов, где фиксируется история звонков, как система работает при увеличении нагрузки, и как все эти данные использовать для контроля и анализа? Свежий обзор провайдеров ВАТС с актуальными ценами для увлечённых специалистов и рациональных руководителей - в... Read more

0 newcommer

MacRumors
Hartley Charlton @ MacRumors 3 place · today 07:07 EDT

Apple Outlines Major AI and Developer Tool Updates at 2026 Platforms State of the Union

Apple yesterday held its WWDC 2026 Platforms State of the Union, detailing a wide range of updates to its developer tools and platforms, headlined by a major expansion of the Foundation Models framework. The main announcement was free access to Apple Foundation Models running on Private Cloud Compute for developers with fewer than two million first-time App Store downloads, removing infrastructure costs as a barrier to building AI-powered features. The... Read more

0 fresh

TechRadar
TechRadar 2 place · today 07:05 EDT

Nvidia next? Broadcom's value dropped by more than $440 billion as it posts disappointing forward outlook, prompting fears of AI bubble burst

Broadcom delivers stellar earnings report and in-line guidance, but investors respond by dumping shares, highlighting concerns about an AI bubble in the making. Read more

0 fresh

The most popular news from the same source for the last week
Habr Habr
Habr
voidmain3 @ Habr · 06/02/2026 06:48 EDT

Нагрузочное тестирование: не просто скриптики и кнопка «Запуск»

Сегодня мы поговорим о нагрузочном тестировании. Той самой дисциплине, которая требуется в каждом проекте, но вспоминают о ней только тогда, когда система уже горит, а менеджеры уже успели пообещать клиенту, что «это не повторится». Сразу — не надо так!Мы рассмотрим базовые понятия. Без академизма, потому что трудно оставаться полностью серьёзным, когда видишь, как систему нагружают 10 тысячами пользователей, а она написана так, будто её автор рассчитывал на трёх с половиной... Read more

0

Habr
vaskorr @ Habr · 06/02/2026 06:58 EDT

Армагеддон в миниатюре: DC-1 WriteUp

Сегодня у нас на обзоре занимательная машинка от Vulnhub: DC-1 от автора DCAU. По ощущениям предназначена для уровня Beginner/Intermediate, хотя сам автор сложность не указал. Машина отличается нестандартными флагами - всего их раскидано пять, хотя интересен лишь один рут-флаг, остальные - просто подсказки на пути к нему. Для классификации моих действий будем использовать матрицу MITRE ATT&CK - в конце статьи вас ждет полный KillChain Читать далее Read more

0

Habr
AndrewDrummer (Леста Игры) @ Habr · 06/02/2026 07:10 EDT

Звук в мультиплатформенной MMO: как упаковать взрывы, щиты и монеты в 35 голосов

Привет, Хабр! Меня зовут Андрей Довгало, я — Senior Sound Designer в команде Tanks Blitz.Когда речь заходит об оптимизации звука, первым делом смотрят на целевую платформу и её лимиты. Но что, если ваш проект — это онлайн free-to-play MMO-экшен, который выходит на PC, macOS, iOS и Android, ежемесячно обрастает новым контентом и в него одинаково комфортно должно играть как на мощном гейминг-компьютере, так и на слабом Android-смартфоне в метро?Задача звукового... Read more

0

Habr
NIghtOwl_2M @ Habr · 06/02/2026 07:11 EDT

Восстановление старого смартфона с неисправной внутренней памятью

В статье описано восстановление смартфона Alcatel POP3 4035D после отказа большей части встроенной памяти. Читать далее Read more

0

Habr
Barseadar (СЕРВЕР МОЛЛ) @ Habr · 06/02/2026 07:17 EDT

Поймай меня, если сможешь [часть 1]: облако на Huawei Cloud Stack — что это, как используют и лицензирование

Привет, постоянные и не очень читатели!Всего одна сделка (зато какая — на 61 000 000 000 $) неплохо так встряхнула мир виртуализации и IT в целом: Broadcom купила VMware, упразднила кучу SKU и ввела подписную модель лицензирования крупными пакетами (многие оплачивают то, что им и не нужно вовсе, так как пакетов меньше просто нет). Самое плохое, что ни партнёры, ни конечные клиенты не были готовы к такому повороту событий и... Read more

0

Habr
Klochkov_Alexander (VK Tech, VK) @ Habr · 06/02/2026 07:21 EDT

О версионировании в S3 в деталях: разбор от команды VK Object Storage

S3-совместимые хранилища предоставляют бизнесу и ИТ-специалистам широкий набор инструментов для работы с данными. Это и практически бесконечная масштабируемость, позволяющая хранить петабайты информации без сложной настройки, и высокая надежность за счет автоматического резервирования, и гибкое управление доступом для разных команд и сервисов. Наряду с ними важной и полезной функцией является версионирование бакетов, которое позволяет хранить полную историю изменений каждого объекта и защищает от потери дан Read more

0

Habr
JDTapp (Doubletapp) @ Habr · 06/02/2026 07:30 EDT

Как мы настраивали онлайн-оплаты в международном edtech-проекте

Если цифровой сервис с самого начала создаётся для международной аудитории, вопрос платёжной инфраструктуры встаёт практически сразу. Как принимать оплату от пользователей из разных стран? Как переводить средства исполнителям, если у каждого — своя валюта? Как сделать так, чтобы всё это работало прозрачно, надёжно и без лишней нагрузки на команду?На примере международной образовательной платформы расскажем, как работают платёжные инструменты в подобном сервисе, какие задачи они решают — и с какими подводным Read more

0

Habr
blozheupasi @ Habr · 06/02/2026 07:26 EDT

Как я перепробовал уйму приложений для заметок за 20 лет и вернулся к обычному .txt файлу (OBTF)

Я перепробовал Notion, Todoist, Evernote и много чего еще. Все они навязывали мне свой способ думать и организовывать информацию. Обычный текстовый файл — нет. В статье я расскажу почему один .txt и ctrl/cmd + F в моем мире победил коммерческие (и не только) тудушницы и заметко-хранилища. README.txt Read more

0

Habr
Chimera87 @ Habr · 06/02/2026 07:34 EDT

Настоящий медный custom

Что делать, если акрил кажется слишком хрупким, шланги мутнеют, а твоя RTX 4080 воет под нагрузкой? Правильно! Взять полтора метра 15миллиметровой водопроводной меди, газовую горелку, собрать плоскошлифовальный станок из дрели и построить бесшумный реактор вопреки всем проблемам, которые препятствуют этому.... Читать далее Read more

0

Habr
Rabusto @ Habr · 06/02/2026 07:33 EDT

Как не потратить полдня, прикручивая Юмани-оплату к сайту

Спойлер: кажется SHA1 устарел, а туториалы этого еще не знаютПривет всем.Для контекста: я не программист. Я гуманитарий, который до безумия боится цифрового неравенства, которое уже наступает. Поэтому, вооружившись AI‑агентом (Cursor) и бесплатными Claude, Gemini, DeepSeek пытаюсь быть в тренде (некоторые называют это вайб‑кодингом). Признаться я тоже думал, что это что‑то легкое, «вайбовое» — главное, все внятно описать, что ты хочешь. Но по факту в том, что происходит, всё равно приходится... Read more

0

Most popular sources

  • You see 995 news out of 995.
  • Sources 61 out of 61.
ScienceDaily 0%
Wired 0%
StartupNation 0%
AlleyWatch 0%
Ubergizmo 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

09.06.2026 07:35
Last update: 07:31 EDT.
News rating updated: 14:33.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026