10 place 0 fresh

62 Sitemap-first аудит большого сайта: как найти пустые посадочные без полного краулинга

Habr
Staurus @ Habr · today 08:42 EDT

Sitemap-first аудит большого сайта: как найти пустые посадочные без полного краулинга

Есть привычная ошибка в техническом аудите больших сайтов: открыть краулер, поставить лимит побольше и просканировать всё.На сайте в пару тысяч страниц это работает. На сайте с семизначным инвентарём URL — нет. Полный краул упирается в память, диск, сетевые таймауты, rate limit, JavaScript-рендеринг, дубли, параметры, бесконечные фасеты и в то, что через двое суток вы получаете таблицу на миллионы строк, которую всё равно придётся сегментировать с нуля.Поэтому я начинаю не с краулера. Я начинаю с sitemap.В.

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
Habr Habr
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
18.06.2026 ♊︎ Horoscope for the Gemini sign today: Today brings you a relatively harmonious mood and the... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

Eurogamer.net
Connor Makar @ Eurogamer.net 1 place · today 09:49 EDT

For some reason, Riot Games is creating a Valorant 'pub' in east London hosted by a British takeaway guy who likes to yell "bosh!"

Ever watched a Big John video? He's a big guy from London who films himself eating food that'd probably floor me. I watched one video where he ordered three pies and two scoops of mash potato and some swamp-like sauce. Proper hearty food he calls it, then he said "bosh", and apparently he says bosh a lot. Read more Read more

0 newcommer

MacRumors
Mitchel Broussard @ MacRumors 1 place · today 09:49 EDT

Samsung Takes $50 Off 2026 Monitors, Plus Credit Towards Future Purchases

Samsung's newest monitors are now available to purchase, including the Odyssey G8, ViewFinity S8, and Movingstyle Essential. All of these are available with a $50 launch discount, plus your choice of extras including up to $300 in Samsung credit on a future purchase, a free Music Studio speaker, or free Galaxy Buds4 Pro. Note: MacRumors is an affiliate partner with Samsung. When you click a link and make a purchase,... Read more

0 newcommer

Habr
sproshchaev (OTUS) @ Habr 1 place · today 09:41 EDT

AI-ассистент пишет код: 8 антипаттернов, из-за которых он падает в проде

AI-ассистент пишет код быстрее — и ломает прод чаще. Звучит как парадокс, но цифры 2026 года это подтверждают: pull request'ов на разработчика стало на 20% больше, а инцидентов на каждый PR — на 23,5%. Самое неприятное, что эти баги почти не видны на ревью: код чистый, тесты зелёные, апрув за пять минут — а через неделю алерт. Разобираем восемь антипаттернов, которые ловят даже сеньоров: от галлюцинированных зависимостей и slopsquatting до... Read more

0 newcommer

Habr
Mixail_Soluyanov @ Habr 2 place · today 09:40 EDT

Как я нашел новую панграмму (разнобуквицу)

Прошлым летом подарили сыну магнитную азбуку. Ну, знаете, такие буквы на магнитах, можно составлять слова на холодильнике. Ну само собой получилось, что мне захотелось составить что‑то из всех букв. Оказалось, что классика вроде «Съешь ещё этих мягких французских булок» не подходит — в моём наборе каждая буква была только один раз. А те панграммы, где буквы не повторяются (можно найти, например, у Лебедева в «Ководстве») — «Эй, жлоб! Где туз?... Read more

0 fresh

Skift
Peden Doma Bhutia @ Skift 1 place · today 09:31 EDT

JTB Is Expanding Out of Japan. EXO Travel Is the Latest Deal

JTB no longer seems content being Japan's travel company. With the pieces now assembled, it intends to be Asia's, and is making a case for the world's. Read more

0 fresh

Eurogamer.net
Robert Purchese @ Eurogamer.net 2 place · today 09:30 EDT

Rockstar reveals the Grand Theft Auto 6 box art, which is quite nice I suppose, and pre-order dates for the game

Rockstar Games has revealed the box art for Grand Theft Auto 6, which looks a lot like you'd expect it to look, and it's revealed pre-order dates for the new game. Read more Read more

0 fresh

TechRadar
TechRadar 1 place · today 09:30 EDT

Clarkson's Farm season 6: release window and everything we know so far about the return of Jeremy Clarkson's hit Prime Video show

It was touch-and-go after that season 5 finale, but Clarkson's Farm season 6 will be returning. Here's everything we know about its release window, plot, and more. Read more

0 fresh

SlashGear
SlashGear 1 place · today 09:30 EDT

5 YouTube TV Features You May Not Be Aware Of

YouTube TV has been around for a few years, but many users don't know about these hidden features. Read more

0 fresh

TechRadar
TechRadar 2 place · today 09:25 EDT

It's official: GTA 6 pre-orders will begin later this month

Rockstar Games has officially confirmed that preorders for Grand Theft Auto 6 will begin later this month. Read more

0 fresh

Habr
Qwertcoser @ Habr 3 place · today 09:20 EDT

[Перевод] Почему промпты для VLM работают наоборот: как это исправить

Недавно я пытался выжать максимум из корпоративной OCR-модели, перебирая промпты и гиперпараметры, когда наткнулся на issue в репозитории Qwen-3-VL. Автор утверждал, что точность задачи выросла просто от изменения порядка: сначала изображение, потом текст. Просто перестановка блоков. Читать далее Read more

0 fresh

Business Insider
Erin McDowell @ Business Insider 1 place · today 09:18 EDT

I tried Martha Stewart's and Ina Garten's baked mac and cheese recipes. The best added an unexpected ingredient.

Both Martha Stewart and Ina Garten have recipes for baked mac and cheese, so I decided to see which is worthy of gracing your table. Read more

0 fresh

Business Insider
Lucia Moses @ Business Insider 2 place · today 09:18 EDT

'The Diary of a CEO' star Steven Bartlett is looking to his superfans for his next phase of growth

'Diary of a CEO' host Steven Bartlett is eyeing paid memberships to grow his media business as creators look to diversify beyond YouTube. Read more

0 fresh

CoinDesk
CoinDesk Indices @ CoinDesk 1 place · today 09:13 EDT

CoinDesk 20 performance update: Stellar (XLM) jumps 10% while index declines

Internet Computer (ICP) fell 4.1% and Sui (SUI) dropped 4%, leading the index lower from Wednesday. Read more

0 fresh

TechRadar
TechRadar · today 09:11 EDT

LinkedIn will now let you show off exactly what skills you have with all your favorite workplace apps

Gone are the days of self-declared skills – LinkedIn will now verify them and provide "data-backed" summaries via Connected Apps. Read more

0 fresh

The most popular news from the same source for the last week
Habr Habr
Habr
monobogdan (Timeweb Cloud) @ Habr · 06/11/2026 10:05 EDT

Тайна легендарной Nokia N70: как финны сделали кнопочный смартфон сразу с двумя процессорами

Пожалуй одним из самых массовых и известных смартфонов от Nokia был легендарный N70 и его удешевленный собрат в лице N72. Будучи выпущенным в далёком 2005 году, этот миниатюрный кнопочник скрывал в себе функционал полноценного компьютера с достаточно мощным железом, многозадачной операционной системой, поддержкой нормального Web'а и функционалом мультимедийного комбайна. Но немногие знают о том, что у этого смартфона было сразу два процессора...В сегодняшней статье мы с вами проведем полный анализ... Read more

0

Habr
ruhex0 @ Habr · 06/11/2026 10:08 EDT

Как я написал BGP-сервер и не сошёл с ума

BGPLite — open-source BGP route-server на C# и .NET 10. Он принимает BGP-сессии, динамически загружает префиксы через RIPE Stat и управляется через HTTP API. В статье разберём архитектуру проекта и реализацию собственного BGP-сервера с нуля. Читать далее Read more

0

Habr
amir73911 (Лукоморье) @ Habr · 06/11/2026 10:30 EDT

Назад в будущее UI-kit: как мы перевели живую библиотеку на дизайн-токены и ничего не сломали

UI-kit, которым пользуются несколько продуктовых команд, нельзя просто отправить в будущее и переписать под новый дизайн. За ним тянется прошлое: старые CSS-переменные, публичный API, кастомизации у потребителей и независимые релизные циклы. При этом бренд уже меняется, дизайнеры приносят новую палитру, типографику, motion, скругления и тёмную тему и всё это нужно аккуратно посадить на компоненты, которые продолжают работать в продакшене.Привет, Хабр! Меня зовут Амир, я Senior Vue.js Frontend Developer в эк Read more

0

Habr
vital_pavlenko @ Habr · 06/11/2026 10:39 EDT

Можно учить иностранные слова без интервальных повторений. Но зачем?

Когда-то я учил английские слова по обычной тетради: записывал слово, транскрипцию и перевод, а потом проходил весь список с самого начала. Пока слов было несколько десятков, это работало. Но когда их стало около тысячи, повторение превратилось в отдельную работу: большая часть времени уходила на слова, которые я и так давно помнил.Тогда я начал разбираться, почему мы забываем новую информацию, как устроены интервальные повторения и по какому принципу Anki выбирает дату... Read more

0

Habr
mipo256 (Spring АйО) @ Habr · 06/11/2026 10:50 EDT

Одна маленькая ошибка в дизайне Java API, за которую потом приходится платить очень дорого

Привет, Друзья!Хотел написать короткий пост по мотивам одного казалось бы простого ПР-а, который мы недавно получили в рамках Axelix: Open Core продукта для решения основных известных болей при разработке Spring Boot приложений (кстати, give us a star!).В общем, контрибьютор пришёл к нам и исправил с виду совершенно безобидную проблему, которую мы упустили. Но на деле, эта проблема со временем могла привести к другим багам, которые дебажить было бы крайне тяжело.... Read more

0

Habr
rakhanau @ Habr · 06/11/2026 10:55 EDT

Let's Encrypt больше не вариант? Обзор альтернатив

4 июня 2026 года Let's Encrypt тихо обновил пользовательское соглашение до версии 1.7. Новый пункт обязывает получателя сертификата подтвердить, что он не находится под полными санкциями США. В России это вызвало волну обсуждений — и не без причины. В Беларуси пока тихо. Но тихо — не значит «нас это не касается». Читать далее Read more

0

Habr
bloomeatt @ Habr · 06/11/2026 10:54 EDT

Маршрутизируем отдельные сервисы через внешний шлюз на MikroTik: BGP + DNS FWD + xray core

Как-то раз в мою сисадминскую жизнь пришел простой и понятный, но, как оказалось, не самый тривиальный запрос - как сделать так, чтобы на WiFi клиентам не нужно было включать ВПН/прокси. Подключился к сети - [Вставьте свой любимый сервис] заработал. Красота. И чтобы надежно было, не отваливалось. И админить удобно. Основная идея - сделать все на минималках. Без скриптинга, без тяжелого mangle. Чем ближе к голой маршрутизации - тем лучше.В общем,... Read more

0

Habr
Wagok @ Habr · 06/11/2026 11:13 EDT

LLM написала, человек одобрил, никто не понял: откуда на самом деле берётся нечитаемый код

Код работает, тесты зелёные — а читать его невозможно. Документация «содержит всё» — а в голове после неё не остаётся ничего. Привычный диагноз «плохо обучили» объясняет не всё: человек и LLM мыслят по-разному устроенными механизмами, и значительная часть «низкого качества» — это столкновение двух когнитивных архитектур. Где на самом деле предел внимания LLM, почему у человека сложность болит, а у модели нет, и кто в системе «человек + LLM» заметит... Read more

0

Habr
SmartEngines (Smart Engines) @ Habr · 06/11/2026 11:42 EDT

Встраиваем проверку возраста без ЕБС в Telegram, MAX и любой другой мессенджер

Привет, Хабр! Говоря о проверке возраста для доступа к онлайн-платформам, нельзя обойти стороной один из наиболее очевидных кейсов: мессенджеры. Они давно вышли за рамки простого обмена сообщениями – и для многих новых функций есть конкретные возрастные ограничения. В этой статье мы поговорим о том, как за пару минут интегрировать распознавание паспорта для удобной возрастной идентификации в мини-приложение мессенджера – без биометрии, ЕБС и раскрытия персональных данных. С кодом и видео.... Read more

0

Habr
metarock @ Habr · 06/11/2026 11:47 EDT

Алгоритмы векторного поиска: IVF и HNSW

В данной статье я хочу пройтись по двум самым популярным алгоритмам векторного поиска, используемым на практике. Попробуем понять, почему точный поиск не работает в высоких размерностях и почему мы в итоге приходим к приближенному поиску.Заодно мы затронем тему метрик, чтобы понять, как вообще сравнивают эмбеддинги. Рассмотрим вспомогательный и очень простой алгоритм k-means из классического ML’а, лежащий в основе IVF.И наконец, подробно разберем два самых главных алгоритма IVF и HNSW с... Read more

0

Most popular sources

  • You see 920 news out of 920.
  • Sources 61 out of 61.
StartupNation 0%
AlleyWatch 0%
Droid Life 0%
VentureBeat 0%
ScienceDaily 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

18.06.2026 10:09
Last update: 10:01 EDT.
News rating updated: 17:05.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026