12 place 0

827 Как технология LayerScale спасает сверхглубокие трансформеры (и почему о ней молчат туториалы)

Habr
YH7H22 @ Habr · 05/18/2026 09:25 EDT

Как технология LayerScale спасает сверхглубокие трансформеры (и почему о ней молчат туториалы)

Все знают, что трансформеры можно масштабировать: просто добавь больше слоев, и модель станет умнее. Но на практике попытка обучить трансформер глубиной больше 50 слоев часто оборачивается градиентным хаосом и расходящимся loss'ом. В этой статье мы разберем малоизвестную, но критически важную технологию LayerScale. Мы посмотрим, как Residual связи «загрязняют» шину данных, и как один микроскопический обучаемый вектор, инициализированный почти нулем, позволяет обучать модели любой глубины, обманывая оптимиза

To see detailed statistics for the news please log in »

Read the original

Add your comment
You must be logged in with Facebook to read and write comments.

A newsletter a day!

You may get 10 most important news around midday in daily newsletter. Press the button and we will send you the most important news only, no spam attached.

or register

LIKE us on Facebook so you won't miss the most important news of the day!

News from the same source
Habr Habr
Silicon Valley
George Avalos @ Silicon Valley 1 place · 02/07/2106 01:28 EDT

Newark apartment complex bought for much less than prior value

An East Bay apartment complex has been bought at a price that's well below its prior value. Read more

0

🔮
27.06.2026 ♏︎ Certainly! Here's the long horoscope for the Scorpio sign today, based on the specified parameters:... Read more ›
Silicon Valley
George Avalos @ Silicon Valley 2 place · 02/07/2106 01:28 EDT

PG&E buys San Jose building to bolster South Bay operations

A PG&E Corp. unit has bought a San Jose building in a move to bolster the utility's South Bay operations. Read more

0

SlashGear
SlashGear 1 place · today 16:15 EDT

These Are The Highest-Rated Weed Eaters You Can Buy At Harbor Freight

For those who need to do some solid yard work, you might be looking at a weed eater. These are the highest rated options available at Harbor Freight. Read more

0 fresh

Gizmodo
Justin Carter @ Gizmodo 1 place · today 16:15 EDT

‘The Boroughs’ Dies With High Streaming Views

Netflix may not want more 'The Boroughs,' but it seems audiences sure did, particularly the boomer generation. Read more

0 newcommer

Digital Trends
Varun Mirchandani @ Digital Trends 1 place · today 16:00 EDT

Finding Android apps on the Google Play Store just got a lot easier thanks to Gemini

Google has launched the Google Play connected app for Gemini, allowing users to discover apps, make select purchases, and buy Play gift cards using AI. Read more

0 fresh

Eurogamer.net
Vikki Blake @ Eurogamer.net 1 place · today 15:57 EDT

PlayStation is pulling "previously purchased" digital movies from users' libraries

Sony has written to PlayStation customers to advise that hundreds of "previously purchased" digital movies previously available via its online store will "be removed" from video libraries later this year. Read more Read more

0 fresh

Digital Trends
Vikhyaat Vivek @ Digital Trends 2 place · today 15:48 EDT

Forget console wars. Steam Machine may help kill lazy PC gaming ports

Valve’s Steam Machine may not be the most powerful gaming PC, but its fixed hardware target and SteamOS push could encourage developers to optimize PC games better. Read more

0 fresh

SlashGear
SlashGear 2 place · today 15:45 EDT

Flex Fuel With Regular Gas: Can You Mix These Fuel Types?

Flex fuel, or E85 gasoline is a good deal cheaper than your regular blend, but can you mix the two together? Here's everything you need to know. Read more

0 fresh

Engadget
Engadget 1 place · today 15:45 EDT

Here's your daily reminder that you don't own digital content

People in Europe will soon lose access to Studio Canal movies they paid for on the PlayStation Store. Read more

0 fresh

Habr
Careviolan @ Habr 1 place · today 15:40 EDT

Как превратить ChatGPT.com в Codex (но без лимитов)

Codex это прекрасно, но лимиты все меньше, а цена все выше. Но ведь под капотом просто gpt-5.5(вот промпт)?Один диалог слева пишет код, справа другой проверял результат, третий держал контекст, а я в это время мог накидать очередь следующих шагов и уйти пить чай. Если задача закончилась — пусть прилетит сообщение в Telegram.Так появился экспериментальный Chrome-плагин ChatGPT Multi Pane: GitHub Читать далее Read more

0 fresh

Slashdot
EditorDavid @ Slashdot 1 place · today 15:34 EDT

Scroll Burned in 79 AD Volcanic Eruption Finally Deciphered Using AI

When Mt. Vesuvius erupted in 79 A.D., it buried hundreds of papyrus scrolls. They were rediscovered in the mid-1700s, remembers Smithsonian magazine, "the only surviving collection of its kind from the Greco-Roman world..." "But when scholars tried to unroll them, the carbonized manuscripts crumbled to dust." Every generation that followed faced the same dilemma: They could wait for technology to advance, abandoning hope of reading the ancient texts in their... Read more

0 fresh

VentureBeat
VentureBeat 1 place · today 15:30 EDT

Anthropic recently told its growth team to hire more product managers, not fewer. The reason, as reported in industry coverage, was that Claude Code had quietly turned its engineering org into a team that ships at roughly three times its actual headcount, and the bottleneck moved from the integrated development environment (IDE) to the people deciding what to build.That detail is easy to miss in the noise of every AI... Read more

0 fresh

Digital Trends
Varun Mirchandani @ Digital Trends 3 place · today 15:30 EDT

Apple Books apparently has the same knockoff problem as Amazon

Joanna Stern says AI-generated knockoff versions of her book keep appearing on Apple Books, highlighting a growing problem with digital bookstores. Read more

0 fresh

SlashGear
SlashGear 3 place · today 15:15 EDT

This Is Probably The Best & Safest Type Of Lawn Mower To Buy If You Have A Hilly Yard

In general, mowing on a hill can be dangerous no matter which type of mower you use. However, small hills can be tackled with certain types of mowers. Read more

0 fresh

Mashable
Mashable 1 place · today 15:15 EDT

How to watch the 2026 FIFA World Cup online for free

How to watch World Cup for free. Live stream the 2026 FIFA World Cup for free from anywhere in the world. Read more

0 fresh

Habr
Kamil_GR @ Habr 2 place · today 15:12 EDT

Моё мнение о Лаборатории нейронаук и поведения человека Сбера

Впервые я столкнулся с Лабораторией нейронаук и поведения человека буквально на этой неделе, прочитав статью на Хабре «ИИ может менять мнение человека. Мы проверили это на моральных дилеммах». Учитывая авторитет Сбера как разработчика лучшего в России ИИ, я отнесся к статье достаточно серьезно. Тем удивительнее было для меня то, что авторы (коллектив сотрудников Лаборатории нейронаук) отнеслись к своей статье менее серьезно.Ошибки, которые я оптимистично классифицировал как опечатки, и крайне спорная... Read more

0 fresh

Mashable
Mashable 2 place · today 15:07 EDT

Audity credits her success to her muse and keeping things fun

Plus, the artist creator reveals her dream project. (Are you listening Brennan Lee Mulligan?) Read more

0 fresh

ScienceDaily
ScienceDaily 1 place · today 14:54 EDT

Aging may trigger the appearance of specialized stem cells that supercharge the body's ability to create new belly fat. The discovery reveals a potential biological driver of middle-age weight gain and a promising target for future anti-obesity treatments. Read more

0 fresh

Gizmodo
Justin Carter @ Gizmodo 2 place · today 14:50 EDT

Brad Bird’s Ready and Hoping for ‘Ray Gunn’ to Hit Theaters

If you think 'Ray Gunn' should be on the big screen, you're not wrong. But will Netflix pull a Netflix, or give it a fair shot? Read more

0 fresh

The most popular news from the same source for the last week
Habr Habr
Habr
asakura201 @ Habr · 06/20/2026 16:43 EDT

Записная книжка, которой не было, или Почему простота — истинная добродетель

Я изучил записные книжки шести писателей-классиков и обнаружил, что ни один из них не вёл "систему управления знаниями". Их тетради были хаотичны, а сам подход не навязывал структуру. В результате исследования я сделал свою полноценную "тетрадь писателя" на Go в 3253 строки с нулём фреймворков и минимумом зависимостей. Под катом — пространное эссе о том, почему "удобно" и "просто" — разные вещи. Читать далее Read more

0

Habr
OlegSivchenko @ Habr · 06/20/2026 17:01 EDT

Визит к Полигимнии: догадки о составе сверхплотного астероида

Мои постоянные читатели знают, что ранее я не раз затрагивал на Хабре тему скрытой массы и поиск гипотетических частиц или объектов, из которых может состоять тёмная материя. Базовый минимум о тёмной материи на русском языке изложен в отличной книге Йостейна Кристиансена «Невидимая Вселенная», вышедшей в 2022 году. Чаще всего рассматривается два основных варианта «скрытой массы»: либо предполагается, что она состоит из каких-то пока не известных частиц, не взаимодействующих с обычной... Read more

0

Habr
900k @ Habr · 06/20/2026 17:30 EDT

Знакомимся с Cruzo. Часть 1. RxBucket – контейнер состояний и конфигураций компонентов на фронте

Не так давно, я наконец выложил на github свой фреймворк cruzo – https://github.com/MaratBektemirov/cruzo. Сам фреймворк писался где-то с 2020г, в свободное от работы время. Причем большую часть времени я потратил на шаблонизатор с реактивными значениями.Я хотел сделать минималистичный, но в то же время мощный инструмент для создания простых и сложных веб-приложений. Попытался взять хорошие идеи от разных фреймворков и собрать их в одном месте. Одна из таких идей - это... Read more

0

Habr
appet1te @ Habr · 06/20/2026 18:38 EDT

Теория игр в обычной жизни. Своя игра

«Моя игра, моя игра, Она мне принадлежит и таким же, как и я. Моя игра, моя игра, Здесь правила одни, и цель одна.»Предаваясь размышлизмам на стыке впф, этологии, менеджмента, преподавания и теории игр, я пришел к выводу, что разные люди(или же агенты) играют в разные игры.В прошлой заметке по теории игр, я уже описывал ситуацию, когда один игрок играет в игру сотрудничество, а другой в игру «поесть другого» или «достигнуть... Read more

0

Habr
ArgusXII @ Habr · 06/20/2026 18:47 EDT

Предметно-ориентированная СМК: как построить живую инженерную модель качества предприятия

Систему менеджмента качества на предприятии часто воспринимают слишком узко: как набор обязательных процедур, журналов, форм, регламентов, протоколов, подписей и документов для аудита. В такой логике СМК существует рядом с реальной деятельностью предприятия: производство работает, склад принимает, закупки закупают, сервис обслуживает, ERP фиксирует документы, а система качества как будто отдельно ведёт свои формы и подтверждения.Но у СМК есть гораздо более серьёзный потенциал. Она может быть не документальн Read more

0

Habr
alexlptk (StudyAI) @ Habr · 06/20/2026 19:08 EDT

Как объединить два фото в одно нейросетью — Проверяем как ТОП-6 ИИ соединяют 2 картинки в 1

Вы в разных городах, любимого человека физически нет рядом, а общий снимок хочется так, что аж сводит. Или на групповом фото у тебя удачное лицо, но друг моргнул. Или ты ведешь блог и тебе нужен чистый кадр «До/После» по ремонту или фитнесу, а не кривой коллаж из двух картинок встык. Раньше это решалось Фотошопом и парой часов возни со слоями. В 2026 году хватает двух исходников, одного описания - и... Read more

0

Habr
Fakeonomics @ Habr · 06/20/2026 22:58 EDT

Четыре грабли, один вихрь и 60% на CIFAR-10 с M0+

Продолжение цикла. До этого были базовые цифры и анонс 5 архитектур. Теперь - что сломалось, как чинили, что узнали. Читать далее Read more

0

Habr
ivanarefyev @ Habr · 06/20/2026 23:04 EDT

Империя на дешевой одежде — История H&M

Почему H&M сжигает тонны собственной одежды? Почему именно женские трусики удвоили прибыль компании? И почему H&M называют убийцами высокой моды. И как владелец H&M Стефан Перссон стал самым богатым человеком Швеции. Читать далее Read more

0

Habr
empenoso @ Habr · 06/21/2026 00:44 EDT

Вот и следующий день, утро воскресенья. В комментариях к моей статьи о поездке развернулась дискуссия: многие написали что 55 тысяч это дорого и кто-то советовал направить эти деньги в ОФЗ, а кто-то как обычно перепутал меня с другим автором со схожей фамилией. Кстати мы с ним случайно пересеклись и даже сфоткались.Вместо трёх частей я решил сделать две (часть докладчиков не смогла добраться из-за закрытых аэропортов, а у несколько других запланированных... Read more

0

Habr
opium @ Habr · 06/21/2026 01:25 EDT

Бэкпорты теперь делают боты: как Valkey пустил ИИ-агентов в мейнтенанс — и удержал контроль

Valkey (форк Redis под крылом Linux Foundation) в релизном цикле 9.1 отдал ИИ-агентам рутину мейнтенанса: бэкпорт-агент сам раскатывает фиксы по веткам 7.2/8.0/8.1/9.0, отдельный агент сканирует provenance кода на конфликт с нынешней лицензией Redis (чтобы в форк случайно не затёк несовместимый код родителя), а агентский поиск багов наткнулся на ещё закрытую CVE. Разбираю не «ИИ заменяет мейнтейнеров», а как это сделали по уму: по словам Мэделин Олсон из AWS, агентов посадили... Read more

0

Most popular sources

  • You see 424 news out of 424.
  • Sources 61 out of 61.
Financial Times 0%
Wired 0%
CNET 0%
BetaKit 0%
Ubergizmo 0%
View sources »

LIKE us on Facebook so you won't miss the most important news of the day!

27.06.2026 16:40
Last update: 16:35 EDT.
News rating updated: 23:30.

What is Times42?

Times42 brings you the most popular news from tech news portals in real-time chart.
Read about us in FAQ section.


Times42 © 2026