[Перевод] Коллапс модели при обучении на сгенерированных данных
![[Перевод] Коллапс модели при обучении на сгенерированных данных](https://habrastorage.org/extt/89/c0/1d/89c01d39288eb06680663a9f011b29ac.png)
Сейчас уже ясно, что большие языковые модели (LLM) никуда не денутся и существенно изменят экосистему текстов и изображений в интернете. Исследовательская группа из Оксфорда, Кембриджа, университетов Торонто и Эдинбурга провела эксперимент, что может произойти с GPT‑{n}, когда большинство текстов в…
Мы публикуем лишь краткий анонс. Все права на материал принадлежат Хабр — Machine Learning.
Ещё по теме
Почему сэмплеры 4+ порядка взрываются в диффузии, и как мы это починили: история создания Flow-WLS
Почему сэмплеры 4 и более порядков взрываются в диффузии, и как мы это починили: история создания Flow-WLS Читать далее
🧠Как мы в AI VK рекомендации на стримы делили
Привет! Это Иван Воробьев, ведущий инженер отдела базового качества рекомендаций в VK Видео (AI VK). Эта статья — про механизм рекомендаций…
🧠AI harness: кто управляет агентом и как проверить, что обвязка стала лучше
Представьте: агент подготовил ответ на обращение, вызвал сохранение черновика и получил тайм-аут. После перезапуска ему повторить запись, пр…
🧠Три стадии развития коммуникации с клиентом в ИТ
Привет, Хабр!После публикации истории развития CVM хочется поделиться практическими шагами по развитию коммуникаций с клиентами. Меня зовут…
🧠Amazon представила TorchNeuron — инструмент для запуска PyTorch на чипах Trainium
Amazon представила TorchNeuron — открытый программный модуль для переноса моделей машинного обучения на фирменные ускорители Trainium 2 и Tr…
🧠Можно ли собрать сервер из игровых комплектующих
Всем привет! Меня зовут Виталий, я инженер ЦОД. За все время работы с серверами я не раз сталкивался с конфигурациями, где граница между «се…