CAPABILITIES
Что умеет ИИ
Сорок возможностей, объединённых в девять семейств по предмету обработки. Для каждой объясняется, что она означает, как устроена технически, где применяется и какие продукты её уже реализуют.
Нажмите на любую ячейку, чтобы увидеть возможности для пары «вход → выход».
Язык и знания
10 возможностейОт написания первого слова до понимания целого документа: это семейство работает с самими последовательностями символов — порождает, переписывает, переводит, резюмирует, извлекает, ищет и рассуждает.
Генерация текста
Продолжает текст слово за словом
Диалог и следование инструкциям
Понимать намерение по ходу диалога и выполнять его
Машинный перевод
Передать текст с одного языка на другой
Суммаризация текста
Сжать длинный текст в более короткий и точный
Классификация текста и анализ тональности
Присвоить тексту заранее заданную метку
Извлечение информации и распознавание сущностей
Извлечь имена, места и связи из свободного текста
Вопросы и ответы с поиском
Сначала находит свидетельства, затем отвечает по ним
Рассуждение и цепочка мыслей
Разбить трудную задачу на промежуточные шаги
Текстовые эмбеддинги и семантический поиск
Превратить фразы в векторы и найти ближайшие по смыслу
Переранжирование результатов
Переупорядочить кандидатов по истинной релевантности
Понимание изображений
7 возможностейНаучить модель понимать изображение. От простейшей классификации до выделения объектов рамками, попиксельной сегментации, распознавания текста и лиц, а затем и ответов на вопросы об изображении.
Классификация изображений
Определить, к какому классу относится изображение целиком
Обнаружение объектов
Обвести каждый объект рамкой и назвать его
Сегментация изображений
Пометить каждый пиксель объектом, к которому он относится
Оценка позы и ключевых точек
Найти суставы и восстановить скелет
Оптическое распознавание символов
Прочитать текст на изображении как редактируемые символы
Распознавание лиц
Определить, принадлежат ли два лица одному человеку
Понимание изображений и визуальные вопросы
Смотреть на изображение и отвечать на свободные вопросы
Генерация и редактирование изображений
5 возможностейОт описания или наброска — сразу к изображению: его созданию, правке и восстановлению. Это семейство генеративного ИИ, которое широкая публика заметила первым.
Текст в изображение
Превратить фразу в изображение
Изображение в изображение
Пересоздать похожее изображение из исходного
Редактирование изображений и инпейнтинг
Изменить участок изображения текстовой инструкцией
Суперразрешение и восстановление
Сделать чёткими мелкие, размытые или старые изображения
Вырезание и удаление фона
Чисто вырезать объект из фона
Видео
4 возможностейВидео — это движущееся изображение плюс время. Здесь приходится работать и с пространством, и со временем: генерировать короткие ролики, понимать действия, монтировать кадры и синхронизировать губы.
Текст в видео
Превратить фразу в короткий видеоклип
Изображение в видео
Заставить статичное изображение двигаться
Понимание видео
Понять, что происходит в видео
Редактирование видео и синхронизация губ
Перемонтировать или переозвучить видео под движение губ
Речь и музыка
4 возможностейЗвук — это и волна, и временной ряд. Распознавание речи переводит его в текст, синтез речи — обратно; генерация музыки и звуковых эффектов даёт готовый к прослушиванию материал.
Распознавание речи
Перевести речь в текст
Синтез речи
Озвучить текст естественным голосом
Клонирование и преобразование голоса
Воспроизвести голос по нескольким образцам
Генерация музыки и звуков
Создать музыку или звуковой эффект по описанию
3D
2 возможностейПеревод двумерных данных в трёхмерные активы: сетки, облака точек и сцены, пригодные для рендеринга. Это основа для игр, кино и симуляции роботов.
Код и ПО
2 возможностейКод — язык со строгой грамматикой. Это семейство не просто дописывает следующую строку, но и понимает весь репозиторий, запускает команды, ищет и исправляет ошибки.
Агенты и работа с инструментами
3 возможностейКогда модель умеет вызывать инструменты, читать и писать файлы и управлять браузером, она переходит от ответов на вопросы к выполнению задач. Здесь важно выстраивать действия в надёжные цепочки.
Данные и документы
3 возможностейПревращение беспорядочных таблиц, документов и вёрстки в структурированные поля. Это первый барьер, который приходится преодолеть, встраивая ИИ в реальный рабочий процесс.