Transformers documentation

OWLv2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 16.06.2023 и добавлена в Hugging Face Transformers 13.10.2023.

OWLv2

Обзор

OWLv2 был предложен в работе Scaling Open-Vocabulary Object Detection авторами Matthias Minderer, Alexey Gritsenko, Neil Houlsby. OWLv2 масштабирует OWL-ViT с помощью самообучения, в котором существующий детектор используется для генерации псевдо-аннотаций в виде рамок на парах «изображение-текст». Это приводит к значительному улучшению по сравнению с предыдущим уровнем техники для детекции объектов в режиме zero-shot.

Аннотация из статьи следующая:

Обнаружение объектов с открытым словарем значительно выиграло от предобученных зрительно-языковых моделей, но по-прежнему ограничено объемом доступных данных для обучения детекторов. Хотя данные для обучения детекторов можно расширить, используя пары «изображение-текст» из веба в качестве слабого надзора, это не было сделано в масштабах, сопоставимых с предобучением на уровне изображений. Здесь мы масштабируем данные для обнаружения с помощью самообучения, которое использует существующий детектор для генерации псевдо-аннотаций в виде рамок на парах «изображение-текст». Ключевые проблемы при масштабировании самообучения — выбор пространства меток, фильтрация псевдо-аннотаций и эффективность обучения. Мы представляем модель OWLv2 и рецепт самообучения OWL-ST, которые решают эти проблемы. OWLv2 превосходит по производительности предыдущие передовые детекторы с открытым словарем уже при сопоставимых масштабах обучения (~10 млн примеров). Однако с OWL-ST мы можем масштабироваться до более чем 1 млрд примеров, что дает дальнейшее значительное улучшение: с архитектурой L/14 OWL-ST повышает AP на редких классах LVIS, для которых модель не видела ни одной аннотации рамок, сделанной человеком, с 31,2% до 44,6% (относительное улучшение на 43%). OWL-ST открывает путь к обучению в масштабах веба для локализации в открытом мире, аналогично тому, что было достигнуто в классификации изображений и моделировании языка.

OWLv2 high-level overview. Taken from the original paper.

Эта модель была предоставлена пользователем nielsr. Исходный код можно найти здесь.

Пример использования

OWLv2, как и его предшественник OWL-ViT, является моделью детекции объектов с нулевым обучением, управляемой текстовыми условиями. OWL-ViT использует CLIP в качестве мультимодального базового блока, где визуальные признаки извлекаются с помощью трансформера, похожего на ViT, а текстовые признаки — с помощью каузальной языковой модели. Для применения CLIP в задаче детекции OWL-ViT удаляет слой пулинга последнего токена в визуальной модели и подключает легковесные классификационную и box-головки к каждому выходному токену трансформера. Возможность классификации с открытым словарем обеспечивается за счет замены весов фиксированного слоя классификации на эмбеддинги названий классов, полученные из текстовой модели. Авторы сначала обучают CLIP с нуля, а затем дообучают его end-to-end вместе с классификационной и box-головками на стандартных наборах данных для детекции, используя потерю на основе бипартитного сопоставления. Для выполнения детекции объектов с нулевым обучением по текстовым условиям можно использовать один или несколько текстовых запросов на изображение.

Owlv2ImageProcessor используется для изменения размера (или масштабирования) и нормализации изображений для модели, а CLIPTokenizer — для кодирования текста. Owlv2Processor объединяет Owlv2ImageProcessor и CLIPTokenizer в единый экземпляр, чтобы одновременно кодировать текст и готовить изображения. В следующем примере показано, как выполнять обнаружение объектов с помощью Owlv2Processor и Owlv2ForObjectDetection.

import requests
from PIL import Image
import torch

from transformers import Owlv2Processor, Owlv2ForObjectDetection

processor = Owlv2Processor.from_pretrained("google/owlv2-base-patch16-ensemble")
model = Owlv2ForObjectDetection.from_pretrained("google/owlv2-base-patch16-ensemble", device_map="auto")

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
text_labels = [["a photo of a cat", "a photo of a dog"]]
inputs = processor(text=text_labels, images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)

# Target image sizes (height, width) to rescale box predictions [batch_size, 2]
target_sizes = torch.tensor([(image.height, image.width)])
# Convert outputs (bounding boxes and class logits) to Pascal VOC format (xmin, ymin, xmax, ymax)
results = processor.post_process_grounded_object_detection(
    outputs=outputs, target_sizes=target_sizes, threshold=0.1, text_labels=text_labels
)
# Retrieve predictions for the first image for the corresponding text queries
result = results[0]
boxes, scores, text_labels = result["boxes"], result["scores"], result["text_labels"]
for box, score, text_label in zip(boxes, scores, text_labels):
    box = [round(i, 2) for i in box.tolist()]
    print(f"Detected {text_label} with confidence {round(score.item(), 3)} at location {box}")
Detected a photo of a cat with confidence 0.614 at location [341.67, 23.39, 642.32, 371.35]
Detected a photo of a cat with confidence 0.665 at location [6.75, 51.96, 326.62, 473.13]

Ресурсы

Демо-ноутбук по использованию OWLv2 для обнаружения объектов в режимах zero- и one-shot (с использованием изображений) можно найти здесь.
Руководство по задаче обнаружения объектов в режиме zero-shot

Архитектура OWLv2 идентична архитектуре OWL-ViT, однако заголовок обнаружения объектов теперь также включает классификатор объектности, который предсказывает (не зависящую от запроса) вероятность того, что предсказанная рамка содержит объект (в отличие от фона). Оценку объектности можно использовать для ранжирования или фильтрации предсказаний независимо от текстовых запросов. Использование OWLv2 идентично использованию OWL-ViT с новым, обновлённым процессором изображений (Owlv2ImageProcessor).

Transformers

OWLv2

Обзор

Пример использования

Ресурсы

Owlv2Config

класс transformers.Owlv2Config

Owlv2TextConfig

класс transformers.Owlv2TextConfig

Owlv2VisionConfig

класс transformers.Owlv2VisionConfig

Owlv2ImageProcessor

класс transformers.Owlv2ImageProcessor

preprocess

post_process_object_detection

post_process_image_guided_detection

Owlv2ImageProcessorPil

класс transformers.Owlv2ImageProcessorPil

preprocess

post_process_object_detection

post_process_image_guided_detection

Owlv2Processor

класс transformers.Owlv2Processor

__call__

post_process_grounded_object_detection

post_process_image_guided_detection

Owlv2Model

класс transformers.Owlv2Model

forward

get_text_features

get_image_features

Owlv2TextModel

класс transformers.Owlv2TextModel

forward

Owlv2VisionModel

класс transformers.Owlv2VisionModel

forward

Owlv2ForObjectDetection

класс transformers.Owlv2ForObjectDetection

forward

image_guided_detection

call