이 모델은 2025-04-17에 HF papers에 게시되었으며 2025-12-16에 Hugging Face Transformers에 기여되었습니다. 이 모델은 2025-04-17에 공개되었으며 2025-12-16에 Hugging Face Transformers에 추가되었습니다.

PE Video

PE Video는 Meta의 Perception Encoder 계열의 비디오 브랜치입니다. 비디오 클립과 텍스트를 공유 임베딩 공간에 대비적으로 정렬하여, 사전 학습된 단일 백본에서 제로샷 비디오 분류와 비디오-텍스트 검색을 가능하게 합니다.

인코더의 rotary embeddings와 patch embedder는 시간 축을 1급 차원으로 취급하므로, 각 프레임을 독립적으로 타일링하지 않고도 가변 길이 클립을 인코딩할 수 있습니다.

공식 PE Audio 체크포인트는 모두 perception-encoder-audio-visual 컬렉션에서 찾을 수 있습니다.

빠른 시작

import torch
from transformers import AutoProcessor, PeVideoModel
from transformers.video_utils import load_video

processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeVideoModel.from_pretrained(
    "facebook/pe-av-large",
    device_map="auto",
)

video, _ = load_video("https://huggingface.co/datasets/hf-internal-testing/fixtures_videos/resolve/main/tennis.mp4")
labels = ["a person playing tennis", "a person cooking", "a cat sleeping"]

video_inputs = processor.video_processor(video, num_frames=16, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**video_inputs, **text_inputs}

with torch.no_grad():
    outputs = model(**inputs)

probs = outputs.logits_video_text.sigmoid()
print({label: p.item() for label, p in zip(labels, probs[0])})

사용 팁 및 참고 사항

가변 길이 비디오는 padding_mask_videos(attention_mask가 아님)를 사용합니다. 비디오 프로세서가 return_tensors가 설정된 경우에만 패딩을 수행하고 이 마스크를 반환합니다. 설정하지 않으면 클립별 텐서 목록만 반환되고 마스크는 제공되지 않습니다.
num_frames를 video processor에 전달하여 [0, total_frames-1] 범위에서 고정 길이의 균일한 샘플링을 수행합니다. 이 인수를 생략하면 base class의 fps 기반 샘플링으로 대체됩니다. 체크포인트는 일반적으로 특정 프레임 수로 학습되므로, 체크포인트가 기대하는 프레임 수와 일치하도록 설정하세요.
Encoder 입력은 pixel_values_videos입니다. Encoder의 main_input_name은 "pixel_values_videos"인 반면, 전체 모델의 main_input_name은 "input_ids"입니다. 이는 main_input_name를 검사하는 범용 유틸리티를 통해 라우팅할 때 중요합니다.

PeVideoConfig

클래스 transformers.PeVideoConfig

< source >

매개변수

text_config (Union[dict, ~configuration_utils.PreTrainedConfig], 선택) — 텍스트 백본의 config 객체 또는 사전입니다.
video_config (dict 또는 PreTrainedConfig, 선택) — 비디오 인코더 구성 요소에 대한 설정입니다.

이것은 PeVideoModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Pe Video 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 facebook/pe-av-large와 유사한 구성이 생성됩니다.

Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.

>>> from transformers import PeVideoModel, PeVideoConfig

>>> # Initializing a PeVideoModel style configuration
>>> configuration = PeVideoConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeVideoModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeVideoEncoderConfig

클래스 transformers.PeVideoEncoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_size: int = 1792intermediate_size: int = 4800num_hidden_layers: int = 6num_attention_heads: int = 14num_key_value_heads: int | None = Nonehead_dim: int = 128hidden_act: str = 'silu'max_position_embeddings: int = 10000initializer_range: float = 0.02rms_norm_eps: float = 1e-05rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0 )

매개변수

vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], 선택) — 비전 백본의 config 객체 또는 사전입니다.
hidden_size (int, 선택 사항, 기본값 1792) — 숨겨진 표현의 차원입니다.
intermediate_size (int, 선택 사항, 기본값 4800) — MLP 표현의 차원입니다.
num_hidden_layers (int, 선택 사항, 기본값 6) — Transformer decoder의 숨겨진 레이어 수입니다.
num_attention_heads (int, 선택 사항, 기본값 14) — Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다.
num_key_value_heads (int, 선택 사항) — Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. num_key_value_heads=num_attention_heads인 경우 모델은 Multi Head Attention(MHA)을 사용하고, num_key_value_heads=1인 경우 모델은 Multi Query Attention(MQA)을 사용하며, 그 외에는 GQA가 사용됩니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 이 논문을 확인하세요. 지정되지 않으면 num_attention_heads가 기본값으로 사용됩니다.
head_dim (int, 선택 사항, 기본값 128) — Attention head의 차원입니다. None인 경우 hidden_size // num_attention_heads 값이 기본값으로 사용됩니다.
hidden_act (str, 선택 사항, 기본값 silu) — 디코더의 비선형 활성화 함수(함수 또는 문자열)입니다. 예를 들어, "gelu", "relu", "silu" 등이 있습니다.
max_position_embeddings (int, 선택 사항, 기본값 10000) — 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다.
initializer_range (float, 선택 사항, 기본값 0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.
rms_norm_eps (float, 선택 사항, 기본값 1e-05) — rms 정규화 레이어에서 사용되는 epsilon 값입니다.
rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], 선택) — RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 rope_theta 값이 포함되어야 하며, 더 긴 max_position_embeddings로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수를 선택적으로 포함할 수 있습니다.
attention_bias (bool, 선택 사항, 기본값 False) — 자기 주의(self-attention) 시 query, key, value 및 출력 투영 계층에 bias를 사용할지 여부입니다.
attention_dropout (Union[float, int], 선택 사항, 기본값 0.0) — Attention 확률에 적용할 dropout 비율입니다.

Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.

예:

>>> from transformers import PeAudioEncoder, PeAudioEncoderConfig

>>> # Initializing a PeAudioEncoder style configuration
>>> configuration = PeAudioEncoderConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioEncoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeVideoVideoProcessor

class transformers.PeVideoVideoProcessor

< source >

( **kwargs: *<class 'transformers.processing_utils.VideosKwargs'> )

매개변수

do_convert_rgb (bool, kwargs, 선택 사항) — 이미지를 RGB로 변환할지 여부입니다.
do_resize (bool, kwargs, 선택) — 이미지를 리사이즈할지 여부.
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 모델의 최대 입력 차원을 설명합니다.
default_to_square (bool, kwargs, 선택 사항, 기본값 True) — size가 int인 경우 리사이즈 시 정사각형 이미지로 기본 설정할지 여부입니다.
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, 기본값 2) — 이미지 크기를 조정할 때 사용할 리샘플링 필터입니다. PILImageResampling enum 중 하나를 사용할 수 있습니다. do_resize가 True로 설정된 경우에만 효과가 있습니다.
do_rescale (bool, kwargs, 선택 사항) — 이미지를 다시 스케일링할지 여부입니다.
rescale_factor (float, kwargs, 선택 사항, 기본값 0.00392156862745098) — do_rescale이 True로 설정된 경우 이미지를 재조정(rescale)하는 데 사용할 재조정 계수입니다.
do_normalize (bool, kwargs, optional) — 이미지를 정규화할지 여부.
image_mean (Union[float, list[float], tuple[float, ...]], kwargs, 선택) — 정규화에 사용할 이미지 평균입니다. do_normalize가 True로 설정된 경우에만 효과가 있습니다.
image_std (Union[float, list[float], tuple[float, ...]], kwargs, 선택) — 정규화에 사용할 이미지 표준 편차. do_normalize가 True로 설정된 경우에만 효과가 있습니다.
do_center_crop (bool, kwargs, 선택) — 이미지를 중앙으로 크롭할지 여부.
do_pad (bool, kwargs, optional) — 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다.
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop을 적용한 후 출력 이미지의 크기.
data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 선택 사항) — ChannelDimension.FIRST만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다.
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 선택 사항) — 입력 이미지의 채널 차원 형식입니다. 설정되지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다:
- "channels_first" 또는 ChannelDimension.FIRST: (num_channels, height, width) 형식의 이미지.
- "channels_last" 또는 ChannelDimension.LAST: (height, width, num_channels) 형식의 이미지.
- "none" 또는 ChannelDimension.NONE: (height, width) 형식의 이미지.
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 동영상을 처리할 장치입니다. 설정되지 않은 경우, 입력 동영상에서 장치를 추론합니다.
do_sample_frames (bool, kwargs, 선택) — 처리 전에 비디오에서 프레임을 샘플링할지, 아니면 비디오 전체를 처리할지 여부를 지정합니다.
video_metadata (Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None], kwargs) — 총 길이, fps, 총 프레임 수에 대한 정보를 포함하는 비디오의 메타데이터입니다. 비디오에서 프레임을 샘플링하거나 타임스탬프를 계산하는 데 사용됩니다. 비디오를 수동으로 디코딩하여 처리하려는 경우를 제외하고는 메타데이터를 전달하지 마세요.
fps (Annotated[int | float | None, None], kwargs) — do_sample_frames=True인 경우 초당 샘플링할 대상 프레임 수.
num_frames (Annotated[int | None, None], kwargs) — do_sample_frames=True일 때 샘플링할 최대 프레임 수.
return_metadata (bool, kwargs, 선택, 기본값 False) — 비디오 메타데이터를 반환할지 여부입니다. 비디오 메타데이터는 비디오 길이, fps, 디코딩 백엔드 등에 대한 정보를 포함하는 객체입니다.
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 설정된 경우, 특정 프레임워크의 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:
- 'pt': PyTorch torch.Tensor 객체를 반환합니다.
- 'np': NumPy np.ndarray 객체를 반환합니다.
**kwargs (VideosKwargs, optional) — 각 모달리티(텍스트, 이미지, 비디오, 오디오)에 대한 추가 처리 옵션입니다. 모델별 매개변수는 위에 나열되어 있으며, 지원되는 인자의 전체 목록은 TypedDict 클래스를 참조하세요.

PeVideoVideoProcessor 비디오 프로세서를 생성합니다.

PeVideoProcessor

클래스 transformers.PeVideoProcessor

< source >

( *args**kwargs )

PeVideoEncoder

class transformers.PeVideoEncoder

< source >

( config: PeVideoEncoderConfig )

매개변수

config (PeVideoEncoderConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 연관된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.

PeVideo Encoder 모델.

이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.

forward

< source >

( pixel_values_videos: Tensorpadding_mask_videos: typing.Optional[torch.Tensor] = None**kwargs ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

매개변수

pixel_values_videos (torch.Tensor, shape (batch_size, num_frames, num_channels, frame_size, frame_size)) — 입력 비디오에 해당하는 텐서입니다. 비디오의 픽셀 값은 PeVideoVideoProcessor를 사용하여 얻을 수 있습니다. 자세한 내용은 PeVideoVideoProcessor.call()를 참조하세요 (PeVideoProcessor는 비디오 처리에 PeVideoVideoProcessor를 사용합니다).
padding_mask_videos (torch.Tensor shape (batch_size, num_frames), 선택 사항) — 패딩 비디오 프레임에 대한 attention을 수행하지 않도록 하는 마스크. 값은 [0, 1]:
- 마스크가 적용되지 않은 프레임에 대해 1
- 마스크된 프레임에 대해 0

반환값

BaseModelOutputWithPooling 또는 tuple(torch.Tensor)

torch.Tensor의 튜플 또는 BaseModelOutputWithPooling (return_dict=False가 전달되었거나 config.return_dict=False인 경우)로, 구성(PeVideoConfig)과 입력에 따라 다양한 요소를 포함합니다.

PeVideoEncoder의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

last_hidden_state (torch.Tensor, shape (batch_size, sequence_length, hidden_size)) — 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
pooler_output (torch.Tensor, shape (batch_size, hidden_size)) — 보조 사전 학습 작업을 위해 사용되는 레이어들을 통해 추가 처리된 시퀀스의 첫 번째 토큰(분류 토큰)의 마지막 레이어 hidden-state입니다. 예를 들어 BERT 계열 모델의 경우, 선형 레이어와 tanh 활성화 함수를 통해 처리된 후의 분류 토큰을 반환합니다. 선형 레이어의 가중치는 사전 학습 동안 다음 문장 예측(분류) 목적 함수를 통해 학습됩니다.
hidden_states (tuple(torch.Tensor), 선택 사항, output_hidden_states=True가 전달되거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은 (batch_size, sequence_length, hidden_size)입니다.

각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
attentions (tuple(torch.Tensor), 선택 사항, output_attentions=True가 전달되었거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 torch.Tensor의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다.

self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치.

PeVideoModel

클래스 transformers.PeVideoModel

< source >

( config: PeVideoConfig )

forward

< source >

( input_ids: Tensorpixel_values_videos: Tensorattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask_videos: typing.Optional[torch.Tensor] = Nonereturn_loss: bool | None = None**kwargs ) → PeVideoOutput or tuple(torch.Tensor)

매개변수

input_ids (torch.Tensor 의 shape (batch_size, sequence_length)) — 어휘 사전에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 Padding은 무시됩니다.
AutoTokenizer를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 PreTrainedTokenizer.encode() 및 PreTrainedTokenizer.call()를 참조하세요.

입력 ID란 무엇인가요?
pixel_values_videos (torch.Tensor, shape (batch_size, num_frames, num_channels, frame_size, frame_size)) — 입력 비디오에 해당하는 텐서입니다. 비디오의 픽셀 값은 PeVideoVideoProcessor를 사용하여 얻을 수 있습니다. 자세한 내용은 PeVideoVideoProcessor.call()를 참조하세요 (PeVideoProcessor는 비디오 처리에 PeVideoVideoProcessor를 사용합니다).
attention_mask (torch.Tensor 형상이 (batch_size, sequence_length), 선택 사항) — 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크. [0, 1]에서 선택된 마스크 값: 마스크되지 않은 토큰은 1, 마스크된 토큰은 0. attention mask란 무엇인가요? [0, 1]:
- 마스크되지 않은 토큰에 대해 1
- 마스크된 토큰에 대해 0
어텐션 마스크란 무엇인가요?
padding_mask_videos (torch.Tensor shape (batch_size, num_frames), 선택 사항) — 패딩 비디오 프레임에 대한 attention을 수행하지 않도록 하는 마스크. 값은 [0, 1]:
- 마스크가 적용되지 않은 프레임에 대해 1
- 마스크된 프레임에 대해 0
return_loss (bool, 선택 사항) — 손실을 반환할지 여부입니다.

반환값

PeVideoOutput 또는 tuple(torch.Tensor)

PeVideoOutput 또는 torch.Tensor의 튜플(return_dict=False이 전달되었거나 config.return_dict=False인 경우)로, 구성(PeVideoConfig)과 입력에 따라 다양한 요소를 포함합니다.

PeVideoModel의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

loss (torch.Tensor, shape (1,), 선택 사항) — 비디오와 텍스트 표현 사이에 계산된 대조적 손실.
logits_video_text (torch.Tensor, shape (batch_size, batch_size), 선택 사항) — 비디오 임베딩과 텍스트 임베딩 간의 유사도 logits.
text_video_embeds (torch.Tensor, shape (batch_size, hidden_size), 선택 사항) — 비디오-텍스트 공간으로 투영된 텍스트 임베딩.
video_embeds (torch.Tensor, shape (batch_size, hidden_size), 선택) — 비디오-텍스트 공간으로 투영된 비디오 임베딩.
text_outputs (BaseModelOutputWithPooling, 선택 사항) — 텍스트 인코더의 모델 출력으로, 마지막 hidden state와 pooled output을 포함합니다.
video_outputs (BaseModelOutputWithPooling, 선택) — 비디오 인코더의 모델 출력으로, 마지막 hidden state와 pooled output을 포함합니다.

Update on GitHub