Transformers documentation

IDEFICS

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

このモデルは2023年6月21日にHF papersで公開され、2023年8月18日にHugging Face Transformersに貢献されました。

IDEFICS

概要

IDEFICSモデルは、Hugo Laurençon、Lucile Saulnier、Léo Tronchon、Stas Bekman、Amanpreet Singh、Anton Lozhkov、Thomas Wang、Siddharth Karamcheti、Alexander M. Rush、Douwe Kiela、Matthieu Cord、Victor Sanh による OBELICS: An Open Web-Scale Filtered Dataset of Interleaved Image-Text Documents で提案されました。

論文の抄録は以下の通りです。

自然な文書（画像とテキストが交互に配置されたもの）で学習された大規模マルチモーダルモデルは、1枚または複数枚の画像を推論してテキストを生成する必要があるさまざまなマルチモーダルベンチマークにおいて、画像とテキストのペアで学習されたモデルを上回る性能を示します。しかし、これらのモデルの学習に使用されたデータセットは公開されておらず、収集プロセスも完全に特定されていません。本稿では、OBELICSデータセットを紹介します。これは、Common Crawlから抽出された1億4,100万のWebページ、関連する3億5,300万の画像、および1,150億のテキストトークンからなる、Web規模のフィルタリング済みインターリーブ画像・テキスト文書データセットです。データセットの作成プロセスを説明し、包括的なフィルタリングルールを提示するとともに、データセットの内容を分析します。OBELICSの実用性を示すために、このデータセットで800億パラメータのビジョン・言語モデルを学習させ、さまざまなマルチモーダルベンチマークで競争力のある性能を得ました。データセットの再現コードとデータセット自体を公開します。

このモデルはHuggingFaceM4によって提供されました。元のコードリポジトリは公開されていません。

Transformers における IDEFICS のモデリングコードは、事前学習済み IDEFICS モデルのファインチューニングと推論のために用意されています。

ゼロから新しい IDEFICS モデルを学習するには、m4 コードベースを使用してください（公開され次第、リンクが提供されます）。

IdeficsConfig

クラス transformers.IdeficsConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 32000additional_vocab_size: int = 0hidden_size: int = 4096intermediate_size: int = 11008num_hidden_layers: int = 32num_attention_heads: int = 32dropout: float | int = 0.0hidden_act: str = 'silu'initializer_range: float = 0.02alpha_initializer: str = 'zeros'alphas_initializer_range: float = 0.0alpha_type: str = 'float'rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = 0bos_token_id: int | None = 1eos_token_id: int | list[int] | None = 2tie_word_embeddings: bool = Falsecross_layer_interval: int = 1qk_layer_norms: bool = Falsefreeze_text_layers: bool = Truefreeze_text_module_exceptions: list | tuple = ()freeze_lm_head: bool = Falsefreeze_vision_layers: bool = Truefreeze_vision_module_exceptions: list | tuple = ()use_resampler: bool = Falsevision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonemax_position_embeddings: int = 2048perceiver_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonerope_parameters: dict | None = None )

パラメータ

vocab_size (int、任意、デフォルトは 32000) — モデルの語彙サイズです。input_ids で表現できるトークンの種類数を定義します。
additional_vocab_size (int、任意、デフォルト値は 0) — モデルの追加語彙サイズです。通常は特殊トークン「」用に使用されます。追加の語彙トークンは常に学習可能ですが、通常の語彙トークンは凍結することも、凍結しないこともできます。
hidden_size (int、任意、デフォルトは 4096) — 隠れ表現の次元数。
intermediate_size (int、任意、デフォルトは 11008) — MLP 表現の次元数。
num_hidden_layers (int、任意、デフォルトは 32) — Transformer デコーダーの隠れ層の数。
num_attention_heads (int、任意、デフォルトは 32) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。
dropout (Union[float, int]、省略可、デフォルト値は0.0) — すべての dropout レイヤーの比率です。
hidden_act (str、任意、デフォルトは silu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
alpha_initializer (str、任意、デフォルトは"zeros") — アルファの初期化タイプです。
alphas_initializer_range (float, 任意、デフォルト値は 0.0) — Gated Cross Attention の alphas を初期化するための truncated_normal_initializer の標準偏差です。
alpha_type (str、任意、デフォルトは "float") — ゲーティングのアルファがベクトルか単一の浮動小数点数かを指定します。
rms_norm_eps (float、任意、デフォルトは 1e-06) — RMS 正規化レイヤーで使用する epsilon。
use_cache (bool、任意、デフォルトは True) — モデルが最後のキー/バリューの注意を返すかどうか（すべてのモデルで利用されるわけではありません）。config.is_decoder=True の場合、またはモデルがデコーダー専用の生成モデルである場合にのみ関連します。
pad_token_id (int、任意、デフォルトは 0) — 語彙内でパディングに使用されるトークン ID。
bos_token_id (int、任意、デフォルトは 1) — 語彙におけるストリーム開始に使用されるトークン ID。
eos_token_id (Union[int, list[int]]、任意、デフォルトは 2) — 語彙内でストリーム終了に使用されるトークン ID。
tie_word_embeddings (bool、任意、デフォルトは False) — モデルの tied_weights_keys マッピングに従って重み埋め込みを共有するかどうかを指定します。
cross_layer_interval (int、任意、デフォルトは 1) — クロスアテンション（テキストから画像へ）レイヤーの間隔。
qk_layer_norms (bool、省略可、デフォルトは False) — q と k の後に layer norm を追加するかどうか
freeze_text_layers (bool、任意、デフォルトは True) — テキスト層をフリーズするかどうか
freeze_text_module_exceptions (bool、省略可能、デフォルトは []) — freeze_text_layers が True の場合に、テキスト層の凍結から除外する例外
freeze_lm_head (bool、任意、デフォルトは False) — lm head をフリーズするかどうか
freeze_vision_layers (bool、任意、デフォルトは True) — ビジョン層をフリーズするかどうか
freeze_vision_module_exceptions (bool、省略可能、デフォルトは []) — freeze_vision_layers が True の場合に、ビジュアル層のフリーズから除外する例外
use_resampler (bool、任意、デフォルトはFalse) — Resampler を使用するかどうか
vision_config (Union[dict, ~configuration_utils.PreTrainedConfig]、任意) — ビジョンバックボーンの config オブジェクトまたは辞書です。
max_position_embeddings (int、任意、デフォルトは 2048) — このモデルが使用される可能性のある最大シーケンス長です。
perceiver_config (IdeficsPerceiverConfig, 任意) — カスタムの perceiver 設定または dict
rope_parameters (dict, 任意) — RoPE 埋め込みの設定パラメータを含む辞書です。辞書には rope_theta の値が含まれており、より長い max_position_embeddings で RoPE を使用する場合、スケーリングに使用されるパラメータが任意で含まれます。

これは IdeficsModel の設定を保存するための設定クラスです。指定された引数に基づいて Idefics モデルをインスタンス化し、モデルのアーキテクチャを定義するために使用されます。デフォルト値で設定をインスタンス化すると、HuggingFaceM4/idefics-9b と同様の設定が得られます。

設定オブジェクトはPreTrainedConfigを継承し、モデルの出力を制御するために使用できます。詳細については、PreTrainedConfigのドキュメントを参照してください。

例:

>>> from transformers import IdeficsModel, IdeficsConfig

>>> # Initializing a Idefics idefics-9b style configuration
>>> configuration = IdeficsConfig()

>>> # Initializing a model from the idefics-9b style configuration
>>> model = IdeficsModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

IdeficsVisionConfig

クラス transformers.IdeficsVisionConfig

< source >

パラメータ

embed_dim (int、任意、デフォルトは768) — 埋め込みおよび隠れ状態の次元数。
image_size (Union[int, list[int], tuple[int, int]]、任意、デフォルトは224) — 各画像のサイズ（解像度）。
intermediate_size (int、任意、デフォルトは 5120) — MLP 表現の次元数。
patch_size (Union[int, list[int], tuple[int, int]]、任意、デフォルトは14) — 各パッチのサイズ（解像度）です。
num_hidden_layers (int、任意、デフォルトは 32) — Transformer デコーダーの隠れ層の数。
num_attention_heads (int、任意、デフォルトは 16) — Transformer デコーダーの各アテンション層におけるアテンションヘッドの数。
num_channels (int、任意、デフォルトは3) — 入力チャネル数。
hidden_act (str、任意、デフォルトは gelu) — デコーダーで使用する非線形活性化関数（関数または文字列）。例えば、"gelu"、 "relu"、"silu" など。
layer_norm_eps (float、任意、デフォルトは 1e-05) — レイヤーノーマル層で使用する epsilon です。
attention_dropout (Union[float, int]、任意、デフォルトは 0.0) — アテンション確率のドロップアウト率です。
initializer_range (float、任意、デフォルトは 0.02) — すべての重み行列を初期化するための truncated_normal_initializer の標準偏差です。
initializer_factor (float、任意、デフォルトは 1.0) — すべての重み行列を初期化する際に用いる係数です（1 に保つ必要があります。初期化のテスト用に内部で使用されます）。

IdeficsPerceiverConfig

クラス transformers.IdeficsPerceiverConfig

< source >

パラメータ

use_resampler (bool、任意、デフォルトはFalse) — resampler を使用するかどうか
resampler_n_latents (int、任意、デフォルトは 64)— 入力シーケンスをリサンプリング(「圧縮」)する際の潜在埋め込みの数(通常は < 128)。
resampler_depth (int、任意、デフォルトは 6) — Perceiver Resampler（クロスアテンション付き Transformer）の深さです。浅く（< 3）設定してください。
resampler_n_heads (int、任意、デフォルトは 16)— 各 Transformer ブロックにおけるヘッド数(マルチヘッド自己注意機構用)。
resampler_head_dim (int、任意、デフォルトは 96) — Transformer ブロックにおける各ヘッドの射影の次元数。
qk_layer_norms_perceiver (bool、任意、デフォルトは False) — perceiver で qk layer norm を使用するかどうか

IdeficsModel

class transformers.IdeficsModel

< source >

( config: IdeficsConfig )

パラメータ

config (IdeficsConfig) — モデルのパラメータをすべて含むモデル設定クラスです。設定ファイルで初期化しても、モデルに関連する重みは読み込まれず、設定のみが読み込まれます。モデルの重みをロードするには、from_pretrained() メソッドを参照してください。

特定のヘッドを上に載せずに、生のhidden-statesを出力する素のIdefics Model。

このモデルは PreTrainedModel を継承しています。すべてのモデルに実装されている汎用的なメソッド（ダウンロードや保存、入力埋め込みのリサイズ、ヘッドのプルーニングなど）については、スーパークラスのドキュメントを参照してください。

このモデルは、PyTorchのtorch.nn.Moduleのサブクラスでもあります。通常のPyTorch Moduleとして使用し、一般的な使用方法や動作に関する詳細については、PyTorchのドキュメントを参照してください。

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_encoder_embeddings: typing.Optional[torch.Tensor] = Noneperceiver_embeddings: typing.Optional[torch.Tensor] = Noneimage_attention_mask: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Noneinterpolate_pos_encoding: bool | None = False**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → IdeficsBaseModelOutputWithPast or tuple(torch.Tensor)

パラメータ

input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。
インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

入力IDとは何ですか？
attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
アテンションマスクとは?
position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].
ポジションIDとは?
past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
pixel_values (torch.Tensor、形状 (batch_size, num_channels, image_size, image_size)、任意) — 入力画像に対応するテンソルです。ピクセル値は IdeficsImageProcessor を使用して取得できます。詳細は IdeficsImageProcessor.call() を参照してください（IdeficsProcessor は画像の処理に IdeficsImageProcessor を使用します）。
image_encoder_embeddings (torch.Tensor, 任意) — 画像エンコーダーの出力です。
perceiver_embeddings (torch.Tensor, 任意) — Perceiver resampler の出力です。
image_attention_mask (torch.LongTensor, 任意) — 画像エンコーダー用のアテンションマスクです。
use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
interpolate_pos_encoding (bool、省略可、デフォルトはFalse) — 事前学習済みの位置エンコーディングを補間するかどうかを指定します。

戻り値

IdeficsBaseModelOutputWithPast または tuple(torch.Tensor)

IdeficsBaseModelOutputWithPast または、torch.Tensor のタプル（return_dict=False が渡された場合、または config.return_dict=False の場合）。設定（IdeficsConfig）や入力に応じて、さまざまな要素で構成されます。

IdeficsModelのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。
past_key_values (~cache_utils.Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます)— Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらは逐次デコーディングを高速化するために使用できます（past_key_values 入力参照）。
hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（モデルに埋め込み層がある場合は埋め込みの出力用 1 つ、各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
image_hidden_states (tuple(torch.Tensor)、任意) — torch.Tensor のタプル（画像埋め込みの出力用1つ、(batch_size, num_images, sequence_length, hidden_size)）。

ビジョンエンコーダーによって生成されたモデルの image_hidden_states、および必要に応じてパーセプターによって生成されたもの

IdeficsForVisionText2Text

class transformers.IdeficsForVisionText2Text

< source >

( config: IdeficsConfigvision_model = None )

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonepixel_values: typing.Optional[torch.Tensor] = Noneimage_encoder_embeddings: typing.Optional[torch.Tensor] = Noneperceiver_embeddings: typing.Optional[torch.Tensor] = Noneimage_attention_mask: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Noneinterpolate_pos_encoding: bool | None = Falselogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → IdeficsCausalLMOutputWithPast or tuple(torch.Tensor)

パラメータ

input_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、省略可) — 語彙における入力シーケンスのトークンインデックスです。デフォルトではパディングは無視されます。
インデックスはAutoTokenizerを使用して取得できます。詳細については、PreTrainedTokenizer.encode()およびPreTrainedTokenizer.call()を参照してください。

入力IDとは何ですか？
attention_mask (torch.Tensor の形状 (batch_size, sequence_length), 、任意) — パディングトークンのインデックスに対するアテンションを回避するためのマスク。 [0, 1]:
- マスクされていないトークンに対して1
- マスクされたトークンに対しては 0 です。
アテンションマスクとは?
position_ids (torch.LongTensor の形状 (batch_size, sequence_length), 、任意) — 各入力シーケンスのトークンが位置埋め込み内で占める位置のインデックス。範囲 [0, config.n_positions - 1].
ポジションIDとは?
past_key_values (~cache_utils.Cache, 省略可) — 逐次デコードを高速化するために使用できる、事前計算された隠れ状態(自己アテンションブロックおよびクロスアテンションブロックのキーとバリュー)。通常、これはデコードの以前の段階でモデルが返した past_key_values であり、 use_cache=True または config.use_cache=True.
入力として許可されるのは Cache インスタンスのみです。kv cache ガイドを参照してください。 past_key_values が渡されない場合、デフォルトで DynamicCache が初期化されます。

モデルは、入力として与えられたのと同じキャッシュ形式を出力します。

past_key_values を使用する場合、すべての input_ids（形状 (batch_size, sequence_length)）ではなく、このモデルに過去のキー・バリュー状態が与えられていない未処理の input_ids（形状 (batch_size, unprocessed_length)）のみを入力することになります。
inputs_embeds (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — input_ids を渡す代わりに、埋め込み表現を直接渡すこともできます。これは、モデル内部の埋め込み参照行列よりも、input_ids のインデックスを対応するベクトルに変換する方法をより細かく制御したい場合に有用です。
pixel_values (torch.Tensor、形状 (batch_size, num_channels, image_size, image_size)、任意) — 入力画像に対応するテンソルです。ピクセル値は IdeficsImageProcessor を使用して取得できます。詳細は IdeficsImageProcessor.call() を参照してください（IdeficsProcessor は画像の処理に IdeficsImageProcessor を使用します）。
image_encoder_embeddings (torch.Tensor, 任意) — 画像エンコーダーの出力です。
perceiver_embeddings (torch.Tensor, 任意) — Perceiver resampler の出力です。
image_attention_mask (torch.LongTensor, 任意) — 画像エンコーダー用のアテンションマスクです。
labels (torch.LongTensor、shape (batch_size, sequence_length)、任意) — マスク言語モデリング損失を計算するためのラベルです。インデックスは [0, ..., config.vocab_size] の範囲内であるか、-100 である必要があります（input_ids の docstring を参照）。インデックスが -100 に設定されたトークンは無視（マスク）され、損失は [0, ..., config.vocab_size] の範囲内のラベルを持つトークンに対してのみ計算されます。
use_cache (bool、任意) — True に設定すると、past_key_values のキーバリュー状態が返され、デコーディングの高速化に利用できます（past_key_values を参照）。
interpolate_pos_encoding (bool、省略可、デフォルトはFalse) — 事前学習済みの位置エンコーディングを補間するかどうかを指定します。
logits_to_keep (Union[int, torch.Tensor]、省略可、デフォルトは 0) — int の場合、最後の logits_to_keep トークンについて logits を計算します。0 の場合、すべての input_ids について logits を計算します（特殊ケース）。生成には最後のトークンの logits だけで十分であり、そのトークンのみについて計算することでメモリを節約できます。これは、長いシーケンスや大規模な語彙サイズの場合に特に顕著な効果があります。 torch.Tensor の場合、シーケンス長次元で保持するインデックスに対応する 1 次元テンソルである必要があります。これは、パックされたテンソル形式（バッチとシーケンス長を単一の次元にまとめた形式）を使用する場合に有用です。

戻り値

IdeficsCausalLMOutputWithPast または tuple(torch.Tensor)

IdeficsCausalLMOutputWithPast または、return_dict=False が渡された場合、または config.return_dict=False の場合、torch.Tensor のタプル。構成（IdeficsConfig）や入力に応じて、さまざまな要素で構成されます。

IdeficsForVisionText2Textのforwardメソッドは、__call__特殊メソッドをオーバーライドします。

この関数内でフォワードパスの手順を定義する必要がありますが、その後、この関数ではなくModuleインスタンスを呼び出すべきです。前者は前処理と後処理の実行を適切に処理するのに対し、後者はそれらを黙って無視するためです。

loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失(次のトークンの予測用)。
logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
past_key_values (Cache、任意、use_cache=True が渡された場合または config.use_cache=True の場合に返されます) — Cache のインスタンスです。詳細については、kv cache ガイドを参照してください。

逐次デコーディングを高速化するために使用できる（past_key_values 入力参照）、事前計算済みの隠れ状態（自己注意ブロックのキーとバリュー）が含まれます。
hidden_states (tuple[torch.Tensor]、optional、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（モデルに埋め込み層がある場合は埋め込みの出力用 1 つ、各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。

各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。
attentions (tuple[torch.Tensor]、optional、output_attentions=True が渡された場合または config.output_attentions=True の場合に返されます) — torch.Tensor のタプル（各レイヤーごとに1つ）、形状は (batch_size, num_heads, sequence_length, sequence_length)。

アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。
image_hidden_states (tuple(torch.Tensor)、任意) — torch.Tensor のタプル（画像埋め込みの出力用1つ、(batch_size, num_images, sequence_length, hidden_size)）。

ビジョンエンコーダーによって生成されたモデルの image_hidden_states、および必要に応じてパーセプターによって生成されたもの

例:

>>> from transformers import AutoProcessor, IdeficsForVisionText2Text

>>> model = IdeficsForVisionText2Text.from_pretrained("HuggingFaceM4/idefics-9b")
>>> processor = AutoProcessor.from_pretrained("HuggingFaceM4/idefics-9b")

>>> dogs_image_url_1 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_nlvr2/raw/main/image1.jpeg"
>>> dogs_image_url_2 = "https://huggingface.co/datasets/hf-internal-testing/fixtures_nlvr2/raw/main/image2.jpeg"

>>> prompts = [
...     [
...         "User:",
...         dogs_image_url_1,
...         "Describe this image.\nAssistant: An image of two dogs.\n",
...         "User:",
...         dogs_image_url_2,
...         "Describe this image.\nAssistant:",
...     ]
... ]
>>> inputs = processor(prompts, return_tensors="pt")
>>> generate_ids = model.generate(**inputs, max_new_tokens=6)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)

IdeficsImageProcessor

クラス transformers.IdeficsImageProcessor

< source >

( **kwargs: *<class 'transformers.models.idefics.image_processing_idefics.IdeficsImageProcessorKwargs'> )

パラメータ

do_convert_rgb (bool、kwargs、optional、デフォルトは True) — 画像を RGB に変換するかどうか。
do_resize (bool、kwargs、任意、デフォルトはTrue) — 画像をリサイズするかどうか。
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, デフォルトは {'height' -- 224, 'width': 224}): モデルへの最大入力サイズを指定します。
default_to_square (bool、kwargs、任意、デフォルトは True) — size が int の場合、リサイズ時に正方形の画像をデフォルトとするかどうかを指定します。
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop を適用した後の出力画像のサイズ。
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs、デフォルトは 3) — 画像のリサイズ時に使用するリサンプリングフィルタです。PILImageResampling の列挙型のいずれかを使用できます。do_resize が True に設定されている場合のみ、効果が現れます。
do_rescale (bool、kwargs、任意、デフォルトはTrue) — 画像をリスケールするかどうかを指定します。
rescale_factor (float、kwargs、任意、デフォルト値は 0.00392156862745098) — do_rescale が True に設定されている場合、画像をリスケールするための係数です。
do_normalize (bool、kwargs、optional、デフォルトはTrue) — 画像を正規化するかどうかを指定します。
image_mean (Union[float, list[float], tuple[float, ...]]、kwargs、optional、デフォルトは [0.48145466, 0.4578275, 0.40821073]) — 正規化に使用する画像の平均値です。do_normalize が True に設定されている場合のみ有効です。
image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, デフォルト値は [0.26862954, 0.26130258, 0.27577711]) — 正規化に使用する画像の標準偏差です。do_normalize が True に設定されている場合のみ、効果が現れます。
do_pad (bool, kwargs, optional) — 画像をパディングするかどうかを指定します。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。具体的なパディング戦略はモデルによって異なります。
pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 画像をパディングする {"height": int, "width" int} のサイズです。前処理に提供されるすべての画像サイズより大きくなければなりません。pad_size が指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True. の場合のみ適用されます。
do_center_crop (bool, kwargs, optional) — 画像を中央クロップするかどうかを指定します。
data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、任意) — サポートされているのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 省略可) — 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推測されます。次のいずれかになります:
- "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。
- "channels_last" または ChannelDimension.LAST: (高さ, 幅, チャネル数) 形式の画像。
- "none" または ChannelDimension.NONE: (height, width) 形式の画像。
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。
transform (Callable, kwargs, optional, デフォルトは None) — 学習用に、単一の画像を受け取るカスタム変換関数を渡すことができます。例えば、torchvision.Compose を使用して複数の変換を組み合わせることができます。None の場合は推論モードが想定され、推論に特化した変換のプリセットが画像に適用されます。
image_size (int、kwargs、任意、デフォルトは self.image_size) — 画像サイズにリサイズします。size の後方互換性のあるエイリアスです。指定された場合、size を上書きし、{"height": image_size, "width": image_size} に設定します。
image_num_channels (int、kwargs、任意、デフォルトは3) — 画像のチャネル数です。

IdeficsImageProcessor イメージプロセッサを構築します。

preprocess

< source >

パラメータ

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 前処理対象の画像です。ピクセル値が 0 から 255 の範囲にある単一の画像またはバッチを想定しています。ピクセル値が 0 から 1 の範囲にある画像を渡す場合は、do_rescale=False を設定してください。
do_convert_rgb (bool、kwargs、任意) — 画像を RGB に変換するかどうかを指定します。
do_resize (bool、kwargs、optional) — 画像をリサイズするかどうか。
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — モデルへの最大入力次元を記述します。
default_to_square (bool、kwargs、任意) — サイズが整数の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop を適用した後の出力画像のサイズ。
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — 画像のリサイズ時に使用するリサンプリングフィルタ。PILImageResampling の列挙型のいずれかを使用できます。do_resize が True に設定されている場合のみ有効です。
do_rescale (bool、kwargs、optional) — 画像をリスケールするかどうかを指定します。
rescale_factor (float、kwargs、任意) — do_rescale が True に設定されている場合、画像をリスケールするための係数。
do_normalize (bool, kwargs, optional) — 画像を正規化するかどうかを指定します。
image_mean (Union[float, list[float], tuple[float, ...]]、kwargs、optional) — 正規化に使用する画像の平均値。do_normalize が True に設定されている場合のみ有効です。
image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — 正規化に使用する画像の標準偏差。do_normalize が True に設定されている場合のみ有効です。
do_pad (bool, kwargs, optional) — 画像をパディングするかどうかを指定します。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。具体的なパディング戦略はモデルによって異なります。
pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 画像をパディングする {"height": int, "width" int} のサイズです。前処理に提供されるすべての画像サイズより大きくなければなりません。pad_size が指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True. の場合のみ適用されます。
do_center_crop (bool, kwargs, optional) — 画像を中央クロップするかどうかを指定します。
data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、任意) — サポートされているのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 省略可) — 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推測されます。次のいずれかになります:
- "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。
- "channels_last" または ChannelDimension.LAST: (高さ, 幅, チャネル数) 形式の画像。
- "none" または ChannelDimension.NONE: (height, width) 形式の画像。
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。
transform (Callable, kwargs, optional, デフォルトは None) — 学習用に、単一の画像を受け取るカスタム変換関数を渡すことができます。例えば、torchvision.Compose を使用して複数の変換を組み合わせることができます。None の場合は推論モードが想定され、推論に特化した変換のプリセットが画像に適用されます。
image_size (int、kwargs、任意、デフォルトは self.image_size) — 画像サイズにリサイズします。size の後方互換性のあるエイリアスです。指定された場合、size を上書きし、{"height": image_size, "width": image_size} に設定します。
image_num_channels (int、kwargs、任意、デフォルトは3) — 画像のチャネル数です。

IdeficsImageProcessorPil

クラス transformers.IdeficsImageProcessorPil

< source >

( **kwargs: *<class 'transformers.models.idefics.image_processing_pil_idefics.IdeficsImageProcessorKwargs'> )

パラメータ

do_convert_rgb (bool、kwargs、optional、デフォルトは True) — 画像を RGB に変換するかどうか。
do_resize (bool、kwargs、任意、デフォルトはTrue) — 画像をリサイズするかどうか。
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, デフォルトは {'height' -- 224, 'width': 224}): モデルへの最大入力サイズを指定します。
default_to_square (bool、kwargs、任意、デフォルトは True) — size が int の場合、リサイズ時に正方形の画像をデフォルトとするかどうかを指定します。
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop を適用した後の出力画像のサイズ。
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs、デフォルトは 3) — 画像のリサイズ時に使用するリサンプリングフィルタです。PILImageResampling の列挙型のいずれかを使用できます。do_resize が True に設定されている場合のみ、効果が現れます。
do_rescale (bool、kwargs、任意、デフォルトはTrue) — 画像をリスケールするかどうかを指定します。
rescale_factor (float、kwargs、任意、デフォルト値は 0.00392156862745098) — do_rescale が True に設定されている場合、画像をリスケールするための係数です。
do_normalize (bool、kwargs、optional、デフォルトはTrue) — 画像を正規化するかどうかを指定します。
image_mean (Union[float, list[float], tuple[float, ...]]、kwargs、optional、デフォルトは [0.48145466, 0.4578275, 0.40821073]) — 正規化に使用する画像の平均値です。do_normalize が True に設定されている場合のみ有効です。
image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional, デフォルト値は [0.26862954, 0.26130258, 0.27577711]) — 正規化に使用する画像の標準偏差です。do_normalize が True に設定されている場合のみ、効果が現れます。
do_pad (bool, kwargs, optional) — 画像をパディングするかどうかを指定します。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。具体的なパディング戦略はモデルによって異なります。
pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 画像をパディングする {"height": int, "width" int} のサイズです。前処理に提供されるすべての画像サイズより大きくなければなりません。pad_size が指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True. の場合のみ適用されます。
do_center_crop (bool, kwargs, optional) — 画像を中央クロップするかどうかを指定します。
data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、任意) — サポートされているのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 省略可) — 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推測されます。次のいずれかになります:
- "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。
- "channels_last" または ChannelDimension.LAST: (高さ, 幅, チャネル数) 形式の画像。
- "none" または ChannelDimension.NONE: (height, width) 形式の画像。
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。
transform (Callable, kwargs, optional, デフォルトは None) — 学習用に、単一の画像を受け取るカスタム変換関数を渡すことができます。例えば、torchvision.Compose を使用して複数の変換を組み合わせることができます。None の場合は推論モードが想定され、推論に特化した変換のプリセットが画像に適用されます。
image_size (int、kwargs、任意、デフォルトは self.image_size) — 画像サイズにリサイズします。size の後方互換性のあるエイリアスです。指定された場合、size を上書きし、{"height": image_size, "width": image_size} に設定します。
image_num_channels (int、kwargs、任意、デフォルトは3) — 画像のチャネル数です。

IdeficsImageProcessor イメージプロセッサを構築します。

preprocess

< source >

パラメータ

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — 前処理対象の画像です。ピクセル値が 0 から 255 の範囲にある単一の画像またはバッチを想定しています。ピクセル値が 0 から 1 の範囲にある画像を渡す場合は、do_rescale=False を設定してください。
do_convert_rgb (bool、kwargs、任意) — 画像を RGB に変換するかどうかを指定します。
do_resize (bool、kwargs、optional) — 画像をリサイズするかどうか。
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — モデルへの最大入力次元を記述します。
default_to_square (bool、kwargs、任意) — サイズが整数の場合、リサイズ時に正方形の画像をデフォルトとするかどうか。
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop を適用した後の出力画像のサイズ。
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — 画像のリサイズ時に使用するリサンプリングフィルタ。PILImageResampling の列挙型のいずれかを使用できます。do_resize が True に設定されている場合のみ有効です。
do_rescale (bool、kwargs、optional) — 画像をリスケールするかどうかを指定します。
rescale_factor (float、kwargs、任意) — do_rescale が True に設定されている場合、画像をリスケールするための係数。
do_normalize (bool, kwargs, optional) — 画像を正規化するかどうかを指定します。
image_mean (Union[float, list[float], tuple[float, ...]]、kwargs、optional) — 正規化に使用する画像の平均値。do_normalize が True に設定されている場合のみ有効です。
image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — 正規化に使用する画像の標準偏差。do_normalize が True に設定されている場合のみ有効です。
do_pad (bool, kwargs, optional) — 画像をパディングするかどうかを指定します。パディングは、バッチ内の最大サイズに合わせるか、画像ごとに固定の正方形サイズに合わせるかのいずれかで行われます。具体的なパディング戦略はモデルによって異なります。
pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — 画像をパディングする {"height": int, "width" int} のサイズです。前処理に提供されるすべての画像サイズより大きくなければなりません。pad_size が指定されない場合、バッチ内の最大の幅と高さにパディングされます。do_pad=True. の場合のみ適用されます。
do_center_crop (bool, kwargs, optional) — 画像を中央クロップするかどうかを指定します。
data_format (Union[str, ~image_utils.ChannelDimension]、kwargs、任意) — サポートされているのは ChannelDimension.FIRST のみです。slow processors との互換性のために追加されました。
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 省略可) — 入力画像のチャネル次元の形式です。設定されていない場合、入力画像からチャネル次元の形式が推測されます。次のいずれかになります:
- "channels_first" または ChannelDimension.FIRST: (num_channels, height, width) 形式の画像。
- "channels_last" または ChannelDimension.LAST: (高さ, 幅, チャネル数) 形式の画像。
- "none" または ChannelDimension.NONE: (height, width) 形式の画像。
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 動画を処理するデバイスです。未設定の場合、入力動画からデバイスが推論されます。
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 'pt' に設定されている場合はスタックされたテンソルを返し、それ以外の場合はテンソルのリストを返します。
disable_grouping (bool、kwargs、任意) — サイズごとに画像をグループ化してバッチ処理するのではなく、個別に処理するためにグループ化を無効にするかどうか。None の場合、画像が CPU にある場合は True、それ以外の場合は False に設定されます。この選択は、https://github.com/huggingface/transformers/pull/38157 に詳しく記載されている経験則に基づいています。
image_seq_length (int、kwargs、任意) — 入力内の各画像に使用される画像トークンの数です。後方互換性のために追加されましたが、将来のモデルではプロセッサの属性として設定されるべきです。
transform (Callable, kwargs, optional, デフォルトは None) — 学習用に、単一の画像を受け取るカスタム変換関数を渡すことができます。例えば、torchvision.Compose を使用して複数の変換を組み合わせることができます。None の場合は推論モードが想定され、推論に特化した変換のプリセットが画像に適用されます。
image_size (int、kwargs、任意、デフォルトは self.image_size) — 画像サイズにリサイズします。size の後方互換性のあるエイリアスです。指定された場合、size を上書きし、{"height": image_size, "width": image_size} に設定します。
image_num_channels (int、kwargs、任意、デフォルトは3) — 画像のチャネル数です。

IdeficsProcessor

クラス transformers.IdeficsProcessor

< source >

( image_processortokenizer = Noneimage_size = 224add_end_of_utterance_token = None**kwargs )

パラメータ

image_processor (IdeficsImageProcessor) — 画像プロセッサは必須の入力です。
tokenizer (LlamaTokenizer) — トークナイザーは必須の入力です。
image_size (int, 任意、デフォルト値は 224) — 処理対象の画像のサイズです。
add_end_of_utterance_token (bool、省略可、デフォルトは None) — テキストに発話終了トークンを追加するかどうか。

IdeficsProcessor を構築します。画像プロセッサとトークナイザーを単一のプロセッサにラップします。

IdeficsProcessor は、IdeficsImageProcessor と LlamaTokenizer のすべての機能を提供します。詳細については、~IdeficsImageProcessor および ~LlamaTokenizer を参照してください。

call

< source >

( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], list[typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]], str, list[str], list[list[str]]] = Nonetext: str | list[str] | list[list[str]] | list[list[list[str]]] = None**kwargs: *<class 'transformers.models.idefics.processing_idefics.IdeficsProcessorKwargs'> ) → a dict with entries

パラメータ

images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor], list[Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]], str, list[str], list[list[str]]], 任意) — 前処理対象の画像。ピクセル値が 0 から 255 の範囲にある単一の画像またはバッチを想定しています。ピクセル値が 0 から 1 の範囲にある画像を渡す場合は、do_rescale=False を設定してください。
text (Union[str, list[str], list[list[str]], list[list[list[str]]]], 省略可) — エンコード対象のシーケンスまたはシーケンスのバッチです。各シーケンスは文字列、または文字列のリスト（事前トークン化済み文字列）であることができます。事前トークン化済みの入力を渡す場合は、バッチ入力との曖昧さを避けるために is_split_into_words=True を設定してください。
add_eos_token (bool、kwargs、任意、デフォルトはFalse) — テキスト入力の末尾にシーケンス終了トークン（EOS トークン）を追加するかどうかを指定します。有効にすると、テキストシーケンスの終わりを示すために EOS トークンが追加され、生成タスクで有用です。
add_end_of_utterance_token (bool、kwargs、任意) — 会話コンテキストにおいて、ユーザーのメッセージの終わりを示すために、発話終了トークンを追加するかどうかを指定します。このトークンは、マルチターン会話における異なる発話の区別をモデルに助けるものであり、チャットベースのモデルでは特に重要です。
return_tensors (str または TensorType, 省略可) — 設定すると、特定のフレームワークのテンソルを返します。使用可能な値は以下の通りです:
- 'pt': PyTorchのtorch.Tensorオブジェクトを返します。
- 'np': NumPyのnp.ndarrayオブジェクトを返します。
**kwargs (ProcessingKwargs、任意) — 各モダリティ（テキスト、画像、動画、音声）の追加処理オプション。モデル固有のパラメータは上記にリストされています。サポートされている引数の完全なリストについては、TypedDictクラスを参照してください。

戻り値

エントリを持つ dict

input_ids、attention_mask、pixel_values、image_attention_mask は、model.generate に直接渡すことができます。

詳細な説明:

textの各エントリは、そのまま渡すテキスト、または処理される画像のいずれかです。

画像は、画像オブジェクト（PIL.Image）または画像を取得できる URL のいずれかです。

プロセッサが画像を検出すると、プロンプトに<fake_token_around_image><image><fake_token_around_image>エントリを挿入します。

例:

checkpoint = "HuggingFaceM4/idefics-9b"
processor = AutoProcessor.from_pretrained(checkpoint)
url = "https://hips.hearstapps.com/hmg-prod/images/cute-photos-of-cats-in-grass-1593184777.jpg"
img = processor.image_processor.fetch_images([url])[0]

prompts = [
    "User:",
    img,
    "Describe this image.\nAssistant: An image of two kittens in grass.\n",
    "User:",
    "https://hips.hearstapps.com/hmg-prod/images/dog-puns-1581708208.jpg",
    "Describe this image.\nAssistant:",
]

inputs = processor(text=prompts, return_tensors="pt")
generated_ids = model.generate(**inputs, max_length=100)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

この例では、prompts は以下に変換されます:

<s>User:<fake_token_around_image><image><fake_token_around_image>Describe this image.
Assistant: An image of two kittens in grass.
User:<fake_token_around_image><image><fake_token_around_image>Describe this image.
Assistant:'

そして、2つの画像は IdeficsImageProcessor.call() メソッドによって処理され、戻り値の pixel_values ディクショナリエントリに格納されます。

この例は、画像がオブジェクトとして渡せること、およびテキストのURLとして渡せることを示しています。最初の画像はオブジェクトとして、2番目の画像はURLとして渡されていることがわかります。

トレーニングを実行するには、次のようにします:

image_transform = transforms.Compose(
    [
        transforms.RandomResizedCrop(
            (w, h), scale=(0.9, 1.0), interpolation=transforms.InterpolationMode.BICUBIC
        ),
        transforms.ToTensor(),
        transforms.Normalize(mean=self.image_mean, std=self.image_std),
    ]
)
inputs = processor(text=prompts, transform=image_transform, return_tensors="pt")

プロンプト生成のデバッグを支援するために、debug=Trueを有効にしてください。これにより、何が起きているかが表示されます。

Update on GitHub

←HyperCLOVAX Vision V2 Idefics2→