# ESMC ## 개요 ESMC (ESM Cambrian)은 [BioHub](https://biohub.org/)에서 공개한 단백질 언어 모델 계열입니다. 아미노산 시퀀스에 대해 masked-language-modelling 목적 함수로 학습된 양방향 Transformer 인코더입니다. [ESM-2](./esm)와 마찬가지로, ESMC는 하위 단백질 모델링 작업에 유용한 잔기별 표현을 생성합니다. ESMC은 단백질 분류 또는 토큰 분류 작업의 fine-tuning에 적합합니다. 또한 [ESMFold2](./esmfold2)의 backbone으로 사용되며, folding head의 입력으로 사용되는 표현을 생성합니다. Hugging Face Hub에서 사전 학습된 체크포인트를 사용할 수 있습니다: - [`biohub/ESMC-300M`](https://huggingface.co/biohub/ESMC-300M) - [`biohub/ESMC-600M`](https://huggingface.co/biohub/ESMC-600M) - [`biohub/ESMC-6B`](https://huggingface.co/biohub/ESMC-6B) ## 사용 예시 ESMC는 auto 클래스(`AutoModel`, `AutoModelForMaskedLM`, `AutoModelForSequenceClassification`, `AutoModelForTokenClassification`)에 등록되어 있습니다. ```python import torch from transformers import pipeline extractor = pipeline( task="feature-extraction", model="biohub/ESMC-300M", ) # Per-residue representations of shape (batch, sequence_length, hidden_size). representations = extractor("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", return_tensors="pt") ``` ```python import torch from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M") model = AutoModel.from_pretrained("biohub/ESMC-300M") inputs = tokenizer("MKTAYIAKQRQISFVKSHFSRQLEERLGLIEVQ", return_tensors="pt") with torch.no_grad(): outputs = model(**inputs) # Per-residue representations of shape (batch, sequence_length, hidden_size). representations = outputs.last_hidden_state ``` ## EsmcConfig[[transformers.EsmcConfig]] #### transformers.EsmcConfig[[transformers.EsmcConfig]] ```python transformers.EsmcConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 64, hidden_size: int = 2560, intermediate_size: int = 6912, num_hidden_layers: int = 80, num_attention_heads: int = 40, num_key_value_heads: int | None = None, hidden_act: str = 'silu', max_position_embeddings: int = 2048, initializer_range: float = 0.02, pad_token_id: int | None = 1, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, attention_dropout: int | float | None = 0.0, mlp_bias: bool = False, head_dim: int | None = None, mask_token_id: int | None = 32, classifier_dropout: float | None = 0.1) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/configuration_esmc.py#L30) **매개변수:** vocab_size (*int*, *optional*, 기본값 *64*) : 모델의 어휘 크기입니다. *input_ids*로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다. hidden_size (*int*, *optional*, 기본값 *2560*) : 숨겨진 표현의 차원. intermediate_size (*int*, *optional*, 기본값 *6912*) : MLP 표현의 차원. num_hidden_layers (*int*, *optional*, 기본값 *80*) : Transformer 디코더의 숨겨진 레이어 수. num_attention_heads (*int*, *optional*, 기본값 *40*) : Transformer 디코더의 각 어텐션 레이어에 사용되는 어텐션 헤드 수입니다. num_key_value_heads (*int*, *optional*) : Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. *num_key_value_heads=num_attention_heads*인 경우 모델은 Multi Head Attention (MHA)을, *num_key_value_heads=1*인 경우 Multi Query Attention (MQA)을, 그 외에는 GQA를 사용합니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 [이 논문](https://huggingface.co/papers/2305.13245)을 참고하세요. 지정되지 않으면 기본값으로 *num_attention_heads*가 사용됩니다. hidden_act (*str*, *optional*, 기본값 *silu*) : 디코더의 비선형 활성화 함수(함수 또는 문자열). 예를 들어, *"gelu"*, *"relu"*, *"silu"* 등. max_position_embeddings (*int*, *optional*, 기본값 *2048*) : 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다. initializer_range (*float*, *optional*, 기본값 *0.02*) : 모든 가중치 행렬을 초기화하기 위한 truncated_normal_initializer의 표준 편차입니다. pad_token_id (*int*, *optional*, 기본값 *1*) : 어휘에서 패딩에 사용되는 토큰 ID입니다. bos_token_id (*int*, *optional*, 기본값 *0*) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다. eos_token_id (*Union[int, list[int]]*, *optional*, 기본값 *2*) : 어휘에서 스트림 종료에 사용되는 토큰 ID입니다. tie_word_embeddings (*bool*, *optional*, 기본값 *False*) : 모델의 *tied_weights_keys* 매핑에 따라 가중치 임베딩을 묶을지 여부. rope_parameters (*Union[~modeling_rope_utils.RopeParameters, dict]*, *optional*) : RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 *rope_theta* 값이 포함되어야 하며, 더 긴 *max_position_embeddings*로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수를 선택적으로 포함할 수 있습니다. attention_bias (*bool*, *optional*, 기본값 *False*) : self-attention에서 query, key, value 및 output projection layer에 bias를 사용할지 여부. attention_dropout (*Union[int, float]*, *선택 사항*, 기본값 *0.0*) : attention 확률에 적용할 dropout 비율입니다. mlp_bias (*bool*, *optional*, 기본값 *False*) : MLP 레이어의 up_proj, down_proj, gate_proj 레이어에 bias를 사용할지 여부. head_dim (*int*, *optional*) : 어텐션 헤드 차원입니다. None인 경우 hidden_size // num_attention_heads 값이 기본값으로 사용됩니다. mask_token_id (*int*, *optional*, 기본값 32) : 어휘에서 마스크 토큰(`"<mask>"`)의 인덱스로, 마스크 언어 모델링에 사용됩니다. classifier_dropout (*float*, *optional*, 기본값 0.1) : 분류 헤드에 적용할 Dropout 비율입니다. 이것은 EsmcModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Esmc 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [biohub/ESMC-6B](https://huggingface.co/biohub/ESMC-6B)와 유사한 구성이 생성됩니다. Configuration 객체는 [*PreTrainedConfig*]에서 상속되며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [*PreTrainedConfig*]의 문서를 참고하세요. 예: ```python >>> from transformers import EsmcConfig, EsmcModel >>> # Initializing an ESMC biohub/ESMC-6B style configuration >>> configuration = EsmcConfig() >>> # Initializing a model (with random weights) from the configuration >>> model = EsmcModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## EsmcTokenizer[[transformers.EsmcTokenizer]] #### transformers.EsmcTokenizer[[transformers.EsmcTokenizer]] ```python transformers.EsmcTokenizer(unk_token = '', cls_token = '', pad_token = '', mask_token = '', eos_token = '', bos_token = None, chain_break_token = '|', extra_special_tokens = None, **kwargs) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/tokenization_esmc.py#L67) **매개변수:** unk_token (*str*, *optional*, 기본값 *"<unk>"*) : 알려지지 않은 토큰입니다. cls_token (*str*, *optional*, 기본값 *"<cls>"*) : 분류 토큰(모든 시퀀스의 앞에 추가됨). pad_token (*str*, *optional*, 기본값 *"<pad>"*) : 패딩 토큰입니다. mask_token (*str*, *optional*, 기본값 *"<mask>"*) : masked language modelling에 사용되는 mask 토큰입니다. eos_token (*str*, *optional*, 기본값 *"<eos>"*) : 시퀀스 종료 토큰(모든 시퀀스에 추가됨). bos_token (*str*, *optional*, 기본값 *"<cls>"*) : 시퀀스 시작 토큰(모든 시퀀스의 앞에 추가됩니다). 설정되지 않은 경우 cls_token을 사용합니다. chain_break_token (*str*, *optional*, 기본값 *"|"*) : 멀티체인 단백질 입력에서 체인 사이에 삽입되는 토큰입니다. 모델별 특수 토큰으로 등록되므로 *chain_break_token* / *chain_break_token_id*로 노출됩니다. extra_special_tokens (*list[str]*, *optional*) : 토크나이저에 등록할 추가 특수 토큰 (저장된 설정에서 round-trip된 값). ESMC 토크나이저를 구성합니다. 이 토크나이저는 HuggingFace *tokenizers* 라이브러리를 기반으로 하는 문자 단위 토크나이저입니다. 모든 시퀀스를 `<cls>` 및 `<eos>` 토큰으로 감싸며, 멀티 체인 입력을 위한 `|` 체인 브레이크 토큰을 지원합니다. 예: ```python >>> from transformers import EsmcTokenizer >>> tokenizer = EsmcTokenizer() >>> tokenizer("ACDEFGHIKLMNPQRSTVWY")["input_ids"] [0, 5, 23, 13, 9, 18, 6, 21, 12, 15, 4, 20, 17, 14, 16, 10, 8, 11, 7, 22, 19, 2] ``` ## EsmcModel[[transformers.EsmcModel]] #### transformers.EsmcModel[[transformers.EsmcModel]] ```python transformers.EsmcModel(config: EsmcConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L306) **매개변수:** config ([EsmcConfig](/docs/transformers/main/ko/model_doc/esmc#transformers.EsmcConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. 특정 헤드가 위에 없는 Esmc 모델로, 원시 hidden-states를 출력합니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.EsmcModel.forward]] ```python forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, sequence_id: typing.Optional[torch.Tensor] = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L316) **매개변수:** input_ids (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 어휘 사전에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [*AutoTokenizer*]를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [*PreTrainedTokenizer.encode*] 및 [*PreTrainedTokenizer.__call__*]을 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) attention_mask (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 패딩 토큰 인덱스에 대한 어텐션 수행을 방지하기 위한 마스크. *[0, 1]*에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [어텐션 마스크란?](../glossary#attention-mask) position_ids (*torch.Tensor*, shape *(batch_size, sequence_length)*, *optional*) : 시퀀스에서 각 토큰의 위치로, RoPE에서 사용됩니다. 기본값은 `arange(sequence_length)`입니다. ESMC 위치는 전체 입력에 대해 절대값이며, 멀티체인 입력에서 체인 경계를 *건너* 계속 증가합니다. 체인 구조는 어텐션을 마스크하는 `sequence_id`에 의해 별도로 전달됩니다. 라이브러리 다른 곳에서 사용되는 패킹 시퀀스 포맷과 달리, 이는 0에서 다시 시작하는 체인별 위치 ID가 아니며, 체인 구조는 의도적으로 이 값들로부터 추론되지 않습니다. sequence_id (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 체인 인식 어텐션 마스킹을 위한 정수 체인 ID 텐서입니다. 동일한 음이 아닌 정수 값을 가진 토큰끼리는 서로 어텐션을 수행할 수 있으며, 값이 다른 토큰끼리는 수행할 수 없습니다(크로스 체인 마스킹). 패딩 위치는 `-1`으로 설정해야 하며, 입력은 **오른쪽 패딩**이어야 합니다(RoPE는 0부터 시작하는 절대 위치를 사용). 이 인자가 제공되면 `attention_mask`는 무시됩니다. `sequence_id`를 전달하면 커스텀 어텐션 마스크가 생성되며, 이를 위해 `torch>=2.6`이 필요합니다. 멀티 체인 입력의 경우 추가적으로 non-flash `attn_implementation`(`'sdpa'` / `'eager'` / `'flex_attention'`)이 필요합니다. flash attention은 단일 체인 경우만 지원합니다. **반환값:** [*~modeling_outputs.BaseModelOutput*] 또는 *tuple(torch.Tensor)* [*~modeling_outputs.BaseModelOutput*] 또는 *torch.Tensor*의 튜플(*return_dict=False*가 전달되거나 *config.return_dict=False*인 경우)로, 구성([*EsmcConfig*])과 입력에 따라 다양한 요소를 포함합니다. [*EsmcModel*]의 forward 메서드는 *__call__* 특수 메서드를 오버라이드합니다. 이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 [*Module*] 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다. - **last_hidden_state** (*torch.Tensor*, shape *(batch_size, sequence_length, hidden_size)*) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다. - **hidden_states** (*tuple(torch.Tensor)*, *optional*, *output_hidden_states=True*가 전달되거나 *config.output_hidden_states=True*인 경우 반환됨) -- *torch.Tensor*의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은 *(batch_size, sequence_length, hidden_size)*입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. - **attentions** (*tuple(torch.Tensor)*, *optional*, *output_attentions=True*가 전달되었거나 *config.output_attentions=True*인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 *torch.Tensor*의 튜플로, 모양은 *(batch_size, num_heads, sequence_length, sequence_length)*입니다. self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다. 예: ```python >>> from transformers import AutoTokenizer, EsmcModel >>> model = EsmcModel.from_pretrained("biohub/ESMC-300M") >>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M") >>> inputs = tokenizer(["MLKNVQVQLV"], return_tensors="pt") >>> outputs = model(**inputs) >>> outputs.last_hidden_state.shape torch.Size([1, 12, 960]) ``` ## EsmcForMaskedLM[[transformers.EsmcForMaskedLM]] #### transformers.EsmcForMaskedLM[[transformers.EsmcForMaskedLM]] ```python transformers.EsmcForMaskedLM(config: EsmcConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L414) **매개변수:** config ([EsmcConfig](/docs/transformers/main/ko/model_doc/esmc#transformers.EsmcConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. `language modeling` 헤드가 위에 있는 Esmc 모델입니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.EsmcForMaskedLM.forward]] ```python forward(input_ids: typing.Optional[torch.Tensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.Tensor] = None, sequence_id: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.Tensor] = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L430) **매개변수:** input_ids (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 어휘 사전에서 입력 시퀀스 토큰의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [*AutoTokenizer*]를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [*PreTrainedTokenizer.encode*] 및 [*PreTrainedTokenizer.__call__*]을 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) attention_mask (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 패딩 토큰 인덱스에 대한 어텐션 수행을 방지하기 위한 마스크. *[0, 1]*에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [어텐션 마스크란?](../glossary#attention-mask) position_ids (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 각 입력 시퀀스 토큰의 위치 인덱스. *[0, config.n_positions - 1]* 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids) sequence_id (*torch.Tensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : 체인 인식 어텐션 마스크링을 위해 인코더로 전달되는 정수 체인 ID 텐서입니다. 인코딩 방식은 [EsmcModel.forward()](/docs/transformers/main/ko/model_doc/esmc#transformers.EsmcModel.forward)를 참조하세요. labels (*torch.LongTensor*, shape *(batch_size, sequence_length)*, *선택 사항*) : masked language modelling loss를 위한 라벨. 라벨이 `-100`인 위치는 무시됩니다. 다른 위치는 `[0, config.vocab_size)` 범위에 있어야 합니다. **반환값:** [*~modeling_outputs.MaskedLMOutput*] 또는 *tuple(torch.Tensor)* [*~modeling_outputs.MaskedLMOutput*] 또는 *torch.Tensor*의 튜플(*return_dict=False*가 전달되거나 *config.return_dict=False*인 경우)로, 구성([*EsmcConfig*])과 입력에 따라 다양한 요소를 포함합니다. [*EsmcForMaskedLM*]의 forward 메서드는 *__call__* 특수 메서드를 오버라이드합니다. 이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 [*Module*] 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다. - **loss** (*torch.Tensor*, shape *(1,)*, *optional*, *labels*이 제공될 때 반환됨) -- Masked language modeling (MLM) loss. - **logits** (*torch.Tensor*, shape *(batch_size, sequence_length, config.vocab_size)*) -- 언어 모델링 헤드에 의한 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수). - **hidden_states** (*tuple(torch.Tensor)*, *optional*, *output_hidden_states=True*가 전달되거나 *config.output_hidden_states=True*인 경우 반환됨) -- *torch.Tensor*의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은 *(batch_size, sequence_length, hidden_size)*입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. - **attentions** (*tuple(torch.Tensor)*, *optional*, *output_attentions=True*가 전달되었거나 *config.output_attentions=True*인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 *torch.Tensor*의 튜플로, 모양은 *(batch_size, num_heads, sequence_length, sequence_length)*입니다. self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다. 예: ```python >>> from transformers import AutoTokenizer, EsmcForMaskedLM >>> import torch >>> model = EsmcForMaskedLM.from_pretrained("biohub/ESMC-300M") >>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-300M") >>> inputs = tokenizer(["MLKNVQ<mask>LV"], return_tensors="pt") >>> outputs = model(**inputs) >>> outputs.logits.shape torch.Size([1, 11, 64]) ``` ## EsmcForSequenceClassification[[transformers.EsmcForSequenceClassification]] #### transformers.EsmcForSequenceClassification[[transformers.EsmcForSequenceClassification]] ```python transformers.EsmcForSequenceClassification(config: EsmcConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L511) **매개변수:** config ([EsmcConfig](/docs/transformers/main/ko/model_doc/esmc#transformers.EsmcConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. ESMC 모델의 transformer 위에 시퀀스 분류/회귀 헤드(풀링된 출력 위에 선형 레이어)를 추가한 모델로, 예를 들어 GLUE 작업에 사용됩니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.EsmcForSequenceClassification.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L521) **매개변수:** input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask) position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids) inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다. labels (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 시퀀스 분류/회귀 손실을 계산하는 데 사용되는 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다. `config.num_labels == 1`인 경우 회귀 손실(평균 제곱 오차)이 계산되고, `config.num_labels > 1`인 경우 분류 손실(교차 엔트로피)이 계산됩니다. **반환값:** [SequenceClassifierOutput](/docs/transformers/main/ko/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) 또는 `tuple(torch.Tensor)` 구성([EsmcConfig](/docs/transformers/main/ko/model_doc/esmc#transformers.EsmcConfig))과 입력에 따라 다양한 요소를 포함하는 [SequenceClassifierOutput](/docs/transformers/main/ko/main_classes/output#transformers.modeling_outputs.SequenceClassifierOutput) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우). [EsmcForSequenceClassification](/docs/transformers/main/ko/model_doc/esmc#transformers.EsmcForSequenceClassification)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **loss** (`torch.Tensor`, shape `(1,)`, *선택*, `labels`이 제공될 때 반환됨) -- 분류(또는 config.num_labels==1인 경우 회귀) 손실. - **logits** (`torch.Tensor`, shape `(batch_size, config.num_labels)`) -- SoftMax 적용 전 분류(또는 config.num_labels==1인 경우 회귀) 점수. - **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. - **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다. self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다. 단일 레이블 분류의 예시: ```python >>> import torch >>> from transformers import AutoTokenizer, EsmcForSequenceClassification >>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-6B") >>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B") >>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> predicted_class_id = logits.argmax().item() >>> model.config.id2label[predicted_class_id] ... >>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)` >>> num_labels = len(model.config.id2label) >>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B", num_labels=num_labels) >>> labels = torch.tensor([1]) >>> loss = model(**inputs, labels=labels).loss >>> round(loss.item(), 2) ... ``` 다중 레이블 분류의 예시: ```python >>> import torch >>> from transformers import AutoTokenizer, EsmcForSequenceClassification >>> tokenizer = AutoTokenizer.from_pretrained("biohub/ESMC-6B") >>> model = EsmcForSequenceClassification.from_pretrained("biohub/ESMC-6B", problem_type="multi_label_classification") >>> inputs = tokenizer("Hello, my dog is cute", return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> predicted_class_ids = torch.arange(0, logits.shape[-1])[torch.sigmoid(logits).squeeze(dim=0) > 0.5] >>> # To train a model on `num_labels` classes, you can pass `num_labels=num_labels` to `.from_pretrained(...)` >>> num_labels = len(model.config.id2label) >>> model = EsmcForSequenceClassification.from_pretrained( ... "biohub/ESMC-6B", num_labels=num_labels, problem_type="multi_label_classification" ... ) >>> labels = torch.sum( ... torch.nn.functional.one_hot(predicted_class_ids[None, :].clone(), num_classes=num_labels), dim=1 ... ).to(torch.float) >>> loss = model(**inputs, labels=labels).loss ``` ## EsmcForTokenClassification[[transformers.EsmcForTokenClassification]] #### transformers.EsmcForTokenClassification[[transformers.EsmcForTokenClassification]] ```python transformers.EsmcForTokenClassification(config) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/esmc/modeling_esmc.py#L575) #### forward[[transformers.EsmcForTokenClassification.forward]] ```python forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, labels: torch.LongTensor | None = None, use_cache: bool | None = None, **kwargs: Unpack[TransformersKwargs]) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L275) **매개변수:** input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids) attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask) position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids) past_key_values (`Cache`, *선택 사항*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 이전 디코딩 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 허용되는 것은 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스뿐이며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참고하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 캐시 형식과 동일한 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 토큰)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다. inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다. labels (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 토큰 분류 손실을 계산하기 위한 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다. use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조). **반환값:** `TokenClassifierOutput` `GenericForTokenClassification`의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.