Bu model 2021-04-05 tarihinde HF papers'ta yayımlandı ve 2022-11-21 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Ses Spektrogram Dönüşümü

Genel Bakış

Audio Spectrogram Transformer modeli, Yuan Gong, Yu-An Chung ve James Glass tarafından AST: Audio Spectrogram Transformer makalesinde önerilmiştir. Audio Spectrogram Transformer, sesi bir görüntüye (spektrogram) dönüştürerek Vision Transformer'ı ses verisine uygular. Model, ses sınıflandırma için en iyi sonuçları elde eder.

Makalenin özeti aşağıdaki gibidir:

Geçen on yıl boyunca, konvolüsyonel sinir ağları (CNN'ler), ses spektrogramlarından ilgili etiketlere doğrudan bir eşleme öğrenmeyi amaçlayan uçtan uca ses sınıflandırma modellerinin ana yapı taşı olarak yaygın şekilde benimsenmiştir. Uzun menzilli küresel bağlamı daha iyi yakalamak için son zamanlardaki bir eğilim, CNN'nin üzerine bir öz-dikkat mekanizması ekleyerek CNN-dikkat hibrit modeli oluşturmaktır. Ancak, CNN'ye bağımlılığın gerekli olup olmadığı ve saf olarak dikkate dayalı sinir ağlarının ses sınıflandırmada iyi performans elde etmek için yeterli olup olmadığı belirsizdir. Bu makalede, soruyu Audio Spectrogram Transformer (AST) ile yanıtlandırıyoruz; AST, ses sınıflandırma için ilk konvolüsyonsuz, saf olarak dikkate dayalı modeldir. AST'yi çeşitli ses sınıflandırma kıstaslarında değerlendiriyoruz; model, AudioSet'te 0,485 mAP, ESC-50'de %95,6 ve Speech Commands V2'de %98,1 doğruluk oranlarıyla yeni en iyi sonuçları elde etmektedir.

Bu model nielsr tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

• Kendi veri setinizde Audio Spectrogram Transformer (AST) modelini ince ayar yaparken, girdi normalizasyonunu (girdinin 0 ortalamaya ve 0.5 standart sapmaya sahip olduğundan emin olmak için) sizin yapmanız önerilir. ASTFeatureExtractor bu işlemden sorumludur. Not: Varsayılan olarak AudioSet ortalama ve standart sapma değerlerini kullanır. Yazarların bir alt akış (downstream) veri seti için istatistikleri nasıl hesapladığını görmek için ast/src/get_norm_stats.py dosyasını inceleyebilirsiniz.
• AST'nin düşük bir öğrenme hızına ihtiyaç duyduğunu unutmayın (yazarlar, PSLA makalesinde önerdikleri CNN modeline kıyasla 10 kat daha küçük bir öğrenme hızı kullanıyor) ve hızlı bir şekilde yakınsıyor; bu nedenle lütfen göreviniz için uygun bir öğrenme hızı ve öğrenme hızı zamanlayıcısı arayın.

Ölçekli Nokta Çarpımı Dikkat (SDPA) Kullanımı

PyTorch, torch.nn.functional parçası olarak yerel ölçekli nokta çarpımı dikkati (SDPA) operatörünü içerir. Bu fonksiyon, girdilere ve kullanılan donanıma bağlı olarak uygulanabilecek çeşitli uygulamaları kapsar. Daha fazla bilgi için resmi dokümantasyonu veya GPU Inference sayfasına bakın.

torch>=2.1.1 için bir uygulama mevcut olduğunda varsayılan olarak SDPA kullanılır, ancak SDPA'nın kullanılmasını açıkça istemek için from_pretrained() içinde attn_implementation="sdpa" ayarlayabilirsiniz.

from transformers import ASTForAudioClassification


model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", device_map="auto")
...

En iyi hızlanmalar için, modelin yarım hassasiyette (ör. torch.float16 veya torch.bfloat16) yüklenmesini öneririz.

Yerel bir benchmark'ta (A100-40GB, PyTorch 2.3.0, OS Ubuntu 22.04) float32 ve MIT/ast-finetuned-audioset-10-10-0.4593 modeliyle, çıkarım sırasında aşağıdaki hızlanmaları gözlemledik.

Kaynaklar

Audio Spectrogram Transformer ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi.

• Ses sınıflandırma için AST ile çıkarımın gösterildiği bir defter burada bulunabilir.
• Bu notebook ASTForAudioClassification sınıfını destekler.
• Bkz: Ses sınıflandırma.

Buraya bir kaynak eklemek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz! Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şeyi göstermesi beklenir.

ASTConfig

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

ASTModel

ASTForAudioClassification

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
...

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...