#
社区

这个页面汇集了社区开发的🤗Transformers相关的资源。

##
社区资源

资源 | 描述 | 作者
--- | --- | ---
Hugging Face Transformers Glossary Flashcards | 这是一套基于 Transformers文档术语表 的抽认卡，它们已被整理成可以通过 Anki （一款专为长期知识保留而设计的开源、跨平台的应用）来进行学习和复习的形式。使用方法参见： 介绍如何使用抽认卡的视频。 | Darigov Research

##
社区笔记本

笔记本 | 描述 | 作者 |
--- | --- | --- | ---
Fine-tune a pre-trained Transformer to generate lyrics | 如何通过微调GPT-2模型来生成你最喜欢的艺术家风格的歌词 | Aleksey Korshuk |
Train T5 in Tensorflow 2 | 如何使用 Tensorflow 2 训练 T5 可以完成任何任务。本笔记本演示了如何使用 SQUAD 在 Tensorflow 2 中实现问答任务 | Muhammad Harris |
Train T5 on TPU | 如何使用 Transformers 和 Nlp 在 SQUAD 上训练 T5 | Suraj Patil |
Fine-tune T5 for Classification and Multiple Choice | 如何使用 PyTorch Lightning 的text-to-text格式对 T5 进行微调以完成分类和多项选择任务 | Suraj Patil |
Fine-tune DialoGPT on New Datasets and Languages | 如何在新数据集上微调 DialoGPT 模型，以实现开放式对话聊天机器人 | Nathan Cooper |
Long Sequence Modeling with Reformer | 如何使用 Reformer 对长达 500,000 个 token 的序列进行训练 | Patrick von Platen |
Fine-tune BART for Summarization | 如何使用 blurr 对 BART 进行微调，以便使用 fastai 进行汇总 | Wayde Gilliam |
Fine-tune a pre-trained Transformer on anyone’s tweets | 如何通过微调 GPT-2 模型生成以你最喜欢的 Twitter 帐户风格发布的推文 | Boris Dayma |
Optimize 🤗 Hugging Face models with Weights & Biases | 展示 W&B 与 Hugging Face 集成的完整教程 | Boris Dayma |
Pretrain Longformer | 如何构建现有预训练模型的“长”版本 | Iz Beltagy |
Fine-tune Longformer for QA | 如何针对问答任务微调长模型 | Suraj Patil |
Evaluate Model with 🤗nlp | 如何使用`nlp`库在TriviaQA数据集上评估Longformer模型 | Patrick von Platen |
Fine-tune T5 for Sentiment Span Extraction | 如何使用PyTorch Lightning以text-to-text的格式对T5进行微调，以进行情感跨度提取 | Lorenzo Ampil |
Fine-tune DistilBert for Multiclass Classification | 如何使用 PyTorch 微调 DistilBert 进行多类分类 | Abhishek Kumar Mishra |
Fine-tune BERT for Multi-label Classification | 如何使用 PyTorch 对 BERT 进行微调以进行多标签分类 | Abhishek Kumar Mishra |
Fine-tune T5 for Summarization | 如何在 PyTorch 中微调 T5 进行总结并使用 WandB 跟踪实验 | Abhishek Kumar Mishra |
Speed up Fine-Tuning in Transformers with Dynamic Padding / Bucketing | 如何通过使用动态填充/桶排序将微调速度提高两倍 | Michael Benesty |
Pretrain Reformer for Masked Language Modeling | 如何训练一个带有双向自注意力层的Reformer模型 | Patrick von Platen |
Expand and Fine Tune Sci-BERT | 如何在 CORD 数据集上增加 AllenAI 预训练的 SciBERT 模型的词汇量，并对其进行流水线化 | Tanmay Thakur |
Fine Tune BlenderBotSmall for Summarization using the Trainer API | 如何使用Trainer API在自定义数据集上对BlenderBotSmall进行微调以进行文本摘要 | Tanmay Thakur |
Fine-tune Electra and interpret with Integrated Gradients | 如何对Electra模型进行微调以进行情感分析，并使用Captum集成梯度来解释预测结果 | Eliza Szczechla |
fine-tune a non-English GPT-2 Model with Trainer class | 如何使用 Trainer 类微调非英语 GPT-2 模型 | Philipp Schmid |
Fine-tune a DistilBERT Model for Multi Label Classification task | 如何针对多标签分类任务微调 DistilBERT 模型 | Dhaval Taunk |
Fine-tune ALBERT for sentence-pair classification | 如何针对句子对分类任务对 ALBERT 模型或其他基于 BERT 的模型进行微调 | Nadir El Manouzi |
Fine-tune Roberta for sentiment analysis | 如何微调 Roberta 模型进行情绪分析 | Dhaval Taunk |
Evaluating Question Generation Models | 你的 seq2seq 转换器模型生成的问题的答案有多准确？ | Pascal Zoleko |
Classify text with DistilBERT and Tensorflow | 如何在 TensorFlow 中微调 DistilBERT 以进行文本分类 | Peter Bayerle |
Leverage BERT for Encoder-Decoder Summarization on CNN/Dailymail | 如何在CNN/Dailymail摘要任务上使用google-bert/bert-base-uncased检查点对EncoderDecoderModel进行热启动 | Patrick von Platen |
Leverage RoBERTa for Encoder-Decoder Summarization on BBC XSum | 如何在BBC/XSum摘要任务上使用FacebookAI/roberta-base检查点对共享的EncoderDecoderModel进行热启动 | Patrick von Platen |
Fine-tune TAPAS on Sequential Question Answering (SQA) | 如何在Sequential Question Answering (SQA)数据集上使用tapas-base检查点对TapasForQuestionAnswering进行微调 | Niels Rogge |
Evaluate TAPAS on Table Fact Checking (TabFact) | 如何结合使用 🤗 数据集和 🤗 transformers 库，使用tapas-base-finetuned-tabfact检查点评估经过微调的TapasForSequenceClassification | Niels Rogge |
Fine-tuning mBART for translation | 如何使用 Seq2SeqTrainer 对 mBART 进行微调以实现印地语到英语的翻译 | Vasudev Gupta |
Fine-tune LayoutLM on FUNSD (a form understanding dataset) | 如何在FUNSD数据集上对LayoutLMForTokenClassification进行微调以从扫描文档中提取信息 | Niels Rogge |
Fine-Tune DistilGPT2 and Generate Text | 如何微调 DistilGPT2 并生成文本 | Aakash Tripathi |
Fine-Tune LED on up to 8K tokens | 如何对LED模型在PubMed数据集上进行微调以进行长文本摘要 | Patrick von Platen |
Evaluate LED on Arxiv | 如何有效评估LED模型的长远发展 | Patrick von Platen |
Fine-tune LayoutLM on RVL-CDIP (a document image classification dataset) | 如何在 RVL-CDIP 数据集上微调LayoutLMForSequenceClassification以进行扫描文档分类 | Niels Rogge |
Wav2Vec2 CTC decoding with GPT2 adjustment | 如何通过语言模型调整解码 CTC 序列 | Eric Lam |
Fine-tune BART for summarization in two languages with Trainer class | 如何使用Trainer类对BART模型进行多语言摘要任务的微调 | Eliza Szczechla |
Evaluate Big Bird on Trivia QA | 评估BigBird模型在长文档问答任务上的性能，特别是在Trivia QA数据集上 | Patrick von Platen |
Create video captions using Wav2Vec2 | 如何使用Wav2Vec对任何视频的音频进行转录以创建YouTube字幕 | Niklas Muennighoff |
Fine-tune the Vision Transformer on CIFAR-10 using PyTorch Lightning | 如何使用HuggingFace的Transformers、Datasets和PyTorch Lightning在CIFAR-10数据集上对Vision Transformer（ViT）进行微调 | Niels Rogge |
Fine-tune the Vision Transformer on CIFAR-10 using the 🤗 Trainer | 如何使用HuggingFace的Transformers、Datasets和🤗 Trainer在CIFAR-10数据集上对Vision Transformer（ViT）进行微调 | Niels Rogge |
Evaluate LUKE on Open Entity, an entity typing dataset | 如何在开放实体数据集上评估LukeForEntityClassification | Ikuya Yamada |
Evaluate LUKE on TACRED, a relation extraction dataset | 如何在 TACRED 数据集上评估LukeForEntityPairClassification | Ikuya Yamada |
Evaluate LUKE on CoNLL-2003, an important NER benchmark | 如何在 CoNLL-2003 数据集上评估LukeForEntitySpanClassification | Ikuya Yamada |
Evaluate BigBird-Pegasus on PubMed dataset | 如何在 PubMed 数据集上评估BigBirdPegasusForConditionalGeneration | Vasudev Gupta |
Speech Emotion Classification with Wav2Vec2 | 如何利用预训练的 Wav2Vec2 模型在 MEGA 数据集上进行情绪分类 | Mehrdad Farahani |
Detect objects in an image with DETR | 如何使用经过训练的DetrForObjectDetection模型检测图像中的物体并可视化注意力 | Niels Rogge |
Fine-tune DETR on a custom object detection dataset | 如何在自定义对象检测数据集上微调DetrForObjectDetection | Niels Rogge |
Finetune T5 for Named Entity Recognition | 如何在命名实体识别任务中微调T5 | Ogundepo Odunayo |
Fine-Tuning Open-Source LLM using QLoRA with MLflow and PEFT | 如何使用QLoRA 和PEFT以内存高效的方式微调大型语言模型（LLM），同时使用 MLflow进行实验跟踪 | Yuki Watanabe |

< > Update on GitHub