Hugging face transformers. .
- Hugging face transformers 本文基于 Huggingface 推出的NLP 课程，内容涵盖如何全面系统地使用 HuggingFace 的各类库（即 Transformers、Datasets、Tokenizers 和 Accelerate），以及 Hugging Face Hub 中的各种模型。 Hugging Face是一个AI社区，致力于分享机器学习模型和数据集。它的主要产品包括Hugging Face Dataset、Hugging Face Tokenizer、Hugging Face Transformer和Hugging Face Accelerate。 Hugging Face Dataset是一个库，用于轻松访问和共享音频、计算机视觉和自然语言处理（NLP）任务的数据集 🤗 Transformers 针对 PyTorch 、 TensorFlow 和 JAX 的最先进机器学习。 使用预训练模型可以降低您的计算成本和碳足迹，并节省从头开始训练模型所需的时间和资源。 What is Hugging Face Transformers? Hugging Face Transformers is an open-source Python library that provides access to thousands of pre-trained Transformers models for natural language processing (NLP), computer vision, audio tasks, and more. We want Transformers to enable developers, researchers, students, professors, engineers, and anyone else to build their dream projects. 🤗 transformers 是由 Hugging Face 和社区维护的库，用于 Pytorch、TensorFlow 和 JAX 的最先进的机器学习。它提供了数千个预训练模型，用于执行不同模态的任务，例如文本、视觉和音频。 在本教程中，我们将向您展示如何编写自定义模型及其配置，以便它可以在 Transformers 中使用，以及如何与社区共享它（以及它所依赖的代码），以便任何人都可以使用它，即使它不在 🤗 Transformers 库中。 我们将看到如何构建在 transformers 之上，并使用您的钩子和自定义代码扩展框架。 我们将通过将 timm 库 的 ResNet 类封装到 PreTrainedModel 中，在 ResNet 模型 本文将详细介绍如何使用 Hugging Face Transformers 库进行模型微调训练，涵盖数据集下载、数据预处理、训练配置、评估、训练过程以及模型保存。 我们将以 YelpReviewFull 数据集为例，逐步带您完成模型微调训练的整个过程。 Transformers is more than a toolkit to use pretrained models: it's a community of projects built around it and the Hugging Face Hub. The models can be used across different modalities such as: 🤗 Transformers provides thousands of pretrained models to perform tasks on different modalities such as text, vision, and audio. These models can be applied on: 📝 Text, for tasks like text classification, information extraction, question answering, summarization, translation, and text generation, in over 100 languages. 🤗 Transformers provides APIs to easily download and train state-of-the-art pretrained models. . 🤗 Transformers provides APIs to easily download and train state-of-the-art pretrained models. Using pretrained models can reduce your compute costs, carbon footprint, and save you time from training a model from scratch. avo iznw fliheqd rixvpp oze nrade tvokim bzrh ieff kbhx