在上一章中，我们介绍了如何通过微调使语言模型学会以特定风格写作或学习特定领域的概念。我们可以将相同的原理应用于文生图模型，从而在仅使用单个GPU的情况下（对应预训练Stable Diffusion等模型所需的多GPU节点）定制这些模型。本章中，我们将使用第四章中学习的预训练Stable Diffusion基础模型，并扩展让其学习它可能不了解的风格和概念，例……继续阅读 » Alan 2周前 (06-18) 145浏览 0评论0个赞
在第二章中，我们探讨了语言模型的原理以及如何使用它们完成不同的任务，例如文本生成和序列分类。可以看到，通过适当的提示词和这些模型的零样本能力，语言模型在许多任务中无需进一步训练就能表现出色。我们还讲到了一些由社区提供的成千上万的预训练模型。在本章中，我们将学习如何通过在自有数据上进行微调来提升语言模型在特定任务上的表现。尽管预训练模型展示了非凡的能力，但其……继续阅读 » Alan 3周前 (06-12) 147浏览 0评论0个赞
在前一章中，我们介绍了扩散模型及其迭代优化的基本思想。学完该章，我们已经能够生成图像，但训练模型非常耗时，而且我们无法控制生成的图像。在本章中，我们将学习如何从这一阶段走向基于文本条件的模型，这些模型可以根据文本描述高效地生成图像，研究的是一个名为Stable Diffusion（SD）的模型。不过在介绍SD之前，我们会先了解条件模型如何工作，并回顾一些产生……继续阅读 » Alan 3周前 (06-10) 344浏览 0评论0个赞
图像生成领域在2014年因Ian Goodfellow引入生成对抗网络（GAN）而广泛流行。GAN的关键理念催生了一大批能够快速生成高质量图像的模型。然而，尽管GAN取得了成功，它也面临着挑战，需要大量参数并且难以有效泛化。这些限制引发了其它的研究尝试，带来了对扩散模型的探索——这是一类重新定义高质量、灵活图像生成的模型。2020年底，一类鲜为人知的模型—……继续阅读 » Alan 3周前 (06-09) 173浏览 0评论0个赞
很多人将最近一波生成式人工智能的进展追溯到2017年发布称为transformer的模型。其最著名的应用是强大的大语言模型（LLM），如Llama和GPT-4，每天有数亿人使用。transformer已成为现代人工智能应用的核心，推动着聊天机器人、搜索系统乃至机器翻译和内容摘要等各类应用。甚至已超越了文本领域，在计算机视觉、音乐生成和蛋白质折叠等领域引起了巨……继续阅读 » Alan 3周前 (06-07) 314浏览 0评论0个赞
很多年没使用Windows了，这次组装了一个台式机，主要是为了能使用Nvidia的4090显卡，虽然可以做双系统，但简单使用下来发现WSL配合VScode使用也不错，先看看有哪些坑吧。PyTorch安装 pip install torch torchvision torchaudio --extra-index-url htt……继续阅读 » Alan 3周前 (06-06) 131浏览 0评论0个赞
生成式模型在近年来广泛流行。在阅读本文时，读者很可能已经在与生成模型进行过互动。或许是使用ChatGPT生成文本，或许是在Instagram等应用中使用风格转换，亦或是看过那些引发热议的深度伪造视频。这些都是生成式模型的实际应用！在系列文章中，我们将探索生成式模型的世界，从两大生成模型阵营——transformers和扩散模型（diffusion）的基础开……继续阅读 » Alan 4周前 (06-05) 162浏览 0评论0个赞
尽管前赴后继有各种厂商声称在某些基准测试上超越了GPT 4，OpenAI旗下的ChatGPT仍然是用户量最高且公认的最优质的人工智能产品。OpenAI在GPT 2之后就不再开源其大模型，这也正是马斯克吐槽其应改名为ClosedAI。大佬们的口水战与我等无关，对于开发者来说，要在自己的系统里集成优秀的 GPT，就需要通过调用其 API。本文的相关代码请见 G……继续阅读 » Alan 3个月前 (03-27) 820浏览 0评论0个赞
其它章节内容请见机器学习之PyTorch、Scikit-Learn和Transformers代码参数GitHub仓库文本分类是自然语言处理中最常见的任务之一，它可用于各种应用，例如将客户反馈标记为不同的类别，或者根据语言分发工单。电子邮件程序的垃圾邮件过滤器很有可能正在使用文本分类来保护收件箱免受大量不需要的垃圾邮件的侵扰！另一种常见的文本分类是情感分……继续阅读 » Alan 1年前 (2023-06-17) 1236浏览 0评论0个赞
其它章节内容请见机器学习之PyTorch、Scikit-Learn和Transformers代码参见GitHub仓库2017年，Google的研究人员发表了一篇论文，提出了一种新的用于序列建模（sequence modeling）的神经网络架构[1]。称之为Transformer，这种架构在机器翻译任务中的表现无论在翻译质量还是训练成本层面均优于循环神经……继续阅读 » Alan 1年前 (2023-06-16) 1294浏览 0评论0个赞
