DeepMind：大型语言模型可实现“高效无损压缩音频影像”，有望运用于相关软件中
据悉，频影DeepMind 在研究中，望运使用了一个名为“Chinchilla 70B”的软件模型，虽然这个模型主要使用文字训练，大型但是语言用于研究人员发现该模型也可用于压缩 ImageNet 图片，可将文件压缩至原始大小的模型 43.3％，甚至可将 LibriSpeech 语音样本压缩至原始的可实 16.4％。
DeepMind 的现高效无像有相关研究证明，模型的损压缩音“预测”能力和“压缩”能力之间存在“等价性”，因此研究人员可以使用任何压缩算法，建立一个更加强大的条件生成模型。
注：“压缩”本质上就一种编码的过程，目标是要以更少的内容表示更多的资料，因此当模型达到一定的预测能力时，其实也就代表模型学会了一种编码的方式，这种编码方式能够用来压缩文件，因为模型已经理解了相应文件中的特征和模式（即一个模型如果能实现精确预测，也就能够捕捉文件的本质特征和结构，从而有效地压缩资料文件）。
DeepMind 认为，在当前语言模型成果丰富的当下，任何人都可以取得语言模型并将其用于压缩中，而不需负担额外的训练成本。
同时，研究也显示，即使是“主要使用文字进行训练的基础模型”，由于其上下文学习能力，因此也能够很好地成为“通用压缩器”。
研究还发现，若要将模型用于压缩上，模型并非越大越好，过大的模型可能反而对压缩能力产生负面影响，因为模型的参数本身也需要在输出中被考虑进去，当有一个模型具有非常多的参数，虽然能够有效压缩资料，但是庞大的参数本身也会成为负担，且自然语言处理常用到的分词（Tokenization）方法（把一串文字切割成更小、更容易处理的步骤），在压缩层面上不会提高压缩效率，反而会增加模型的体积。
参考
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，所有文章均包含本声明。
本文地址：http://www.jiemengs.com/html/942e998066.html
版权声明
本文仅代表作者观点，不代表本站立场。
本文系作者授权发表，未经许可，不得转载。