宽客财经
关注微信公众号"宽客财经"，定时推送前沿、专业、深度的交易极客和量化投资资讯。
搜索
关注微信公众号"宽客财经"，定时推送前沿、专业、深度的交易极客和量化投资资讯。
|
现在科技随着chatGPT的引人注目，人工智能使用中的底层设备，芯片也受到各路资金的追捧，其中核心的CPU和GPU也是关注的重点，针对CPU可能很多人都还有一点了解，但是GPU了解的人可能就没那么多了。本文就简单梳理一些相关的基础知识。 一、GPU和CPU的基本概念及区别 1.概念 CPU(Central Processing Unit-中央处理器),是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计算机指令以及处理计算机软件中的数据。CPU擅长逻辑控制，在深度学习中可用于推理/预测。 在深度学习中,模型的训练和推理是两个不同的过程:在训练过程中，模型需要进行大量的矩阵运算，因此通常使用GPU等擅长并行计算的芯片进行处理；在推理过程中，需要对大量的已经训练好的模型进行实时的推理/预测操作，而这种操作通常需要高效的逻辑控制能力和低延迟的响应速度，这正是CPU所擅长的。
GPU（Graphics Processing Unit-图形处理器），是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。 2.GPU和CPU的区别
1、缓存 CPU有大量的缓存结构，目前主流的CPU芯片上都有四级缓存，这些缓存结构消耗了大量的晶体管，在运行的时候需要大量的电力。 GPU的缓存就很简单，目前主流的GPU芯片最多有两层缓存，而且GPU可以利用晶体管上的空间和能耗做成ALU单元，因此GPU比CPU的效率要高一些。 2、响应方式 CPU要求的是实时响应，对单任务的速度要求很高，所以就要用很多层缓存的办法来保证单任务的速度。 GPU是把所有的任务都排好，然后再批处理，对缓存的要求相对很低。 3、浮点运算方式 CPU除了负责浮点整形运算外，还有很多其他的指令集的负载，比如像多媒体解码，硬件解码等，因此CPU是多才多艺的。CPU注重的是单线程的性能，要保证指令流不中断，需要消耗更多的晶体管和能耗用在控制部分，于是CPU分配在浮点计算的功耗就会变少。 GPU基本上只做浮点运算的，设计结构简单，也就可以做的更快。GPU注重的是吞吐量，单指令能驱动更多的计算，相比较GPU消耗在控制部分的能耗就比较少，因此可以把电省下来的资源给浮点计算使用。 4、应用方向 CPU所擅长的像操作系统这一类应用，需要快速响应实时信息，需要针对延迟优化，所以晶体管数量和能耗都需要用在分支预测、乱序执行、低延迟缓存等控制部分。 GPU适合对于具有极高的可预测性和大量相似的运算以及高延迟、高吞吐的架构运算。
|
