以深度学习为主的人工智能算法模型在日常AI应用中逐渐占据主流方向，相关的各类产品也是层出不穷。我们平时所看到的AI产品，像刷脸支付、智能语音、银行的客服机器人等，都是AI算法的具体落地应用。AI技术在具体落地应用方面，和其他软件技术一样，也需要具体的部署和实施的。既然要做部署，那就会有不同平台设备上的各种不同的部署方法和相关的部署架构工具，目前在人工智能的落地部署方面，各大平台机构也都是大展身手，纷纷推出自家的部署平台。
目前市场上应用最广泛的部署工具主要有以下几种：腾讯公司开发的移动端平台部署工具——NCNN；Intel公司针对自家设备开开发的部署工具——OpenVino；NVIDIA公司针对自家GPU开发的部署工具——TensorRT；Google针对自家硬件设备和深度学习框架开发的部署工具——MediaPipe；由微软、亚马逊、Facebook和IBM等公司共同开发的开放神经网络交换格式——ONNX(OpenNeuralNetworkExchange)。除此之外，还有一些深度学习框架有自己的专用部署服务：比如TensorFlow自己提供的部署服务：TensorFlowServing、TensorFlowLite，pytorch自己提供的部署服务：libtorch。
本文主要是针对这些不同的部署工具做一个简单的分析，对比一下各家不同的部署工具到底有哪些优势和不足之处，方便大家在做部署的时候能够找到适合自己的项目的部署方法。具体的各种不同的部署工具的下载安装和使用方法会在后续的文章中做出详细的教程，