骁龙大赛 - 技术分享第三期 直播问题 & 答疑整理

第三期直播我们在移动端“搓模型”，学习了 QAI AppBuilder 的强大功能。对于一些集中的问题和答疑汇总在此，也希望对开发者有些许帮助。

Q1：GenieAPIService 调用本地 NPU 上的大语言模型时，对设备有什么性能要求？内存或算力要达到什么水平？

A1：

目前，只要是骁龙 AI PC，都能够运行 GenieAPIService 调用本地 NPU 的大语言模型。市场上在售的骁龙 AIPC 都可以满足模型运行的基本条件。至于内存需求，主要取决于想要运行的模型大小，以及系统本身在待机状态下的可用内存。一般来说，如果运行 7B 级别的大语言模型，在系统占用较低的情况下，16GB 内存的设备即可满足推理需求；如果配备 32GB 内存，则运行会更加流畅稳定，模型加载速度也会更快。

Q2：在 PC 端完成了模型调试，想把项目迁移到手机上继续开发，需要改动的地方多吗？在跨平台部署时，如果 Android 端和 PC 端的 SDK 版本或驱动不同，模型精度或性能会有差异吗？

A1：

这个问题可以分两部分来看。首先是从 PC 迁移到手机端时的改动量，这与开发方式有关。

 如果是传统的计算机视觉 (CV)类模型，在 PC 上使用 C++开发且没有依赖系统特定的功能库（例如 Windows 平台相关的库），那么迁移到手机端相对容易。如果应用中使用了依赖于特定平台的接口或功能，则需要针对这些部分进行适配。如果是在 PC 上通过 Python 开发的应用，直接在手机端运行的情况会比较少见。也可以考虑使用跨平台框架，例如 Flet，这类框架能让 GUI 应用既能在 PC 上运行，也能打包成 APK 部署到 Android 设备上。但是否满足具体项目需求，仍需开发者自行评估。

对于使用 Python 实现的推理逻辑，在迁移到手机端时，通常需要将模型的前后处理逻辑和界面部分改写为 C++或 Android 的 Java 实现。

如果是大语言模型 (LLM)类应用，且通过 GenieAPIService 实现的，那么迁移工作量较小，主要是把 GUI 客户端改为基于 Android 框架的版本，服务端部分可以直接在后台运行。

第二个问题关于跨平台部署时 SDK 或驱动版本差异的影响。Android 和 PC 端的驱动确实存在差异，但如果应用是通过我们提供的标准 QAIRT SDK 运行时库和 QAI AppBuilder 接口来实现模型加载与推理，两端是兼容的。同一模型在两个平台之间迁移时，建议尽量使用相同版本的 QAIRT SDK 运行时库和 QAI AppBuilder 工具，这样能避免不必要的问题。模型精度基本不会因为版本差异而变化，性能主要取决于不同平台 NPU 的算力。

Q3：在 Android 端用 QAI AppBuilder 跑模型时，如果模型比较大，比如超 1GB 的 LLM，怎么在内存和加载速度之间做平衡？

A3：

根据我们的经验，在较新的骁龙移动平台上运行 3B 或 7B 的大语言模型都是可行的。以 7B 模型为例，通常需要 4 到 5GB 的内存空间。对于聊天类或文本生成类应用，这样的规模在 PC 或手机端都能流畅运行。加载速度和推理响应时间在多数情况下都能满足实时交互的需求。只要设备内存充足且系统资源占用不高，就可以实现较好的模型加载和响应性能。

Q4：请问在移动设备 NPU 上能跑多大参数量的 LLM?比如 7B、13B 模型可以吗?

A4：

在最新一代的骁龙移动平台上，运行 7B 或 8B 规模的大语言模型没有问题，推理性能表现也很不错。如果模型规模进一步扩大，比如 13B 级别，那么在移动端运行的难度会显著增加，对内存和带宽的要求也更高。目前建议移动端主要运行 7B 以下的模型，能够兼顾响应速度和能耗控制。

Q5：老师您好！请问这些技术可以用来做本地 AI 助手吗？

A5：

完全可以。通过我们提供的 GenieAPIService，就能在骁龙 AI PC 或移动端设备上直接运行本地大语言模型。实现过程非常简单。

 首先，将编译好的 GenieAPIService APK 安装到目标设备上；其次，按照文档指引将模型文件复制到指定目录，并完成基础配置；最后，启动服务即可在端侧 NPU 上运行大模型。值得一提的是，GenieAPIService 的接口设计与 OpenAI 的 API 兼容，因此可以直接在本地环境中调用相同的接口完成模型推理。

 开发者只需要在自己的 GUI 应用中调用相关接口即可触发推理过程。推理采用流式输出方式，模型的回答会像在线聊天一样逐字生成，这种实时输出体验非常适合本地 AI 助手类的应用场景。

Q6：如果遇到模型在 NPU 上运行出错,有什么常见的调试方法和工具推荐吗?

A6:

常见调试方法与工具：

1.启用 QNN 日志（设置环境变量 QNN_LOG_LEVEL=DEBUG，输出模型加载、张量处理、推理执行日志）；

2.用 QNN Profiler 工具，查看 NPU 算力占用、层执行状态，定位算子不兼容或张量维度不匹配问题；

3.用仓库 tools/convert/model_check.py 验证模型格式；

4.核对输入输出：数据类型（FP16/INT8）、维度需与模型元数据一致；

5.确认 SDK 与驱动版本匹配；

6.参考 samples 中的错误处理逻辑，排查资源不足、模型路径错误等问题。

Q7：老师请问 CV 模型在 NPU 上运行的实时性如何?能达到实时视频处理的帧率吗?

A7:

CV 模型在 NPU 上的实时性表现优异，多数场景可满足实时视频处理。轻量 CV 模型（如 BEiT 分类、MobileNet 适配版）帧率可达 60fps+；目标检测（YOLO 轻量版）30-45fps。骁龙 PC /新一代手机 NPU（如 X Elite）支持 Burst 模式和多图并行优化，1080p 分辨率下，主流 CV 任务（分类、检测、分割）可稳定达到 30fps 以上的实时标准。复杂模型经量化优化后，仍能平衡精度与帧率，完全适配实时视频处理需求。

Q8：想问实际开发中,模型量化对精度有影响吗?有什么好的平衡策略吗?

A8:

量化会带来轻微精度损失，可通过以下策略平衡：

1.优先使用高通 QNN 量化工具（支持 PTQ/INT8），关键层（输出层、回归层）保留 FP16；

2.用覆盖业务场景的校准数据集优化量化参数，避免分布偏移导致的精度衰减；

3.直接选用 Hugging Face (https://huggingface.co/qualcomm)或 (https://www.aidevhome.com/data/models/) 预量化模型，已验证精度损失可控；

4.采用混合量化：核心层 FP16、普通层 INT8，若精度下降超阈值，可减少量化范围；

5.量化后通过准确率、mAP 等指标验证，确保满足业务要求。

Q9：想问一下,QAl AppBuilder 和 Android Studio 是什么关系?需要同时安装使用吗

A9:

两者无强制依赖，无需同时安装，是协作关系。QAI AppBuilder 是高通 NPU 模型部署工具集，负责推理逻辑适配、模型转换与执行；Android Studio 是 Android 开发 IDE，负责 UI 搭建、权限管理（如 NPU 访问权限）、APK 打包。Android 端开发时，可通过 JNI 将 QAI AppBuilder 的 C++推理库集成到 Android Studio 项目，或使用前者提供的 Android 端 samples 模板；纯 PC 开发仅需 QAI AppBuilder，Android Studio 仅在需开发移动端应用时使用。

Q10：GenieAPlService 支持哪些主流的 LLM 模型?Llama、Gemma 这些都可以部署吗?

A10:

GenieAPIService 支持主流开源 LLM 的 QNN 适配版，包括 Llama 3.1/3.2（7B/4B）、Qwen2 7B SSD、 Phi3.5 等。

1.模型格式为 QNN 兼容格式（含.bin 权重、tokenizer.json、配置文件）；

2.可以从 aidevhome.com 下载预适配模型。

Q11：通过 GenieAPlService 调用本地 NPU 运行的 LLM,相比云端 API 有哪些优势和劣势?延迟能降低多少?

A11： 优势：离线运行无网络依赖、数据本地留存保护隐私、无调用次数/成本限制、低延迟（7B 模型单轮响应 100-300ms）；

劣势：模型规模受限（主流支持 7B/8B）、需自行维护模型更新。

相比云端 API，延迟降低 60%-80%（云端网络良好时 500-1500ms，网络差时差距更大）。复杂多轮对话中，本地 NPU 的低延迟优势更明显，但大模型部署受限于本地硬件算力与内存。

Q12：对于隐私敏感的应用场景,端侧部署是不是更有优势?性能损失可以接受吗?

A12：

对于隐私敏感场景（如医疗数据处理、金融隐私信息分析、个人私密交互），端侧部署的优势极为突出。依托 QAI AppBuilder 的本地 NPU 推理能力，所有数据全程在设备内处理，无需上传云端，彻底规避网络传输中的数据泄露风险，也无需依赖第三方服务器，完全符合隐私保护法规（如 GDPR、个人信息保护法）对数据本地化的要求，从源头筑牢隐私安全防线。

性能损失方面完全可接受：高通 NPU 的异构计算架构+ QAI AppBuilder 的深度优化（如 Burst 模式、算子适配、混合量化），能最大程度抵消端侧部署的性能损耗。实际使用中，多数场景（如本地 AI 助手对话、隐私数据分类）的响应速度、推理帧率与云端差异极小，无明显感知，完全能平衡隐私安全与使用体验。

Q13：请问用 ONNX Runtime 部署模型,需要对原始模型做特殊转换吗?流程复杂吗?

A13：通过 ONNX Runtime 部署模型，不需要对原始模型做转换，使用标准的 ONNX 模型就可以直接部署运行。

以上内容来自 2025 骁龙人工智能创新应用大赛