浏阳网站建设tvshown今日关注

本博文基于Native-LLM-for-Android项目代码实现，具体做了以下操作：
1、尝试并实现将模型结构与权重零散的onnx模型进行合并，通过该操作实现了模型加载速度提升，大约提升了3倍
2、突破了onnxconverter_common 无法将llm模型导出为fp16的操作，基于该操作后将10g的权重降低到5.6g，但推理速度反而下降了
3、实现了fp32格式的onnx模型转换为int8模型，该操作后模型权重只占3g，但推理结果完全不准。

1、模型权重合并与slim操作

1.1 代码操作

先注释掉 onnxslim库中utils文件中的第507行

然后执行以下代码（关于路径里面的fp16是博主打错字了）

import os
from onnxslim import slim# Path