AIモデルのメモリ使用量を60～70％も削減し安価で低性能なハードウェアでも動作するようにできるオープンソースの量子化手法「SINQ」をHuaweiが発表

BRANK

中国の大手テクノロジー企業であるHuaweiが、大規模言語モデル(LLM)をコンシューマーグレードのハードウェアで品質を損なうことなく実行できるようにするための量子化手法「Sinkhorn-Normalized Quantization(SINQ)」を発表しました。