前回からほぼ1年経っていたらしい。
Ryzen AIもバージョンアップして随分安定しているので，私がこちょこちょ書くほどでもないだろう。
ということで過激派のROCmである。
ROCm対応GPUは7000番台以降の高額品のみである。
が，7000番台8000番台のAPU内蔵の780Mは同世代なので命令対応しているらしい。
そこでROCmを少し弄って自前でビルドして動かす過激な話が以前からあった。
更に過激なものとして配布バイナリにパッチを当てるタイプのものが出ているそうだ。大丈夫かな？というか公式も解禁すればいいのに
試していないがLLM系のアプリケーションでDirectMLの2,3倍の性能が出るらしい。DirectMLが意外に性能伸びていないのは対応ハードウェアが多くて最小公倍数的な対応になっているからだろう。
おまけ的な話だが，昨今流行りのLLM界隈でもAMDが反抗の兆しをみせているらしい。
上記のAPU解禁に加えて，是非メモリの多いGPUを出していただきたい。
Strix PointやStrix HaloでLLM性能を謳うならROCm解禁は是非である。
技術的にはJIT的なもので実機最適化するような仕組みがあれば皆が幸せになりそうである。
