TensorRT for RTXと言う技術がある。
TensorRTはNVIDIAの最適化技術であるが、ここでいうfor RTXの部分はどうやらPC向けと言う意味らしい。
既に使い込んでいるがそもそもはTensorRTはAI用のGPU向けで，一般消費者向けではなかったことを思い出すに至る。
6月リリース予定であったが相当な難産で遅れた。
上記記事には「DirectMLと比べて最大2倍のパフォーマンスが発揮できる」とあるが、役割もDirectMLに近い役割であるようだ。実際は一つ下のWindowsMLのレイヤーでTensorRTの技術を用いてカジュアルに最適化を図る。性能面での他社に対する差別化であり、更新頻度やバージョン互換・ファイルサイズが大きいなど一般向けでないTensorRTの普及版といったところだろう。
TensorRT for RTX Documentation — NVIDIA TensorRT for RTX Documentation
WindowsMLの方が難産でその煽りをくった形と思われる。こちらのGAが遅れに遅れ9月である。
で、NVIDIA側の公式配布がこちら。バイナリとソースのそれぞれである。
TensorRT for RTX Download | NVIDIA Developer
https://github.com/NVIDIA/TensorRT-RTX
そして最も一般的な使われ方がonnxruntimeからの利用だが、今のところPyPiやNuGetでのバイナリ配布は行われていないらしい。
NVIDIA - TensorRT RTX | onnxruntime
ざっとWeb界隈を調べてみたところDirectMLに近い使用感でTensorRTに近いパフォーマンスが出ている模様。
自作WindowsアプリをTensorRTからTensorRT for RTXに移行してみた！ #NVIDIA - Qiita
ファイルサイズも一般配布向けに抑えめである。
もちろん、AMDやQualcommなどもWindowsML対応でパフォーマンスを出してくると思われるのでここから数か月楽しみな話題の一つでしょうか。
もちろんインテルも頑張って頂きたいところですね。そういえばArc Pro Bどうなった？
