ローカルLLMへの期待度

ふと適当なことを呟いておきます。

 

今のところ検索にもひっかからないので普及したら私が言い出したことになります。

もちろん,LLLMと表現している人もいます。

zenn.dev

 

で,何なのかということですがLLMの言語化の部分をUIとしてローカルにやろうという話です。

マイクロソフト社的に言うとCopilotとCopilot+の差でしょうか。最後の言語化部分をローカルのPCを使って行うのがCopilot+と区分するのだそうです。それで並のユーザに不快感がない速度が出るように40TOPS程度のNPUが必要だろうって話ですね。

 

理屈で言うと人間の言語よりAIの情報形式の方が秘匿性も高くネット上のスループットも出るはずなのでそれはリーズナブルな話です。

Webで圧縮転送している比ではなくなりますが,ネットを流れる情報の大半がこういったものになってくるのは時間の問題だろうという予測が立ちます。

 

じゃ,必要なのは何かというと共通のプロトコルでしょう。そのうちできるんでしょうか?

更にもう少し高機能なものを手元に置くとすれば手元からMCPサーバを叩きにいくことになるわけです。

様々な公式情報がMCPサーバの形で提供されるようになるのも時間の問題かもしれません。Webのクローラが失職してしまいますか。

変革の時期ですね。

 

ハードウェア的にはQualcomm Snapdragon X2が省電力で80TOPSとか言ってるので期待したいところです。