Ollamaについては、llama.cpp
を直接ビルドする みたいな泥臭い手間から解放してくれた神ツールなのは間違いない。ただ、本気でチューニングしようとすると、隠された設定を探して結局 CLI を深掘りする羽目になる、開発者の良心と煩わしさのハイブリッドって感じ。
そう本体が1.1GBくらいあって...AIモデルをダウンロードする毎に、3~4GBくらいと結構ディスクを消費する点、比較的、高性能なGPUを搭載していないと快適に動作しない点、ゲーミングノートみたいな環境の場合、質問等を投げたときにCPUファンが一気に回り始めるみたいな現象が気になったのは一応あげとく・・・。
0 件のコメント:
コメントを投稿