@superdoccimo
長時間動くAgentで、本当に難しいのは「止まらないこと」だけではない。 途中でrate limitに当たった。 conversationを別の実行へ引き継いだ。 operation tokenを更新した。 失敗から処理を続けた。
local AIを選ぶとき、どうしても目に入りやすい数字があります。 tokens/sec。 「このGPUなら○○ tok/s出た」 「このモデルは速い」 「この量子化なら動く」 もちろん、それらは重要です。 しかし、実際にlocal