一份新的週刊電子報,Local AI Weekly,重點介紹本地人工智能工具的最新發展,目前重點是人工智能代理。 幾個開源項目旨在改善代理的功能、責任和資源利用率。
Itsfoss 的創作者指出,第一期是一個試點,電子報現在將每週發布。 本期專注於人工智能代理,因為目前本地人工智能開發的很大一部分都發生在這裡。
Unsloth 是一個開源框架,旨在更快地微調和操作開放模型,需要更少的 VRAM。 該框架的動態 GGUF 量化據稱允許在具有約 17GB RAM 的系統上運行 27B 級別的模型,而 1 位元版本可以在 8GB 下運作。 Local AI Weekly 的創作者正在使用配備 Nvidia RTX Ada 2000 的 ZimaCube 測試 Unsloth,並將在未來的期數中分享結果。
三種新發現的人工智能工具專注於代理行為。 Agent-inspect 是 TypeScript 人工智能代理的本地調試器,提供可讀的執行樹以識別問題,並允許 CI 檢查失敗和編輯後的追蹤共享。 AutoMem 是一個用於代理的持久記憶層,將資訊儲存在圖形和向量索引中,以改善回憶和上下文。 BrowserSkill 由騰訊開發,允許代理使用用戶現有的瀏覽器會話而不是沙盒,將控制權交還給用戶以處理 [CAPTCHA] 或登入。
llmfit 是一個終端工具,可幫助用戶確定他們的硬體可以運行哪些開放模型,方法是檢測 CPU、RAM 和 GPU 規格並相應地對模型進行排名。
閱讀原始報道
💬 评论
📜 评论政策