《大模型應用開發 動手做AI Agent》

标签

渴望洞悉人工智能浪潮中的下一站前沿？厭倦了純粹的理論灌輸，想親手打造改變世界的人工智能應用？ 那麼，你手中握住的，正是一張通往未來智能世界的通行證！ 想象一下，你不再僅僅是信息接收者，而是能與AI進行深度對話，指令一下，它便能理解你的意圖，生成精準回覆，甚至自動執行復雜任務。這，便是我們即將探索的——新一代智能體Agent！ 它不只是一款華麗的內容生成器，更是您串聯零散任務、整合複雜流程的核心引擎。本書將帶您衝破AI技術的迷霧，深度揭示Agent的奧秘。從底層技術框架到上層開發工具，從充滿挑戰的實戰項目到啟發未來的前沿進展，我們為您精心設計了7個功能強大的Agent實戰案例。無需望洋興嘆，您將親手搭建，見證這些Agent如何從概念走向現實，讓您的AI之旅不再紙上談兵。 無論您是孜孜不倦的研究學者、尋求突破的開發精英、運籌帷幄的企業管理者，還是渴望走在時代前沿的學子，這本書都將是您不可多得的寶藏。 跟隨“咖哥”和“小雪”的智慧足跡，您將踏上一段妙趣橫生的Agent開發之旅。我們將帶您零距離接觸GPT-4模型那令人驚歎的智慧、OpenAI API和Assistants的強大魔力、LangChain的優雅鏈接、LlamaIndex的知識聚合，以及MetaGPT的革新力量。親眼見證Agent在辦公自動化中如何提升效率，在智能調度中如何優化資源，在知識整合中如何洞察先機，以及在檢索增強生成（RAG）領域如何施展非凡本領。 這不止是一本書，更是一次邀請，邀請您一同開啟人工智能時代的無限可能。讓我們攜手並進，在人機協作的浩瀚星空中，共同點亮那顆最璀璨奪目的Agent之星！準備好了嗎？未來的智能世界，正向您招手！

第1章 何為Agent，為何Agent 1
1.1 大開腦洞的演講：Life 3.0 2
1.2 那麼，究竟何為Agent 5
1.3 Agent的大腦：大模型的通用推理能力 9
1.3.1 人類的大腦了不起 10
1.3.2 大模型出現之前的Agent 11
1.3.3 大模型就是Agent的大腦 12
1.3.4 期望之峰和失望之谷 14
1.3.5 知識、記憶、理解、表達、推理、反思、泛化和自我提升 18
1.3.6 基於大模型的推理能力構築AI應用 22
1.4 Agent的感知力：語言交互和多模態 23
1.4.1 語言交互能力 23
1.4.2 多模態能力 24
1.4.3 結合語言交互和多模態能力 25
1.5 Agent的行動力：語言輸出和工具使用 25
1.5.1 語言輸出能力 25
1.5.2 工具使用能力 26
1.5.3 具身智能的實現 27
1.6 Agent對各行業的效能提升 28
1.6.1 自動辦公好助手 29
1.6.2 客戶服務革命 29
1.6.3 個性化產品推薦 30
1.6.4 流程的自動化與資源的優化 30
1.6.5 醫療保健的變革 31
1.7 Agent帶來新的商業模式和變革 32
1.7.1 Gartner的8項重要預測 33
1.7.2 Agent即服務 34
1.7.3 多Agent協作 36
1.7.4 自我演進的AI 37
1.7.5 具身智能的發展 38
1.8 小結 39
第2章 基於大模型的Agent技術框架 41
2.1 Agent的四大要素 41
2.2 Agent的規劃和決策能力 44
2.3 Agent的各種記憶機制 45
2.4 Agent的核心技能：調用工具 46
2.5 Agent的推理引擎：ReAct框架 49
2.5.1 何為ReAct 50
2.5.2 用ReAct框架實現簡單Agent 53
2.5.3 基於ReAct框架的提示 56
2.5.4 創建大模型實例 60
2.5.5 定義搜索工具 61
2.5.6 構建ReAct Agent 62
2.5.7 執行ReActAgent 63
2.6 其他Agent認知框架 66
2.6.1 函數調用 66
2.6.2 計劃與執行 66
2.6.3 自問自答 66
2.6.4 批判修正 66
2.6.5 思維鏈 67
2.6.6 思維樹 67
2.7 小結 68
第3章 OpenAI API、LangChain和LlamaIndex 70
3.1 何為OpenAI API 71
3.1.1 說說OpenAI這家公司 71
3.1.2 OpenAI API和Agent開發 76
3.1.3 OpenAI API的聊天對話示例 78
3.1.4 OpenAI API的圖片生成示例 85
3.1.5 OpenAI API實踐 89
3.2 何為LangChain 91
3.2.1 說說LangChain 92
3.2.2 LangChain中的六大模塊 98
3.2.3 LangChain和Agent開發 100
3.2.4 LangSmith的使用方法 102
3.3 何為LlamaIndex 105
3.3.1 說說LlamaIndex 105
3.3.2 LlamaIndex和基於RAG的AI開發 106
3.3.3 簡單的LlamaIndex開發示例 110
3.4 小結 113
第4章 Agent 1：自動化辦公的實現——使用Assistants API和DALL·E 3模型創作PPT 115
4.1 OpenAI公司的Assistants是什麼 117
4.2 不寫代碼，在Playground中玩Assistants 118
4.3 Assistants API的簡單示例 123
4.3.1 創建助手 124
4.3.2 創建線程 128
4.3.3 添加消息 130
4.3.4 運行助手 132
4.3.5 顯示響應 138
4.4 創建一個簡短的虛構PPT 141
4.4.1 數據的收集整理 142
4.4.2 創建OpenAI助手 142
4.4.3 自主創建數據分析圖表 144
4.4.4 自主創建數據洞察 149
4.4.5 自主創建頁面標題 152
4.4.6 用Dall-E為主題配圖 152
4.4.7 自主創建PPT 154
4.5 小結 160
第5章 Agent 2：多功能選擇的引擎——通過Functions Calling調用函數 161
5.1 OpenAI中的Functions 163
5.1.1 什麼是Functions 163
5.1.2 Function的說明文字很重要 164
5.1.3 Function定義中的Sample是什麼？ 165
5.1.4 什麼是Functions Calling 166
5.2 在OpenAI Playground中定義Function 168
5.3 用Assistants API來實現Functions Calling 173
5.3.1 創建能使用Functions的Assistant 175
5.3.2 不調用Function，直接運行Assistant 177
5.3.3 在Run進入requires_action狀態之後跳出循環 185
5.3.4 拿到Assistant返回的元數據信息 186
5.3.5 利用Assistant的返回信息調用函數 187
5.3.6 通過submit_tool_outputs提交結果完成任務 190
5.4 用ChatCompletion API來實現Tool Calls 196
5.4.1 初始化對話和定義可用函數 197
5.4.2 第一次調用大模型，向模型發送對話及工具定義，並獲取響應 198
5.4.3 調用模型選擇的工具並構建新消息 201
5.4.4 第二次向模型發送對話以獲取最終響應 204
5.5 小結 205
第6章 Agent 3：推理與行動的協同——使用LangChain中的ReAct框架實現自動定價 207
6.1 複習一下ReAct推理框架 208
6.2 LangChain中ReAct Agent 的實現 210
6.3 LangChain中的工具和工具包 212
6.4 通過create_react_agent創建鮮花定價Agent 215
6.5 深挖AgentExecutor的運行機制 221
6.5.1 在AgentExecutor中設置斷點 221
6.5.2 第一輪思考：模型決定搜索 224
6.5.3 第一輪行動：工具執行搜索 233
6.5.4 第二輪思考：模型決定計算 239
6.5.5 第二輪行動：工具執行計算 241
6.5.6 第三輪思考：模型完成任務 245
6.6 小結 249
第7章 Agent 4：計劃和執行的解耦——使用LangChain中的Plan-and-Execute智能調度庫存 251
7.1 Plan-and-Solve策略的提出 252
7.2 LangChain中的Plan-and-Execute Agent 257
7.3 用Plan-and-Execute Agent實現物流管理 258
7.3.1 為Agent定義一系列進行自動庫存調度的工具 258
7.3.2 創建Plan-and-Execute Agent並嘗試一個“不可能完成”的任務 260
7.3.3 改動一下請求，Agent就會成功完成任務 268
7.4 從單Agent到多Agent 273
7.5 小結 273
第8章 Agent 5：知識的提取與整合——使用Llama Index實現檢索增強生成Agent 275
8.1 何為檢索增強生成 276
8.1.1 提示工程vs RAG vs 微調 278
8.1.2 技術角度的檢索 Pipeline 280
8.1.3 用戶視角的RAG流程 281
8.2 RAG和Agent 282
8.3 用LlamaIndex的ReAct Agent來實現花語秘境財報檢索 284
8.3.1 獲取並加載電商文檔 284
8.3.2 將文檔轉換為嵌入向量 285
8.3.3 構建查詢引擎和工具 287
8.3.4 配置文本生成引擎大模型 288
8.3.5 創建 Agent查詢財務信息 288
8.4 小結 289
第9章 Agent 6：GitHub的網紅聚落——AutoGPT、BabyAGI、CAMEL和Generative Agents 292
9.1 AutoGPT 293
9.1.1 AutoGPT簡介 293
9.1.2 AutoGPT實戰 294
9.2 BabyAGI 298
9.2.1 BabyAGI簡介 299
9.2.2 BabyAGI實現 301
9.3 CAMEL 317
9.3.1 CAMEL簡介 318
9.3.2 CAMEL論文中的股票交易場景 319
9.3.3 CAMEL實現 324
9.4 小結 333
第10章 Agent 7：多Agent系統框架——AutoGen和MetaGPT 335
10.1 AutoGen 336
10.1.1 AutoGen簡介 336
10.1.2 AutoGen實戰 340
10.2 MetaGPT 343
10.2.1 MetaGPT簡介 343
10.2.2 MetaGPT實戰 345
10.3 小結 353
第11章 下一代Agent的誕生地：科研論文中的新思路 355
11.1 兩篇高質量的Agent綜述 355
11.2 論文選讀：Agent自主學習、多Agent合作、Agent可信度的評估、邊緣系統部署以及具身智能落地 358
11.3 小結 359
參考文獻 361
後記 創新與變革的交匯點 362