N01 模型請求與歷史
檢查模型實際收到的 messages,分清畫面紀錄與請求歷史。
N01 模型請求與歷史
聊天畫面看得見前一句,不代表下一次模型呼叫也帶了前一句。前端保留紀錄、後端保存 Session、請求包含歷史,是三件不同的事。
Client 負責組合並送出請求,Endpoint 是服務入口,推論發生在處理模型的環境。應用可以把過去幾輪訊息加進 messages,也可以只傳最新問題;模型能使用哪些上下文,要看這次實際收到什麼。
第二句話怎麼理解
第一句問「A-17 的溫度是多少?」第二句接「那要注意什麼?」如果第二次請求只有後一句,模型不一定知道「那」指哪個設備。帶入第一輪問題、工具結果和回應,才有機會正確銜接;關鍵的即時狀態仍應重新查詢,不能只靠舊回答。
保存全部歷史也有代價:可能超出上下文限制、增加用量,或把不需要的資料帶進服務。可以摘要或截取相關部分,但摘要中丟掉設備 ID、量測時間或限制條件,後續判斷就會失去依據。
練習
寫兩份第二次請求,一份只放新問題,一份加上必要歷史。指出它們為什麼可能產生不同答案。再把工具資料的量測時間改成昨天,說明什麼情況需要重新查詢。
自我檢查:能在實際請求紀錄裡找到 messages、端點與回傳,不把畫面內容當成模型已讀取的證據。