P09 效能、離線與可靠性
用相同條件比較效能，測斷網、重啟與重複請求。
P09 效能、離線與可靠性
效能數字要先說起終點。Tokens/sec 看生成吞吐，FPS 看影格處理，Latency 看完成一件事用了多久，P95 則描述一組量測裡較慢的尾端。它們不能直接互換。
冷啟動、模型載入、排隊和生成可能占在不同階段。平均值不一定反映忙碌時的等待；只量模型推論，也可能漏掉前端、網路、檢索與工具造成的延遲。
做一組能比較的測試
固定輸入、模型、硬體、並發及測量邊界，再比較改動前後。同時保留品質與失敗率。若每次測試都換問題或輸出長度，很難說速度差異來自優化。
離線與可靠性另外測：外網關閉後哪些能力可用？程序中途重啟，哪些狀態恢復？請求重送時有沒有重複副作用？網路逾時後先查任務狀態，再決定是否重試。
練習
做一份測試表，含條件、起終點、樣本數、正常結果與失敗分類。實作一次斷網和重啟，寫清楚恢復哪些能力、遺失哪些內容。
自我檢查：能把一個數字連回量測方法，不把峰值當成長時間可維持的結果，也不把未執行的測試寫成結論。