2026 年 3 月，三個 LLM 智能體生成了超過 60 萬行代碼，運行了 850 次實驗，最終幫助一名資料科學家在 Kaggle Playground 競賽中奪得第一名。這一案例展示了生成式 AI 輔助編碼如何從根本上加速機器學習競賽中的迭代週期。
在傳統的機器學習競賽中，兩個瓶頸限制了實驗效率：編寫新實驗代碼的速度和執行實驗的速度。GPU 和 cuDF、cuML、XGBoost、PyTorch 等庫已經解決了第二個問題，而 LLM 智能體現在正在解決第一個問題——解鎖全新的快速迭代實驗規模。
本次競賽的任務是基於表格資料預測電信客戶流失率，評估指標為 AUC。最終的冠軍方案是一個四層堆疊的 150 個模型組合，從 850 次實驗中精選而出。整個工作流程遵循 Kaggle 高手手冊，分為四個階段：
第一階段：探索性資料分析（EDA）。LLM 智能體首先理解資料結構——訓練集和測試集的行列數、目標列格式、任務類型（分類/回歸）、特徵類型以及缺失資料情況。通過反復編寫和運行 EDA 代碼，智能體逐步摸清資料特徵。
第二階段：建立基線模型。在理解資料後，LLM 智能體為 XGBoost、神經網路、GBDT 等多種模型編寫完整的訓練流水線，包括 K 折交叉驗證、保存袋外預測和測試集預測結果。每個實驗報告交叉驗證分數，並將預測結果保存為 NumPy 文件供後續使用。
第三階段：特徵工程與模型調優。基於基線模型，LLM 智能體通過特徵工程和資料變換提取更多信號，同時進行模型調優。每次實驗無論好壞都保存預測結果。為了加速迭代循環，所有實驗都使用 GPU 加速庫（cuDF、cuML、GBDT GPU 版、PyTorch GPU 版）執行。新的思路來源包括：讓 LLM 查找相關研究論文、閱讀論壇公開代碼、基於 EDA 發現特徵關係、人機協作頭腦風暴等。
第四階段：模型融合。通過 LLM 智能體匯總所有實驗結果，將不同模型的思路融合到更強大的單模型中，使用知識蒸餾技術將多個模型的知識遷移到單一模型，最後通過爬山算法和堆疊（Stacking）等元模型方法組合所有預測結果，形成最終的冠軍方案。
這一案例證明，GPU 加速的模型執行與 LLM 智能體的代碼生成能力相結合，可以讓資料科學家在更短時間內探索更多思路。無論是 Kaggle 競賽還是企業級表格資料預測任務，這套方法都同樣適用。
WeChat
Profile