news 2026/7/7 18:09:26

DAY27 pipeline管道

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
DAY27 pipeline管道

一、知识回顾:

1、转化器和估计器的概念

(1)转换器

转化器通俗的来说就是对数据进行预处理的工具,转换器的特点是无状态的,即它们不会存储任何关于数据的状态信息(指的是不存储内参),根据输入数据学习转换规则(比如函数规律、外参),并将其应用于新的数据。

代码示例:

from sklearn.preprocessing import StandardScaler # 初始化转换器 scaler = StandardScaler() # 1. 学习训练数据的缩放规则(计算均值和标准差),本身不存储数据 scaler.fit(X_train) # 2. 应用规则到训练数据和测试数据 X_train_scaled = scaler.transform(X_train)

(2)估计器

估计器是实现机器学习算法的对象或类。估计器的主要方法是fit和predict。fit方法用于根据输入数据,学习模型的参数和规律,而predict方法用于对新的未标记样本进行预测。估计器的特点是有状态的,它们在训练过程中存储了关于数据的状态信息,以便在预测阶段使用。

参考代码:

from sklearn.linear_model import LinearRegression # 创建一个回归器 model = LinearRegression() # 在训练集上训练模型 model.fit(X_train_scaled, y_train) # 对测试集进行预测 y_pred = model.predict(X_test_scaled)

2、管道工程

机器学习的管道机制通过将多个转换器和估计器按顺序连接在一起,可以构建一个完整的数据处理和模型训练流程。具体而言,在管道机制中,可以使用Pipeline类来组织和连接不同的转换器和估计器。Pipeline类提供了一种简单的方式来定义和管理机器学习任务的流程。

二、pipeline管道架构的搭建

1、导入基础库、 Pipeline 和相关预处理工具、机器学习模型和评估工具,并加载原始数据。

2、分离特征和标签,划分数据集

3、定义预处理步骤

(1)识别原始的 object 列

非数值型->离散变量:

(2)构建处理有序特征的 Pipeline:先填充缺失值,再进行有序编码

(3)构建处理标称特征的 Pipeline:先填充缺失值,再进行独热编码

连续性数值

(4)直接从所有列中排除已知的有序和标称特征,构建处理连续特征的 Pipeline: 先填充缺失值,再进行标准化。

(5)基于以上形成的三种Pipeline构建 ColumnTransformer,将不同的预处理应用于不同的列子集,构造一个完备的转化器。

(6)构建完整的 Pipeline,将预处理器和模型串联起来(加入估计器

(7)使用 Pipeline 对模型进行训练和评估。

@浙大疏锦行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/7 18:53:17

基于springboot的医院药品管理系统

博主介绍:java高级开发,从事互联网行业六年,熟悉各种主流语言,精通java、python、php、爬虫、web开发,已经做了多年的设计程序开发,开发过上千套设计程序,没有什么华丽的语言,只有实…

作者头像 李华
网站建设 2026/7/7 17:20:49

JavaScript学习笔记:16.模块

JavaScript学习笔记:16.模块 上一篇用迭代器和生成器搞定了“智能遍历”,这一篇咱们来解锁JS大型项目的“核心管理工具”——模块(Modules)。你肯定经历过这样的场景:写小demo时,把所有代码堆在一个script标…

作者头像 李华
网站建设 2026/7/7 5:53:09

展望:RPA与AI在企业微信自动化领域的未来融合趋势

一、 引言(Introduction) 现状回顾: 当前企业微信的RPA自动化主要集中在模拟重复性、规则明确的操作(如批量发送、信息抓取)。 技术瓶颈: 纯RPA在处理非结构化数据、复杂决策和自然语言交互方面存在局限性…

作者头像 李华
网站建设 2026/7/7 11:52:47

小学生学C++编程 (string精讲)

一、从“char 字符数组时代”,进“string 新时代”。🏰《string 王国奇遇记》—— C 中的 string 类型1、故事开场:老房子 vs 智能城堡 🏚️🏰在 C 世界里:🧓 char 字符数组👉 像一排…

作者头像 李华
网站建设 2026/7/6 23:35:10

KAIST突破:AI实现SVG矢量图形智能动画

这项由韩国科学技术院(KAIST)AI实验室的尹周烈(Jooyeol Yun)和朱在筠(Jaegul Choo)教授领导的研究发表于2024年12月,论文编号为arXiv:2512.14336v1。有兴趣深入了解的读者可以通过该编号查询完整…

作者头像 李华
网站建设 2026/7/7 8:55:44

香港大学团队破解电脑操作难题:让AI通过看视频学会自己使用电脑

这项由香港大学的陆俊杰、徐艺恒、王俊力等研究者领导,联合阿里巴巴Qwen团队的黄斌源、林俊洋等专家共同完成的研究发表于2025年10月,论文编号为arXiv:2510.19488v1。这是一项关于如何让人工智能学会使用电脑的突破性研究,有兴趣深入了解的读…

作者头像 李华