当前位置: 首页 > news >正文

安徽外经建设集团网站sem

安徽外经建设集团网站,sem,什么是外包,江西城乡建设网站使用TensorFlow时需掌握的Pandas核心知识点 一、数据读取与写入 读取常见格式数据 方法:pd.read_csv()、pd.read_excel()、pd.read_json()。 import pandas as pd# 读取CSV文件 data pd.read_csv("dataset.csv")# 读取Excel文件 excel_data pd.read…

使用TensorFlow时需掌握的Pandas核心知识点

一、数据读取与写入

读取常见格式数据

方法pd.read_csv()pd.read_excel()pd.read_json()

import pandas as pd# 读取CSV文件
data = pd.read_csv("dataset.csv")# 读取Excel文件
excel_data = pd.read_excel("data.xlsx", sheet_name="Sheet1")

使用场景:加载结构化数据集(如CSV格式的房价数据、用户行为日志)。

数据保存

方法to_csv()to_excel()

# 保存处理后的数据到CSV
data.to_csv("processed_data.csv", index=False)

使用场景:存储预处理后的数据供后续训练使用。

二、数据清洗与预处理

处理缺失值

方法fillna()dropna()

# 用均值填充缺失值
data["age"].fillna(data["age"].mean(), inplace=True)# 删除包含缺失值的行
data.dropna(subset=["income"], inplace=True)

使用场景:处理传感器数据中的噪声或用户填写表单时的遗漏字段。

类型转换

方法astype()pd.to_numeric()

# 将字符串转换为浮点数
data["price"] = pd.to_numeric(data["price"], errors="coerce")# 转换为分类类型(减少内存占用)
data["category"] = data["category"].astype("category")

使用场景:统一数据类型以适配模型输入(如将文本标签转为数值)。

三、数据筛选与操作

条件筛选

方法:布尔索引、query()

# 筛选年龄大于30的记录
filtered_data = data[data["age"] > 30]# 使用query筛选多条件
filtered = data.query("age > 30 & income > 5000")

使用场景:提取特定用户群体的行为数据用于分类模型。

列操作与重命名

方法df[column]rename()

# 选择特定列
features = data[["age", "income", "education"]]# 重命名列
data.rename(columns={"old_name": "new_name"}, inplace=True)

使用场景:提取特征列(如房价预测中的面积、房龄)或统一字段命名。

四、数据合并与连接

合并数据集

方法pd.concat()pd.merge()

# 纵向合并(相同列结构)
combined = pd.concat([df1, df2], axis=0)# 横向连接(类似SQL JOIN)
merged = pd.merge(df1, df2, on="user_id", how="inner")

使用场景:整合多个来源的数据(如用户基本信息表 + 行为日志表)。

五、时间序列处理

日期解析与重采样

方法pd.to_datetime()resample()

# 将字符串转换为时间类型
data["timestamp"] = pd.to_datetime(data["timestamp"])# 按周聚合销售额
weekly_sales = data.resample("W", on="timestamp")["sales"].sum()

使用场景:分析时间序列数据(如股票价格预测、用户活跃度按天统计)。

六、分组与聚合

分组统计

方法groupby() + agg()

# 按城市分组计算平均收入和中位数
grouped = data.groupby("city")["income"].agg(["mean", "median"])# 多列聚合
result = data.groupby("department").agg({"sales": "sum", "profit": "mean"})

使用场景:生成特征统计值(如电商用户按地区的购买频次)。

七、特征工程

独热编码(One-Hot Encoding)

方法pd.get_dummies()

# 将分类变量转换为独热编码
encoded = pd.get_dummies(data["gender"], prefix="gender")

使用场景:将文本类别(如“男/女”)转换为模型可处理的数值特征。

分箱(Binning)

方法pd.cut()pd.qcut()

# 将年龄分为3个区间
data["age_bin"] = pd.cut(data["age"], bins=[0, 18, 60, 100], labels=["child", "adult", "senior"])

使用场景:将连续特征离散化(如年龄分段对购买力的影响)。

八、与TensorFlow的数据交互

转换为Tensor或Dataset

方法tf.convert_to_tensor()tf.data.Dataset.from_tensor_slices()

import tensorflow as tf# 将Pandas DataFrame转为Tensor
features_tensor = tf.convert_to_tensor(data[["age", "income"]].values, dtype=tf.float32)# 创建TensorFlow Dataset
dataset = tf.data.Dataset.from_tensor_slices((data["features"], data["label"]))

使用场景:将清洗后的数据输入神经网络进行训练。

九、性能优化

大数据分块处理

方法chunksize参数分块读取。

# 分块读取大型CSV文件
chunk_iter = pd.read_csv("large_data.csv", chunksize=10000)
for chunk in chunk_iter:process(chunk)  # 逐块处理

使用场景:处理内存不足的大型数据集(如千万级用户日志)。

十、数据探索与可视化

快速统计与绘图

方法describe()plot()

# 查看数值列统计信息
print(data.describe())# 绘制特征分布直方图
data["age"].plot(kind="hist")

使用场景:分析特征分布(如收入是否偏态)或异常值检测。

总结

掌握以上Pandas知识点后,可以高效完成以下TensorFlow任务:

  • 数据预处理:清洗、特征工程、格式转换。
  • 数据整合:合并多源数据、时间序列对齐。
  • 模型输入:将结构化数据转换为Tensor或tf.data.Dataset

示例完整流程

# 1. 读取数据
data = pd.read_csv("sales_records.csv")# 2. 处理缺失值
data["price"].fillna(data["price"].median(), inplace=True)# 3. 特征工程:独热编码
data = pd.get_dummies(data, columns=["category"])# 4. 转换为TensorFlow Dataset
dataset = tf.data.Dataset.from_tensor_slices((data[["price", "quantity", "category_A", "category_B"]].values.astype(np.float32),data["profit"].values.astype(np.float32)
))# 5. 构建并训练模型
model = tf.keras.Sequential([...])
model.compile(optimizer="adam", loss="mse")
model.fit(dataset.batch(32), epochs=10)

Pandas与TensorFlow结合使用的典型场景及实例

一、时间序列预测(医疗/金融)

场景:将Pandas处理的时间序列数据输入TensorFlow的RNN/LSTM模型进行预测。

实例

# 读取时间序列数据(如心电图记录)
df = pd.read_csv("ecg_data.csv")
df["timestamp"] = pd.to_datetime(df["timestamp"])  # 转换为时间戳# 构建滑动窗口序列
window_size = 30
sequences = [df["value"].values[i:i+window_size] for i in range(len(df)-window_size)]# 转换为TensorFlow Dataset
dataset = tf.data.Dataset.from_tensor_slices((sequences, labels)).batch(32)# 训练LSTM模型
model = tf.keras.Sequential([tf.keras.layers.LSTM(64, input_shape=(window_size, 1)),tf.keras.layers.Dense(1, activation="sigmoid")
])
model.fit(dataset, epochs=10)

二、图像分类(医学影像)

场景:用Pandas管理图像路径与标签,结合TensorFlow的ImageDataGenerator动态加载数据。

实例

# 创建图像路径与标签的DataFrame
data = pd.DataFrame({"filename": ["image1.jpg", "image2.jpg"],"label": [0, 1]
})# 生成增强后的图像流
datagen = tf.keras.preprocessing.image.ImageDataGenerator(rescale=1./255)
generator = datagen.flow_from_dataframe(dataframe=data,x_col="filename",y_col="label",target_size=(224, 224),batch_size=32
)# 训练ResNet模型
base_model = tf.keras.applications.ResNet50(weights="imagenet", include_top=False)
model = tf.keras.Sequential([base_model, tf.keras.layers.GlobalAveragePooling2D(), tf.keras.layers.Dense(1)])
model.compile(optimizer="adam", loss="binary_crossentropy")
model.fit(generator, epochs=10)

三、动态特征生成(推荐系统)

场景:用Pandas实时计算用户行为统计特征,输入TensorFlow模型更新推荐结果。

实例

# 实时聚合用户点击行为
user_logs = pd.read_parquet("user_behavior.parquet")
user_stats = user_logs.groupby("user_id").agg({"click_count": "sum","last_active": "max"
}).reset_index()# 合并用户画像特征
user_profile = pd.read_csv("user_profile.csv")
merged = pd.merge(user_stats, user_profile, on="user_id", how="left")# 转换为Tensor并预测
features = merged[["click_count", "age", "gender"]].values.astype(np.float32)
predictions = model.predict(features)

四、大规模数据分块处理(工业级训练)

场景:用Pandas分块读取超大型CSV文件,避免内存溢出。

实例

# 分块读取并预处理
chunk_iter = pd.read_csv("terabyte_logs.csv", chunksize=1e6)
for chunk in chunk_iter:chunk = chunk[chunk["error_code"] == 0]  # 过滤无效记录# 转换为TFRecord格式存储tf.data.Dataset.from_tensor_slices(chunk.to_dict("list")).save(f"processed/{chunk_id}.tfrecord")# 加载TFRecord数据集训练模型
dataset = tf.data.Dataset.list_files("processed/*.tfrecord").interleave(tf.data.TFRecordDataset)

五、模型结果分析与可视化

场景:用Pandas统计模型预测结果,生成混淆矩阵与分类报告。

实例

# 收集测试集预测结果
test_data = pd.read_csv("test_data.csv")
predictions = model.predict(test_data[features].values)
test_data["predicted_label"] = (predictions > 0.5).astype(int)# 计算混淆矩阵
confusion_matrix = pd.crosstab(test_data["true_label"], test_data["predicted_label"], rownames=["Actual"], colnames=["Predicted"]
)# 输出分类报告
from sklearn.metrics import classification_report
print(classification_report(test_data["true_label"], test_data["predicted_label"]))

六、特征分箱与嵌入(广告CTR预估)

场景:用Pandas对连续特征分箱后,通过TensorFlow的嵌入层处理。

实例

# 将年龄分箱为离散类别
df["age_bin"] = pd.cut(df["age"], bins=[0, 18, 35, 60], labels=["young", "adult", "senior"])# 构建分箱特征的嵌入表示
inputs = {"age_bin": tf.keras.Input(shape=(1,), dtype=tf.string),"income": tf.keras.Input(shape=(1,), dtype=tf.float32)
}
age_embedding = tf.keras.layers.Embedding(input_dim=3, output_dim=2)(inputs["age_bin"])
concatenated = tf.keras.layers.Concatenate()([age_embedding, inputs["income"]])

总结

以上场景覆盖了从数据预处理、动态特征工程到模型训练与监控的全链路,核心优势在于:

  • Pandas:灵活处理结构化数据(如时序聚合、特征分箱、多表关联)。
  • TensorFlow:高效执行数值计算(如大规模训练、嵌入学习)。
  • 两者结合可显著提升复杂业务场景(如医疗影像分析、实时推荐)的开发效率。
http://www.cadmedia.cn/news/2022.html

相关文章:

  • 北京市朝阳区住房建设网站产品软文范例软文
  • 预付做网站定金如何东莞做网站推广公司
  • 盾思途旅游网站建设全球网站排名
  • 企业手机网站建设流程图怎样建立个人网站
  • 单向链接对网站排名影响苏州seo关键词优化排名
  • 石家庄疫情是真是假网站优化排名
  • 网站建设综合推荐链接点击量软件
  • 郑州人流医院排名岳阳seo
  • 河北建设银行官网招聘网站网店营销策略有哪些
  • 天堂 在线地址8深圳百度seo公司
  • 属于教育主管部门建设的专题资源网站是拼多多关键词优化是怎么弄的
  • 医院网站建设具体内容百度快速排名优化工具
  • 建网站-湛江市优化推广公司哪家好
  • 深圳网站建设外贸公司google官网入口手机版
  • 网站建设分金手指排名二六seo查询网站是什么
  • 动态网站设计与实现托管竞价账户哪家好
  • 网站开发美学 2.0免费发seo外链平台
  • 湖南智能网站建设多少钱网站建设公司简介
  • 中国建设银行信用卡官网站域名停靠
  • 柳编网站建设意义百度热榜
  • 济南香港国际网站建设百度提交收录入口
  • 哈尔滨房地产网站建设入门seo技术教程
  • 粘合剂东莞网站建设重庆百度推广开户
  • 企业网站推广服务协议百度点击工具
  • 设计教学网站推荐简阳seo排名优化课程
  • 湖南旅游最新seo视频教程
  • 网站建设微信公众号文章如何进行搜索引擎优化
  • 广州网站设计哪里好营销策划的十个步骤
  • 网站建设干货图书厦门网站设计公司
  • 电脑网络太原关键词优化公司