Python数据分析(三)
续接Python分析，本篇主要是关于python中一些高阶函数的应用
以下是针对你提到的几个高级知识点（数据合并、apply、iterrows、agg、map）的详细解释和案例，帮助你系统学习和理解这些功能。
1. 数据合并（Merge/Concat/Join）
知识点pd.concat()
- 沿轴（行或列）堆叠多个 DataFrame。df.merge()
- 基于列或索引键合并两个 DataFrame（类似 SQL 的 JOIN）。df.join()
- 基于索引合并，是 merge 的简化版。
import pandas as pd
# 创建两个 DataFrame
df1 = pd.DataFrame({
'id': [1, 2, 3],
'name': ['Alice', 'Bob', 'Charlie']
})
df2 = pd.DataFrame({
'id': [2, 3, 4],
'score': [90, 85, 88]
})
# 使用 concat 堆叠（默认纵向堆叠）
df_concat = pd.concat([df1, df2], ignore_index=True)
print("concat 结果:\\n", df_concat)
# 使用 merge 合并（默认内连接）
df_merge = df1.merge(df2, on='id', how='inner')
print("\\nmerge 结果:\\n", df_merge)
# 使用 join 合并（基于索引）
df1.set_index('id', inplace=True)
df2.set_index('id', inplace=True)
df_join = df1.join(df2, how='left')
print("\\njoin 结果:\\n", df_join)2. apply 函数
知识点df.apply(func, axis)
- 对 DataFrame 的行或列应用函数。axis=0
- 按列操作；axis=1：按行操作。
import pandas as pd
df = pd.DataFrame({
'A': [1, 2, 3],
'B': [4, 5, 6]
})
# 对列求和（默认 axis=0）
col_sum = df.apply(lambda x: x.sum(), axis=0)
print("列求和:\\n", col_sum)
# 对行计算最大值（axis=1）
row_max = df.apply(lambda x: x.max(), axis=1)
print("\\n行最大值:\\n", row_max)
# 自定义函数处理数据
def format_row(row):
return f"A={row['A']}, B={row['B']}"
df['formatted'] = df.apply(format_row, axis=1)
print("\\n格式化后的 DataFrame:\\n", df)
3. 数据迭代（iterrows）
知识点df.iterrows()
- 逐行迭代 DataFrame，返回索引和行数据（效率较低，尽量避免在大数据中使用）。
- 适用于需要逐行处理的场景，但优先考虑向量化操作或 apply。
import pandas as pd
df = pd.DataFrame({
'name': ['Alice', 'Bob', 'Charlie'],
'age': [25, 30, 35]
})
# 使用 iterrows 迭代
print("逐行输出:")
for index, row in df.iterrows():
print(f"Index: {index}, Name: {row['name']}, Age: {row['age']}")
# 添加新列（更高效的方式是用 apply）
df['is_adult'] = ''
for index, row in df.iterrows():
df.at[index, 'is_adult'] = 'Yes' if row['age'] >= 18 else 'No'
print("\\n添加 is_adult 列后的 DataFrame:\\n", df)
4. agg 函数
知识点df.agg(func)
- 对 DataFrame 或 Series 应用聚合函数，支持多函数组合。
- 常用于 groupby 后对多列进行不同聚合操作。
import pandas as pd
df = pd.DataFrame({
'Department': ['HR', 'IT', 'HR', 'IT'],
'Salary': [5000, 7000, 5500, 8000],
'Bonus': [1000, 2000, 1500, 2500]
})
# 单列聚合
print("Salary 列的最大值:", df['Salary'].agg('max'))
# 多列不同聚合
agg_result = df.agg({
'Salary': ['mean', 'max'],
'Bonus': ['sum', 'min']
})
print("\\n多列聚合结果:\\n", agg_result)
# 结合 groupby
group_agg = df.groupby('Department').agg({
'Salary': 'mean',
'Bonus': 'sum'
})
print("\\n按部门聚合结果:\\n", group_agg)
5. map 函数
知识点s.map(dict_or_func)
- 对 Series 中的每个元素应用映射关系（字典或函数）。
- 常用于值替换或转换。
import pandas as pd
df = pd.DataFrame({
'name': ['Alice', 'Bob', 'Charlie'],
'gender_code': [0, 1, 0]
})
# 使用字典映射
gender_map = {0: 'Female', 1: 'Male'}
df['gender'] = df['gender_code'].map(gender_map)
# 使用函数映射
df['name_length'] = df['name'].map(lambda x: len(x))
print("映射后的 DataFrame:\\n", df)
总结
- 合并数据优先使用 merge 或 join 处理关联逻辑，concat 用于简单堆叠。
- apply: 灵活但需注意性能，优先用向量化操作。
- iterrows：尽量避免在大数据中使用，改用 apply 或向量化。
- agg：用于多列聚合，结合 groupby 实现分组统计。
- map：高效替换或转换 Series 中的值。
通过这些案例，你可以更深入理解如何在实际项目中应用这些高级功能。以下是针对你提到的几个高级知识点（数据合并、apply、iterrows、agg、map）的详细解释和案例，帮助你系统学习和理解这些功能。
个人练习代码
#前面是关于基础的那些学习，目前看，项目中还是涉及用了蛮多关于高级函数应用
# 关于合并数据的
# 关于apply 这个函数
# 关于数据迭代的 iterrows
# 关于agg 、 map
# 还有就是时间系列的使用
# 然后最后就是数据可视化了，
#合并数据
import pandas as pd
# 创建两个 DataFrame
df1 = pd.DataFrame({
'id': [1, 2, 3,4],
'name': ['Alice', 'Bob', 'Charlie','33'],
})
df2 = pd.DataFrame({
'id': [1, 2, 3],
'score': [90, 85, 88]
})
# 使用 concat 堆叠（默认纵向堆叠）默认是并集，join = 'outer'
df_concat = pd.concat([df1, df2], ignore_index=False)
print("concat 结果:\n", df_concat)
#按列增加，axis=1 ，
df_concat = pd.concat([df1, df2], axis=1)
print("concat 结果:\n", df_concat)
#若是要交集 要用上jion =inner,这里所谓的交集，是指的两边都有数据的行的，若一边没有数据，则会被过滤
df_concat = pd.concat([df1, df2], axis=1,join ='inner')
print("concat 结果1:\n", df_concat)
#增加列
z =pd.Series([9,9,9],name='z')
print(z)
df_concat33=df_concat.assign(z=z)
print(df_concat33)
# 使用 merge 合并（默认内连接）
df_merge = df1.merge(df2, on='id', how='inner')
print("\nmerge 结果:\n", df_merge)
df_merge = pd.merge(df1,df2, on='id', how='inner')
print("\nmerge 结果1:\n", df_merge)
# 使用 join 合并（基于索引）
df1.set_index('id', inplace=True)
df2.set_index('id', inplace=True)
df_join = df1.join(df2, how='left')
print("\njoin 结果:\n", df_join)
#apply函数
#apply ,应用函数， 就是说，我要用函数了， 基础语法， pd.apply(func(),axis=0)
#这里有点奇怪的是， axis=0 表示按行来， axis=1 表示按列来
print(df_concat33)
ap = df_concat33
ap['total']=ap.loc[:,'score':'z'].apply(lambda x :sum(x), axis =1)
print(ap)
row3=ap.loc[:,'score':'total'].apply(lambda x :sum(x) ,axis=0)
print(row3)
df=pd.DataFrame(
{
"A":[1,2,3],
"B":[2,4,5]
}
)
print(df)
#对列求和
col_sum=df.apply(lambda x :sum(x),axis=0)
print(col_sum)
#对行求和
row_sum=df.apply(lambda x :sum(x),axis=1)
print(row_sum)
# 自定义函数处理数据
def format_row(row):
return f"A={row['A']}, B={row['B']}"
df['formatted'] = df.apply(format_row, axis=1)
print("\n格式化后的 DataFrame:\n", df)
# ap.loc[len(ap)]=''
# print(ap)
# ap.loc[len(ap)] =[row3]
#
# #数据迭代
# iterrows
#
df = pd.DataFrame({
'name': ['Alice', 'Bob', 'Charlie'],
'age': [25, 30, 35]
})
# 使用 iterrows 迭代
print("逐行输出:")
for index, row in df.iterrows():
print(f"Index: {index}, Name: {row['name']}, Age: {row['age']}")
# 添加新列（更高效的方式是用 apply）
df['is_adult'] = ''
for index, row in df.iterrows():
df.at[index, 'is_adult'] = 'Yes' if row['age'] >= 18 else 'No'
print("\n添加 is_adult 列后的 DataFrame:\n", df)
df['is_risk'] = df['age'].apply(lambda x: 'Yes' if x>=35 else 'no')
print("\n添加 is_risk 列后的 DataFrame(用apply函数):\n", df)
# #函数应用
# agg 聚合函数，用的多的是在和分组函数一起用
#
df = pd.DataFrame({
'Department': ['HR', 'IT', 'HR', 'IT'],
'Salary': [5000, 7000, 5500, 8000],
'Bonus': [1000, 2000, 1500, 2500]
})
# 单列聚合
print("Salary 列的最大值:", df['Salary'].agg('max'))
# 多列不同聚合
agg_result = df.agg({
'Salary': ['mean', 'max'],
'Bonus': ['sum', 'min']
})
print("\\n多列聚合结果:\\n", agg_result)
# 结合 groupby
group_agg = df.groupby('Department').agg({
'Salary': 'mean',
'Bonus': 'sum'
})
print("\\n按部门聚合结果:\\n", group_agg)
#map函数，- **`s.map(dict_or_func)`**：对 Series 中的每个元素应用映射关系（字典或函数）。
# -常用于值替换或转换。
df = pd.DataFrame({
'name': ['Alice', 'Bob', 'Charlie'],
'gender_code': [0, 1, 0]
})
# 使用字典映射
gender_map = {0: 'Female', 1: 'Male'}
df['gender'] = df['gender_code'].map(gender_map)
# 使用函数映射
df['name_length'] = df['name'].map(lambda x: len(x))
print("映射后的 DataFrame:\\n", df)