第 3 章：数据清洗与变换¶

library(tidyverse)  # 一次性加载所有核心包

# 不用管道：嵌套函数，从内向外读
summarise(group_by(filter(scores, 总评 >= 60), 性别), 平均分 = mean(总评))

# 用管道：从左到右，逻辑清晰
scores %>%
    filter(总评 >= 60) %>%
    group_by(性别) %>%
    summarise(平均分 = mean(总评))

library(dplyr)

# 1. filter() —— 筛选行
scores %>% filter(总评 >= 85)                    # 成绩 ≥ 85
scores %>% filter(性别 == "女", 总评 >= 80)      # 女生且成绩 ≥ 80

# 2. select() —— 选择列
scores %>% select(姓名, 总评)                    # 只保留两列
scores %>% select(-学号)                         # 删除学号列
scores %>% select(starts_with("期"))             # 选择以"期"开头的列

# 3. mutate() —— 创建/修改列
scores %>%
    mutate(
        总评 = 平时 * 0.3 + 期中 * 0.3 + 期末 * 0.4,
        是否及格 = ifelse(总评 >= 60, "是", "否"),
        排名 = rank(-总评)                       # 降序排名
    )

# 4. arrange() —— 排序
scores %>% arrange(总评)                         # 升序
scores %>% arrange(desc(总评))                   # 降序

# 5. summarise() + group_by() —— 分组汇总
scores %>%
    group_by(性别) %>%
    summarise(
        人数 = n(),
        平均分 = mean(总评),
        最高分 = max(总评),
        最低分 = min(总评),
        标准差 = sd(总评)
    )

# 模拟含缺失值的数据
df <- data.frame(
    姓名 = c("张三", "李四", "王五", "赵六", "孙七"),
    成绩 = c(85, NA, 78, 92, NA),
    年龄 = c(20, 21, NA, 22, 19)
)

# 查看缺失值
is.na(df)                    # 每个位置是否为 NA
colSums(is.na(df))           # 每列缺失值数量

# 删除含缺失值的行
df %>% drop_na()

# 填充缺失值
df %>%
    mutate(
        成绩 = replace_na(成绩, mean(成绩, na.rm = TRUE)),
        年龄 = replace_na(年龄, median(年龄, na.rm = TRUE))
    )

library(tidyr)

# 宽表（常见格式）
scores_wide <- data.frame(
    姓名 = c("张三", "李四", "王五"),
    平时 = c(85, 92, 78),
    期中 = c(78, 88, 82),
    期末 = c(82, 95, 75)
)

# 宽表 → 长表（ggplot2 喜欢长表格式）
scores_long <- scores_wide %>%
    pivot_longer(
        cols = c(平时, 期中, 期末),
        names_to = "考试类型",
        values_to = "成绩"
    )

# 长表 → 宽表
scores_long %>%
    pivot_wider(
        names_from = "考试类型",
        values_from = "成绩"
    )

library(tidyverse)

# 读取杂乱数据
raw <- read_csv("messy_scores.csv")

# 数据清洗流水线
clean <- raw %>%
    # 1. 重命名列（去掉空格和特殊字符）
    rename(
        学号 = `学生 ID`,
        姓名 = `姓名 `,
        平时成绩 = `平时 成绩`,
        期中成绩 = `期中 成绩`,
        期末成绩 = `期末 成绩`
    ) %>%

    # 2. 去除首尾空格
    mutate(across(where(is.character), str_trim)) %>%

    # 3. 处理缺失值
    mutate(across(ends_with("成绩"), ~ replace_na(.x, 0))) %>%

    # 4. 删除重复行
    distinct(学号, .keep_all = TRUE) %>%

    # 5. 计算总评
    mutate(总评 = 平时成绩 * 0.3 + 期中成绩 * 0.3 + 期末成绩 * 0.4) %>%

    # 6. 添加等级
    mutate(等级 = case_when(
        总评 >= 90 ~ "优秀",
        总评 >= 80 ~ "良好",
        总评 >= 70 ~ "中等",
        总评 >= 60 ~ "及格",
        TRUE ~ "不及格"
    ))

# 查看清洗结果
glimpse(clean)
summary(clean)

# 学生信息表
students <- data.frame(
    学号 = c("001", "002", "003", "004"),
    姓名 = c("张三", "李四", "王五", "赵六"),
    班级 = c("1班", "1班", "2班", "2班")
)

# 成绩表
scores <- data.frame(
    学号 = c("001", "002", "003", "004"),
    成绩 = c(85, 92, 78, 88)
)

# 左连接：保留 students 的所有行
students %>%
    left_join(scores, by = "学号")

# 内连接：只保留两表都有的行
students %>%
    inner_join(scores, by = "学号")