PySpark 数据转换辅助
围绕输入数据、目标结构和处理规则规划 PySpark 转换步骤,辅助编写数据管道逻辑。运行前需校验数据类型、分区策略和结果质量。
先选你要完成的事,也可以按职业筛选。技术、工具与产品名称保留在标签中。
围绕输入数据、目标结构和处理规则规划 PySpark 转换步骤,辅助编写数据管道逻辑。运行前需校验数据类型、分区策略和结果质量。
本条目介绍 AirflowDAG生成器 的公开用途。DeepSkill 当前公开目录说明:“生成 Airflow DAG 生成器操作。数据管道技能的自动激活功能。 触发条件:airflow dag generator、airflow dag generator 属于数据管道技能类别。在使用 Airflow DAG 生成器功能时使用。可通过以下短语触发
根据数据来源、转换目标和运行约束整理 Spark 作业框架,帮助规划批处理或数据管道实现。提交集群前需审查资源配置与数据影响。
本条目介绍 dbt模型生成器 的公开用途。DeepSkill 当前公开目录说明:“生成 dbt 模型生成器操作。数据管道技能的自动激活功能。 触发条件:dbt 模型生成器,dbt 模型生成器 属于数据管道技能类别。在使用 dbt 模型生成器功能时使用。可通过以下短语触发:“dbt 模型生成器”、“dbt 生成器”、“dbt”。” 适用场景包括写 S
本条目介绍 数据分区器 的公开用途。DeepSkill 当前公开目录说明:“处理数据分区器操作。数据管道技能的自动激活技能。 触发条件:数据分区器、数据分区器 属于数据管道技能类别。在处理数据分区器功能时使用。可通过诸如“数据分区器”、“数据分区器”、“数据”等短语触发。” 适用场景包括写命令行脚本、写 SQL 取数。本页根据公开目录资料和固定版本
用于数据管道中的 Schema 校验相关工作,帮助使用者建立结构约束核对流程。应先明确目标 Schema 及版本,再根据真实数据检查不符合约束的情况。 本页为站方独立介绍,采用对应版本的 DeepSkill 安全检查通过记录作为免人工安全复核依据,不代表运行安全保证。安装依赖、文件写入、联网与服务调用仍需自行确认权限和范围;原文、附件及下载继续按授权控制。
本条目介绍 增量加载设置 的公开用途。DeepSkill 当前公开目录说明:“配置增量加载设置操作。数据管道自动激活技能。 触发条件:增量加载设置,增量加载设置 属于数据管道技能类别。在使用增量加载设置功能时使用。可通过诸如“增量加载设置”、“增量设置”、“增量”等短语触发。” 适用场景包括部署发布与上云。本页根据公开目录资料和固定版本的上游仓库整
本条目介绍 Dagster管道创建器 的公开用途。DeepSkill 当前公开目录说明:“创建 Dagster 管道创建者操作。数据管道技能的自动激活功能。 触发条件:dagster pipeline creator、dagster pipeline creator 属于数据管道技能类别。在使用 Dagster 管道创建者功能时使用。可通过以下短语触
本条目介绍 Flink任务创建器 的公开用途。DeepSkill 当前公开目录说明:“创建 Flink 作业创建者操作。数据管道技能的自动激活功能。 触发条件:flink job creator, flink job creator 属于数据管道技能类别。在使用 Flink 作业创建者功能时使用。可通过诸如“flink job creator”、“f
本条目介绍 完美流程构建器 的公开用途。DeepSkill 当前公开目录说明:“构建 Prefect 流构建器操作。数据管道技能的自动激活功能。 触发条件:Prefect 流构建器、Prefect 流构建器 属于数据管道技能类别。在使用 Prefect 流构建器功能时使用。可通过以下短语触发:“Prefect 流构建器”、“Prefect 构建器”、
本条目介绍 SparkSQL优化器 的公开用途。DeepSkill 当前公开目录说明:“优化 Spark SQL 优化器操作。数据管道技能自动激活。 触发条件:Spark SQL 优化器、Spark SQL 优化器 属于数据管道技能类别。在使用 Spark SQL 优化器功能时使用。可通过“Spark SQL 优化器”、“Spark 优化器”、“Sp
围绕事件输入、流式转换和输出目标梳理 Kafka 数据处理步骤,协助规划流处理任务。部署前应结合实际集群、吞吐量和容错要求验证配置。