公司网站建设个人总结东莞市城乡和住房建设局

公司网站建设个人总结,东莞市城乡和住房建设局,linux系统 建网站,注册入口1. Time Travel 是什么#xff0c;能解决什么问题 Time Travel#xff08;时间旅行#xff09;用于查询表在某个历史时间点的“数据与表结构状态”。你可以指定一个时间点#xff0c;让 Flink 返回该时间点对应的表数据#xff0c;适合做#xff1a; 历史对账、回溯分析…1. Time Travel 是什么能解决什么问题Time Travel时间旅行用于查询表在某个历史时间点的“数据与表结构状态”。你可以指定一个时间点让 Flink 返回该时间点对应的表数据适合做历史对账、回溯分析“昨天 0 点这张表是什么样”事故排查对比某次变更前后的数据差异回放/复现历史报告Flink SQL 通过标准语法实现FOR SYSTEM_TIME AS OF ...。(Apache Nightlies)2. 前置条件不是所有表都能 Time Travel取决于 Catalog2.1 必须由 Catalog 提供历史表能力当前 Flink 的 Time Travel要求表所在的 Catalog 实现getTable(ObjectPath tablePath, long timestamp)也就是说能不能“回到过去”不在 SQL 本身而在Catalog 是否支持按时间点取表。(Apache Nightlies)典型支持者面向湖/快照表格式的 Catalog例如 Paimon 的实现思路经常被拿来举例。(Apache Wiki)3. 基本语法3.1 查询某个历史时间点的数据(Apache Nightlies)SELECTselect_listFROMtable_nameFORSYSTEM_TIMEASOFtimestamp_expression;3.2 timestamp_expression 的要求必须能在 SQL 解析阶段归约成常量 TIMESTAMP只能用于物理表不能用于视图或子查询Flink 文档强调该表达式只能作用于物理表(Apache Nightlies)4. 示例你给的 Paimon 表例子4.1 直接用时间常量(Apache Nightlies)SELECT*FROMpaimon_tbFORSYSTEM_TIMEASOFTIMESTAMP2023-07-31 00:00:00;4.2 用可归约的常量表达式时间加减(Apache Nightlies)SELECT*FROMpaimon_tbFORSYSTEM_TIMEASOFTIMESTAMP2023-07-31 00:00:00-INTERVAL1DAY;5. 限制timestamp_expression 不是“随便写函数都行”Time Travel 对timestamp_expression的限制非常严格只支持能被归约为 TIMESTAMP 常量的一部分表达式常量 TIMESTAMP、对 TIMESTAMP 做加减、部分内建函数/部分 UDF。(Apache Nightlies)5.1 UDF/某些函数无法归约时会直接报错例如这类表达式当前会失败(Apache Nightlies)SELECT*FROMpaimon_tbFORSYSTEM_TIMEASOFTO_TIMESTAMP_LTZ(0,3);会抛出类似异常核心意思是无法把表达式归约成常量(Apache Nightlies)Unsupported time travel expression: … can not be reduced to a constant by Flink.工程建议Time Travel 的时间点尽量写成“可直接计算出的字面量 TIMESTAMP”把复杂计算放在应用侧或 SQL 外层预计算但注意该表达式不能对 view/subquery 生效。(Apache Nightlies)6. 时区处理同一条 SQL 在不同时区可能查到“不同的历史点”这是 Time Travel 最容易踩的大坑之一表达式产出的类型是TIMESTAMP但在FOR SYSTEM_TIME AS OF语境下Flink 框架会按本地时区把 TIMESTAMP 转成 LONG毫秒时间戳语义因此同一条 Time Travel SQL 在不同 local time zone 下结果可能不一致(Apache Nightlies)6.1 如何控制本地时区建议生产固定为 UTCFlink 提供了table.local-time-zone来控制会话/作业本地时区(Apache Nightlies)-- 例如强制统一用 UTC推荐生产环境SETtable.local-time-zoneUTC;这样做的意义避免你在开发机Asia/Shanghai和集群UTC 或 America/Los_Angeles跑同一条 SQL查到的“历史点”发生偏移。(Apache Nightlies)7. 一页总结语法FROM t FOR SYSTEM_TIME AS OF timestamp_expression(Apache Nightlies)前提Catalog 必须实现getTable(ObjectPath, long timestamp)才能按时间点拿表 (Apache Nightlies)限制时间表达式必须能归约成常量复杂函数/UDF 可能直接报不支持 (Apache Nightlies)时区坑Time Travel 会按 local time zone 把 TIMESTAMP 转 LONG同 SQL 不同时区可能结果不同生产建议固定table.local-time-zoneUTC(Apache Nightlies)