大塘街联合区图书馆、区来穗人员服务管理局举办新春送福活动

1月11日，区委常委、区纪委书记、区监委代理主任陈复军到大塘街开展节前检查走访慰问。陈复军同志首先来到成悦大厦开展春节前安全生产、消防安全大检查，实地检查了大厦消防控制室并详细查看相关安全工作台账，对春节前安全工作要求进行了强调：一是要深入学习贯彻习近平总书记关于安全生产的重要论述精神，认真落实全国、全省、全市、全区安全生产工作部署，全力保障岁末年初安全稳定；二是吸取安全事故教训，落实值班值守制度，时刻绷紧安全生产这根弦，强化自纠自查，防范化解各类风险隐患。紧接着，根据《越秀区“抢机遇拼经济促发展”行动工作方案》部署，陈复军同志暖企走访了广州灵感之茶餐饮管理有限公司、广州市第三建筑工程有限公司，感谢企业扎根越秀发展，并现场一一回应企业提出的关于申请综合工时、净化市场环境、加强政企合作等诉求，要求区商务局、区建设水务局等单位要落实“首席服务官”制度，建立企业诉求反馈协调机制，全力帮助企业做优做强。最后，陈复军同志来到大塘街秉政社区老党员张志明家中，对其一直以来积极参加疫情防控等各类志愿活动表示感谢，并送上慰问品和慰问金，祝愿张志明同志及家人新春快乐！

2022年12月，在拉斯维加斯举办的2022亚马逊云科技re:Invent全球大会完美落幕，这一标志性的技术盛宴再一次给人们留下了无限的想象空间，等待大家在新的一年去持续探索和发掘。近日，亚马逊云科技中国巡演——广州、深圳站也如期举行，其间对re:Invent全球大会的很多项目进行解读，为中国企业提供更多的可能。

简化数据摄入工作

最好是没有

 要想数据分析到位，首先要保证有稳定、可靠的数据摄入通道，来实现端到端的第一环（其实还有第零环，是业务在数据源侧的规划），而这一块也是大部分数据工程中遇到最头疼的问题之一。首先，数据源就包含很多种，最常见的数据源包括关系型数据库、数据湖和实时的流数据。其次，不管是手动还是自动的ETL流水线，都需要专业的数据工程团队来构建和维护，并且经常要处理或介入数据结构的变更等情况。这次，Redshift连发多个功能特性来帮助客户解决或者消除这类问题。

 首先是最常见的关系型数据库，也就是经典的OLTP向OLAP的数据传递。如果是为了更快或者更实时地获取线上业务的事务数据来做分析，通常可以通过开启数据库的binlog来捕捉CDC变更，然后再使用解析CDC的工具如Amazon DMS、Debezium等来实现，这些都需要客户进行不断的监控、配置和优化。此外，不同的数据库和数据表可能会有不同的需求，这样就再加倍了数量级的维护成本。

 相信大家对Redshift印象最深的一个功能就是Zero ETL，帮助客户完成从1到0的过程！Redshift通过与Amazon Aurora数据库深度集成，在事务型数据写入Aurora后，数据在底层被持续地复制到Redshift，完成行式数据存储到列式数据存储的转换，彻底消除了自己构建和维护复杂数据管道的工作。没有Hybrid OLTP和OLAP，仍然是熟悉的Amazon Purpose-Build（Aurora还是 Aurora，Redshift还是Redshift）各司其职解决最实际的问题。同时，客户的应用程序架构保持不变，读写端点指向Aurora，分析端点指向Redshift，但是底层已经不再是一大串接一大串的数据抽取、转换和加载，直接无缝衔接并且达到近实时的效果。

 然后是数据湖S3，Redshift开始支持从S3数据湖中自动复制，手动挡升级自动挡。之前，如果想要拷贝数据都需要手动或者定时执行COPY命令，现在Redshift新添加了COPY JOB命令自动检测指定路径的新文件，跳过已经加载完毕的旧文件。以前编写的定时任务脚本可以退役了，而且再也不用担心手抖重复执行，生活变得更美好了。

 如果业务需求是实时的，那么通过S3作为Staging存储再COPY的方式就跟不上节奏了，所以，流数据也要拿下。re:Invent之前，Redshift流式摄入已经开始支持Amazon Kinesis Data Streams，这次发布更是添加了Amazon Managed Streaming for Apache Kafka（MSK），同时流式摄入也正式推出，告别预览。从上面的图中可以看出，流式摄入合并了数据消费的过程，直接在Redshift中实现并持续加载到数据仓库。在Redshift中，流式摄入是通过物化视图的方式实现的（查找官方文档是在物化视图章节），用户还可以在这个物化视图基础上再配合其他数据叠加物化视图提高查询效率。另外，别忘了还可以给流式摄入开启自动刷新功能。从此，客户可以更简单地完成实时数据分析，包括IoT物联网设备、点击流、应用程序监控、欺诈检测和游戏实时排行榜等。

 以上，Redshift简化了各种最经典的数据源ETL方式，数据坐等分析。

 更多数据分析的利器

 来点火花

 数据已经妥妥地进到了数据仓库的碗里来，接下来就请开始它的表演了。此时，数据工程师表示Redshift SQL很好，但是还有些更复杂业务数据逻辑更适合通过代码的方式进行操作和处理（而不是通过UDF）。开源大数据生态体系下有非常丰富的软件供组织采用了，其中功能完善、发展稳定的Apache Spark往往是一个优先的选择。在亚马逊云科技平台上使用Spark并不复杂，有托管服务EMR和Glue保驾护航，还有新发布的Amazon Athena for Apache Spark可以极速启动交互。但是，说到Spark和Redshift之间进行数据分析还是需要折腾一下的，或者是通过将Redshift中的数据导出到S3中，或者是使用各种第三方的Spark连接器，前者需要多走一步浪费时间和资源，后者没有多少人维护不说，性能和安全性都令人堪忧。因此，Amazon Redshift integration for Apache Spark应运而生。

 这个内置集成模式基于一个之前的开源项目，提升了性能和安全性，相信后续亚马逊云科技仍将继续跟进这个开源项目，并将各种升级改造的好东西贡献给社区。目前，EMR、EMR on EKS、EMR Serverless和Glue（限定版本）都预置了打包好的连接器和JDBC驱动程序，客户完全可以直接开始编写代码（有爱好者迫不及待连夜在EMR Studio中使用EMR on EKS完成了对Redshift Serverless和集群模式的交互式读写测试，体验极佳），对Redshift中的数据进行处理。如果客户的数据分析工作负载以Spark为主，也可以通过Spark统一对各种数据源的分析。