Calcite原理和经验总结

概述

Calcite(最初被命名为optiq,由Julian Hyde编写,之后成为apache项目)是一个动态数据管理框架,不考虑数据的存储、处理数据的算法以及元数据的保存问题,只保留了重要的数据库管理功能,成为应用程序和多个数据源交互的中介。

Optiq起初在Hive项目中,为其提供成本优化模型,即CBO(Cost Based Optimization)。它是面向Hadoop新的查询引擎,提供了OLAP和流SQL查询引擎。当前,还应用于Flink解析和流SQL处理、Drill的解析和JDBC接口等、Kylin的OLAP。
Calcite的目标是一种方案适应所有需求场景(one size fits all),希望能够为不同计算平台提供统一查询引擎,让访问hadoop上的数据跟传统数据库访问方式一样(SQL和高级查询优化)。

阅读全文

一个技术人30岁的自白

2018年度过了30岁生日,总结过去,展望未来,这次也打算写点东西,也算是对过去的一个交代,希望自己今后能够更加明确自己的道路,全身心地投入,平衡好工作和生活。2008年进入大学校园,从事计算机相关学习,算上本科和研究生,一共是七年的时间。2015年进入到现在的公司工作,到现在也有了三年半的时间。从求学到工作再到家庭,一路走来算是平平淡淡,有过开心也有过失落,如今又多了几分责任,2019年初即将迎接我的宝宝。

阅读全文

基于Arthas的Java应用线上诊断方法

引言

针对Java应用在生产环境下出现的问题,通常开发者想通过远程debug的方式来排查问题是不可行的。一是私有云的客户系统无法连接去调试,连接上也会由于debug断点导致所有业务请求被暂停。二是需要额外添加日志来部署到线上观察,效率非常低下。当然,线上问题远不止这些,还需要结合Linux和JVM指令来监控系统整体运行指标。

因此,为了能够解决上述常规排查手段的弊端,这里介绍一款开源的Java诊断工具Arthas,该工具提供了jvm整体监控、线程堆栈、类加载器检查、方法级别的监控等丰富的操作,来定位在线Java应用问题。另外,值得注意的是由于该工具采用字节码植入方式,对于应用的运行性能和安全性需要考虑一下。

阅读全文

24个职场感悟-阿里技术专家至简

至简以自传的形式讲述了他的成长历程,并提炼出24个职场感悟。这些经历和感悟,本人读完后觉得对日常的工作、学习和写作具有一定的指导意义,故整理如下和读者们共同学习成长。

  • 自学能力是竞争力之本
  • 自信能让你与众不同,尽管有时的自信有点莫名其妙
  • 兴趣是学习效率的催化剂,培养自己的职业兴趣
  • 学习应给自己设置虚拟的项目目标,以做项目的形式提升学习效果,只有这样学到的内容才会深入而实用,切忌无目标地学到哪算哪

阅读全文

工作中如何做好技术积累

文章转自:美团技术团队 @ 刘丁

引言

古人云:“活到老,学到老。”互联网算是最辛苦的行业之一,“加班”对工程师来说已是“家常便饭”,同时互联网技术又日新月异,很多工程师都疲于应付,叫苦不堪。以至于长期以来流传一个很广的误解:35岁是程序员工作的终点。

如何在繁忙的工作中做好技术积累,构建个人核心竞争力,相信是很多工程师同行都在思考的问题。本文是我自己的一些总结,试图从三个方面来解答:

  • 第一部分阐述了一些学习的原则。任何时候,遵循一些经过检验的原则,都是影响效率的重要因素,正确的方法是成功的秘诀。

  • 提升工作和学习效率的另一个重要因素是释惑和良好心态。第二部分分析了我在工作中碰到和看到的一些典型困惑。

  • 成为优秀的架构师是大部分初中级工程师的阶段性目标。第三部分剖析架构师的能力模型,让大家对目标所需能力有一个比较清晰的认知。

阅读全文

Redis持久化机制

由于Redis将所有数据都存放在内存,因此读写性能非常高(同时也取决于机器性能)。存放在内存就需要考虑机器断电或故障带来的数据丢失问题,本文介绍Redis两种磁盘持久化方式,保证数据不丢失。

阅读全文

业界大牛博客收藏

收藏中间件、算法、大数据、人工智能等领域业界大牛、团队博客、论坛、站点等链接,研究、探索和跟踪前沿技术。持续更新中...

阅读全文

HBase原理与实战

从hbase架构原理、前沿发展、应用实战等方面整理相关资料文章,用于学习和回顾hbase的使用,跟踪hbase技术的发展。持续更新中...

阅读全文

SQL标准演化

引言

SQL是在1974年有Boyce和Chamberlin提出,最初叫Sequel[ˈsiːkwəl]。由于简单易学,功能丰富,大受欢迎,被各大数据库厂商所采用。在1986年10月,美国国家标准局(American National Standard Institue,ANSI)的数据库委员会X3H2将SQL作为关系数据库语言美国标准,同年公布SQL-86标准,并在次年通过国际标准化组织(International Organization for Standardization,ISO)标准。

阅读全文

南京大数据技术Meetup第四次活动

引言

很有幸今天去参加了“南京大数据技术Meetup第四次活动”,前三次由于不知道这样的活动,错过了非常可惜。以下就是我了解到的一些内容,在这里做一些记录。

演讲嘉宾

    阅读全文