这个名为“xg2xg”的清单,本来是这位前谷歌工程师(ex-Googler),为一切离任的谷歌工程师写的一份“厂外”生活指南。
但实践上,这个大全实打实地也成为了一份最佳开发工具大全。
一切的顺序员,都能受益于此。
美国网友对这个大全给予了很高的评价:这份清单中列出的开源软件,不只处置了硅谷大厂前员工的难处,也能为其他一切码农解除困惑。
在这套大全的指点下,任何一个工程师,都能取得相似在谷歌外部写代码的体验。xg2xg上线仅仅一天就登上趋向榜,播种2500+星!
清单其中大部分替代软件是Google开源的项目,或许是受谷歌论文的启示,由开源软件基金会本人做的第三方完成。即使你历来没进过Google任务,也在享用着Google工程师们带来的福利。不由让人慨叹“谷歌挽救世界”。
下面就让我们一同来看看这份清单吧。
开发工具一览
这份清单总共有两部分,前半部分引见的是码农常用的开发工具,包括中心技术、基础设备、效劳、开发运维等;后半部分则面向非技术人员。
中心技术工具
大数据处置工具
Google外部工具:MapReduce;
替代品:Apache Hadoop、Spark
想要在上千台机器组成的大集群上、并行处置上TB级别的海量数据集,就要用到这类大规模数据处置工具了。
MapReduce,就是这类工具的先驱。Jeff Dean等人2004年提出了这个散布式计算架构,最早在Google外部用来处置大规模数据的并行计算。Jeff Dean还亲身为它撰写过运用指南。
而Apache Hadoop这个开源替代品,也是依据Jeff Dean当年的论文自行完成而成,能提供与MapReduce文件系统相似的功用。
假设想要更快的数据处置速度,还有Apache Spark供你选择。相关于Hadoop的MapReduce会在运转完任务后将中介数据寄存到磁盘中,Spark运用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内剖析运算。
序列化工具
Google外部:Protocol Buffer;
外部替代品:Protobuf、Thrift、Avro
这一组工具用于结构化数据序列化,下面这些,都是xml替代品,比它更小、更快、也更复杂。
Protocol Buffer和Protobuf都是Google开发的序列化格式(Serialization Format),github上可以找到这个项目的源代码。
比起XML和JSON,Protobuf 更小、更快,也更繁复,很适宜做数据存储或 RPC 数据交流格式。只需求定义一次数据结构,就可以应用各种不同言语或许从各种不同数据流中对结构化数据停止轻松读写。
完全撇开Google,也不是就没有别的选择了。其他厂商也有相似的序列化方案。
比如Facebook开发的Thrift ,它与Protobuf基本一样。
Avro 异样也有schema(也就是顺序中结构化数据的定义),但是完成方式跟 Protobuf 和 Thrift 有很大区别。
由于数据不需求额外的标注,Avro 在序列化少量相反的数据时会比 Protobuf 和 Thrift 更有效率。不过在编码大质变化的数据时,由于schema会随数据一同存储,Avro的效率会退步到 JSON 和 MessagePack 的级别。
看来在中心技术工具上,重回人世的前Google人还是有许多不错的选择的。
基础设备
大型集群管理系统
Google外部:Borg;外部替代品:Kubernetes、Apache Mesos、HashiCorp Nomad
大型集群管理系统用于管理云平台中多个主机上的容器化的运用。
Borg是Google外部的大型集群管理系统,现如今运用最普遍的效劳编配系统Kubernetes就脱胎于Borg。
Borg 让开发者可以不必操心资源管理的成绩,做到跨多个数据中心的资源应用率最大化。
没有Borg十五年的阅历,也就不会有Kubernetes。虽然作者把它放在开源/真实世界这一栏里,但理想上Kubernetes也是由Google设计并参与开发的。
Kubernetes运用Go言语编写, 是一个大而全的处置方案,效劳调度、网络、存储、安全统统一手抓,而且本身的架构也十分好,在下面做二次开发十分容易。
HashiCorp Nomad异样是一个比较常见的开源调度顺序,架构复杂,能将资源管理器和调度顺序的功用集成到一个系统中。Nomad也是散布式的,高可用且易操作。但显然Kubernetes的功用会更丰厚。
至于Mesos,它仅仅是一个调度系统,无法直接运用,要配合各种 Mesos framework 来完成各类功用。
存储
当然,Google外部工具也不是一切的都能找到完美的替代品。
至少在存储这件事情上,就有网友不赞同原作者观念。他以为这份清单在一定水平上具有误导性,某些替代品基本达不到Google外部工具的水平。
比如将Colossus和HDFS比照是在开玩笑,相比之下,HDFS就像是一个玩具。要说比照,它智能和十年前曾经退役的GFS相当。
但HDFS恐怕是开源软件中Colossus最好的替代品,关于“通用,大型,散布式文件系统”的运用状况,很难找到有比HDFS更好的了。
其他开发工具
列表中还有效劳、开发运维、安全等工具的替代品清单,由于篇幅限制,我们不再逐一引见,有需求的同窗可以自取。全部工具的下载链接请参阅文末的GitHub地址。
还有什么福利
假设你不是工程师,下面那些工具大约就用不上了。不过,只需是个公司或许团队,总会有IT和运营需求。
比如说,饭总是要吃的。
很多网友看了这份清单,最感兴味的就是这一项:
分开Google的人类,再也找不回收费食堂。
毕竟,“半夜吃什么”的哲学成绩,每次想起来都是折磨。
羡慕的时分,可以用以下口令来安慰本人:
公司有吃的,还不是为了让你们多点时间任务?
假设你觉得这一条压服力不够,还可以跟一句补充阐明:
Google最后是为什么提供收费食物的?就是山景城总部周围吃的选择太少了,开车出去吃来回要一小时。对,就是想让员工省下时间好好下班。
吃,只是IT/运营章节的第一条。
前面,还有梗图生成器Memegen。
任务太辛劳的时分,可以皮一下:
△ 当没有GPU的人,遇到了Google Colab
对此,甚至有人呼吁:
假设Google全家桶把Memegen收了就好了。
所以,这个章节并没有和任务相关的资源么?
看看残缺列表的话,还是能找到的:
有一些必要的小工具。
比如,CODEOWNERS可以用来指定哪些用户来审查代码,1Password是个密码管理器。
也有一些同窗,没在下面找到本人需求的答案,便直接提问了:
Google这样的大厂,公司外部wiki用的是什么啊? 我们公司用的是Quip,它就是个黑洞,文档一出来就出不来了。
然后,有热心人士回答了这个成绩:
虽然不知道Google用的什么,但Confluence是很常用的。
xg2xg项目地址:
https://github.com/jhuangtw-dev/xg2xg
【编辑引荐】
Stack Overflow 2019开发者调查报揭发布,Python或成赢?
比较五款企业级ETL工具,助你选出适宜项目的处置方案
盛行开发工具 bootstrap-sass 被修正植入后门
重新定义顺序员职业,Facebook推出代码引荐工具Aroma
15个好用的JavaScript代码紧缩工具
(责任编辑:admin)