GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

(给技术最前线加星标,每天看技术热点)

转自:开源中国、solidot、cnBeta、腾讯科技、快科技等

【技术资讯】

0、GitHub 发布 10 月 21 日系统故障分析报告

刚刚 GitHub 通过官方博客发布了 21 日“挂掉”的事件分析

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

GitHub 指出此次事件发生的原因是在 10 月 21 日 22:52 UTC 进行日常维护——更换发生故障的 100G 光纤设备时导致美国东海岸网络中心与美国东海岸数据中心之间的连接断开。

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

更具体地,GitHub 分析,虽然两地的连接在 43 秒内恢复,但这次短暂的中断引发了一系列事件,这才导致了长达 24 小时 11 分钟的服务降级。

为了大规模提高性能,GitHub 的应用程序将直接写入每个群集的相关主数据库,但在绝大多数情况下将读取请求委派给副本服务器的子集。GitHub 使用 Orchestrator 来管理 MySQL 集群拓扑并处理自动故障转移,Orchestrator 在此过程中考虑了许多变量,并在 Raft 共识机制之上达成共识。Orchestrator 可以实现应用程序无法支持的拓扑,因此必须注意将 Orchestrator 的配置与应用程序级别的期望保持一致。

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

然而 21 日,在网络分区过程中,Orchestrator 在主数据中心根据 Raft 的共识机制,执行了取消领导的选举(leadership deselection)。美国西海岸数据中心和美国东海岸公有云 Orchestrator 节点获得合规票数,并开始对群集进行故障转移,将写入指向美国西海岸数据中心。Orchestrator 继续组织美国西海岸数据库集群拓扑,当连接恢复时,应用层立即开始将写入流量引导到西海岸站点的新当选主节点上。

美国东海岸数据中心的数据库服务器包含一小段时间的写入数据,它们尚未复制到美国西海岸的设施。由于两个数据中心中的数据库集群都包含了其它数据中心中不存在的写入数据,因此无法安全地将主数据库故障转移到美国东海岸数据中心。

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

GitHub 工程师发现问题后进行了一系列抢救措施,“最终没有用户数据丢失,但是,几秒钟的数据库写入的手动协调仍在进行中。”

而之所以服务降级时间长达 24 小时 11 分,是因为在此次事件中,GitHub 的策略是优先考虑用户数据完整性,而不是站点可用性和恢复时间。

GitHub 对所有受影响的用户表示歉意,并表示“我们已经吸取了教训,并且采取了一系列措施,我们希望更好地确保不再发生类似情况。”

同时 GitHub 也表示接下来将进一步解决由此导致的数据不一致问题。

1、单条最大 512 GB,Intel 开始部署傲腾非易失性内存条

10月31日消息,Intel宣布,已经为广泛部署傲腾数据中心用、非易失性内存条(Optane DC persistent memory)做好了准备。目前,Beta项目已经启动,参与的OEM(原始设备制造商,如华为、联想等)和CSP伙伴(云服务伙伴,如谷歌、阿里巴巴、亚马逊、微软等)可以更早地向客户接入由傲腾非易失性内存条驱动的系统,从而为2019年上半年批量上线奠定基础。

傲腾非易失性内存基于3D Xpoint技术,和目前的傲腾SSD共享存储芯片,从而弥补了传统DDR4内存不具备的数据永固和大容量特性,单条最大512GB,可配合Xeon Scalable处理器使用。

特别的,Intel此次为傲腾DC非易市内存提供应用模式和内存模式,前者可理解为传统的加速性SSD,后者则是分离一部分做易失性DRAM,剩下的模块做存放软件和应用的SSD。

据悉,此次的OEM和CSP合伙伙伴有:阿里巴巴、思科、戴尔EMC、富士通、谷歌、惠普企业、华为、联想、甲骨文、腾讯。软件伙伴有VMware、红帽、SAS、SAP、微软、IBM等等。

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

2、PyPI 发现 12 个恶意库,可开启后门、盗取比特币

据 freebuf 报导,近日有软件安全研究人员发现了 PyPI 上存在 12 个恶意库,其中包含的恶意代码可以导致安全隐患,比如开启后门、盗取比特币等。

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

据介绍,安全研究人员 Bertus 在对 PyPI 做安全扫描时发现了这些问题,他先后两次共发现了 12 个有问题的软件包,目前官方已经将它们都删除。

12 个软件包都是先是复制流行软件包的代码创建新库,并取相似的名称。例如其中的 diango、djago、dajngo 与 djanga 包都模仿了 Django。之后主要在安装文件 setup.py 中加入恶意代码。setup.py 文件包含一组指令,Python 库安装程序(如”pip”)在 Python 项目中下载和设置新包时会自动执行这些指令。

这些问题类库增加了额外指令执行各种恶意操作,并且每个库的内容有所不同。它们将尝试收集受感染机器的环境数据,并添加到自动启动,同时开启一个反向 shell 后门,一旦启动,恶意攻击者就能远程登陆该机器,并获得全部权限。

【业界资讯】

0、谷歌 CEO 发内部备忘录,理解员工周四举行步行*

CNBC今日援引知情人士的消息称,针对谷歌员工准备在本周四举行步行*的计划,谷歌CEO桑达尔·皮查伊(Sundar Pichai)在一份内部邮件中表示理解和支持。近日,《纽约时报》发表文章称,“安卓之父”安迪·鲁宾(Andy Rubin)与多位员工存在复杂男女关系,还被调查出实施性骚扰,但谷歌还是给了鲁宾9000万美元的离职费。

为此,谷歌200多名员工计划在本周四举行一次步行*活动,名为“女性步行”。目前,这一活动已在谷歌内部论坛上展开讨论。

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存

对此,知情人士称,谷歌CEO皮查伊在一份内部邮件中表示,对于员工们的该计划表示理解和支持。皮查伊称,管理人员应该了解这次活动,员工们将得到他们需要的支持。

事实上,在此之前皮查伊已经对《纽约时报》的这篇报道发表过声明。他说,过去两年有48人因性骚扰被开除,包括13位高级经理以上员工,没有人获得离职补偿。

但皮查伊没有否认鲁宾因性骚扰调查离职,并且只说“两年内性骚扰离职者没有离职补偿”,从而绕开了2014年10月就已离职的鲁宾。

皮查伊在邮件中还称,在改善相关程序和政策方面,许多员工都提出了“有建设性的意见和建议”,谷歌将实施其中的部分建议。皮查伊还表示,仅仅道歉还不够,他对公司过去存在的一些不当行为给某些人带来的痛苦表示深深的歉意。

1、FF三位创始人仅剩贾跃亭,据称财务人事实际均已破产

据美国科技媒体the Verge消息,FF在与主要投资者恒大健康发生争执后资金几乎枯竭,该公司管理层决定本周关闭公司加州加迪纳总部和加州汉福德工厂的部分业务。FF三位联合创始人之一的尼克•桑普森也在周二辞职。至此,FF的三位联合创始人仅剩贾跃亭一人。桑普森表示,“FF公司的财务和人事资产实际上都已资不抵债,在可预见的未来,充其量只能苟延残喘。”(新浪财经)

2、港交所考虑使用区块链技术开发下一代交易结算系统

近日,港交所就计划开发新的交易结算系统,探索区块链技术在该系统中的应用。据悉,香港交易所 将与 Blythe Master 的 Digital Asset Holdings LLC 公司合作,建立区块链结算系统,用于进行内地股票的交易。香港交易所行政总裁李小加周二表示,交易平台将简化股票互联互通机制下的北向(与深市、沪市进行的股票交易)交易流程。(Odaily星球日报)

觉得这些资讯有帮助?请转发给更多人

关注 技术最前线 加星标看 IT 要闻

GitHub 发布上月 21 日故障报告;单条最大 512 GB,Intel 部署非易失性内存