艾龙技术

Apache 软件基金会宣布推出Hadoop v3.2.0

Apache Hadoop已经进入第11个年头,它通过支持数据应用程序在分布式计算环境中运行和管理大型硬件集群,成为价值166亿美元的大数据生态系统(来源:IDC)的基础。埃森哲技术实验室表示,“Apache Hadoop一直处于这一大数据转型的中心,为企业提供了一种生态系统,可以让企业以几年前闻所未闻的方式存储和处理数据。”



Apache Hadoop副总裁Vinod Kumar Vavilapalli说:“这个最新版本解锁了Apache Hadoop社区已经工作了九个多月的强大功能。” “它通过构建Apache Hadoop 3.0.0的云连接器增强功能进一步丰富了平台,并为深度学习用例和长期运行的应用程序打开了它。”



Apache Hadoop 3.2.0亮点包括:


    · ABFS Filesystem连接器 - 支持最新的Azure Datalake Gen2存储;


    · 增强型S3A连接器 - 包括对受限制的AWS S3和DynamoDB IO的更好的弹性;


    · YARN中的节点属性支持 - 帮助基于节点标记节点上的多个标签,并支持根据这些标签的表达式放置容器;


    · 存储策略满意度 - 支持HDFS(Hadoop分布式文件系统)应用程序在存储类型之间移动块,因为它们在文件/目录上设置存储策略;


    · Hadoop Submarine使数据工程师能够在同一个Hadoop YARN集群上轻松开发,训练和部署深度学习模型(在TensorFlow中);


    · C ++ HDFS客户端 - 帮助对HDFS执行异步IO,这有助于下游项目,如Apache ORC;


    · 长期运行服务的升级 - 支持通过YARN Native Service API(应用程序接口)和CLI(命令行界面)对长时间运行的容器进行就地无缝升级。



“这是Apache Hadoop 3.x系列中最大的一个版本,它带来了许多新功能和1,000多个更改,”Apache Hadoop 3.2.0发布经理Sunil Govindan说。“我们很高兴地宣布,Apache Hadoop 3.2.0可以将您的数据管理要求提升到一个新的水平。感谢所有帮助推动此版本发布的贡献者。”



Apache Hadoop已广泛部署在全球众多企业和机构中,如Adobe,阿里巴巴,亚马逊网络服务,AOL,Apple,Capital One,Cloudera,康奈尔大学,eBay,ESA Calvalus卫星任务,Facebook,foursquare,Google,Hortonworks,HP华为,Hulu,IBM,英特尔,LinkedIn,微软,Netflix,纽约时报,Rackspace,Rakuten,SAP,腾讯,Teradata,特斯拉汽车,Twitter,优步和雅虎等等。



“......开源Apache Hadoop平台由于其可扩展性,成本效益,灵活性和内置容错能力,改变了大规模数据分析的经济性和动态性。它使大规模并行计算成为可能今天的数据分析需要。”


Hadoop已经过大规模验证:Netflix使用Apache Hadoop捕获500 + B日常事件。Twitter使用Apache Hadoop实时处理5B +会话。Twitter的10,000多个节点集群每年通过200B +推文处理和分析超过zettabyte的原始数据。Facebook的4000多台计算机集群可存储300多个PB,每天生成4个新PB的数据。Microsoft使用Apache Hadoop YARN运行内部Cosmos数据湖,该数据库运行数十万个节点,每天管理数十亿个容器。



Transparency Market Research最近报道,全球Hadoop市场预计将以惊人的29%复合年增长率上升,到2023年底市场估值为377亿美元。



Apache Hadoop仍然是ASF最活跃的项目之一:它通过代码提交在Apache项目存储库中排名第一,并且按大小排名第5(3,881,797行代码)。



“Apache Hadoop社区在进一步推动大数据创新方面继续不断壮大。” Vavilapalli补充说:“我们希望开发人员,运营商和用户能够利用我们的最新版本来满足他们的数据管理需求。”


联系地址:广东省深圳市南山区国信投资大厦601 联系电话:0755-82504654
关注我们