架构师的全新私有云指南

私有云的兴起及其在运行工作负载中的作用已经引起了广泛关注。以下是关于在私有云中运行工作负载的考量和不同方法的详细介绍。

私有云的重新崛起

多年来，私有云一度被视为过时的概念。然而，随着技术的发展，私有云再次受到企业的青睐。根据Forrester的2023年基础设施云调查，79%的受访企业决策者正在实施私有云。同时，英国Citrix的报告显示，93%的IT领导者参与了数据回迁工作。IDC的研究也表明，80%的公司在将数据迁移到云一年内会将部分或全部数据回迁。

回迁到私有云的原因

企业回迁到私有云的主要原因包括：

成本效益：通过回迁，企业可以节省高达70%的成本。这一优势已被37 Signals、X和Ahrefs等公司公开证实。

可预测性：私有云虽然弹性较低，但可预测性更高。这对于了解其工作负载的CIO来说是一个值得的权衡，对于CFO来说也是一个更容易的选择。

安全性：尽管公有云本身并不不安全，但CISO对公有云合作伙伴的信任度不高，尤其是在AI时代，风险不断增加。

控制：私有云允许企业完全控制其AI数据基础设施，使数据对所有应用程序更易访问，并能设置符合独特安全要求的标准。

成熟度：现代云是一种运营模式，而不是一个位置。这种模式已从主要公有云扩展到边缘和核心，容器化、编排、微服务、软件定义基础设施和RESTful API已成为标准操作程序。

法规遵从性：随着法规的不断变化，一些架构和部署场景（如军事/情报）现在需要私有云。

私有云的设计模式

私有云的设计模式与公有云类似，基于云运营模式。这种模式使得现代数据湖成为可能，企业只需为所需的资源付费，并可以通过向集群添加更多资源来扩展业务。私有云支持AI/ML、高级分析、日志分析/威胁分析以及HDFS替换/迁移等需求。

现代数据湖结合了数据仓库和数据湖，使用对象存储来存储所有数据。对象存储层是软件定义的、可扩展的、云原生的，并且性能出色。通过选择硬件（如NVMe）和网络（如100 GbE或更高），可以调整性能。这些硬件和网络可从Supermicro、Dell和HPE等供应商处购买。

使用对象存储与数据湖是标准做法，而使用对象存储与数据仓库则是新趋势，这得益于Apache Iceberg、Apache Hudi和Delta Lake等开放式表格格式（OTF）。以下是现代数据湖的架构图：

此架构旨在实现以下目标，这些目标是核心云运行原则，也是私有云的核心原则：

高性能：现代私有云旨在提供大规模的性能，优先考虑速度和效率的工具。解耦计算和存储：将计算和存储分离，提供更高的灵活性和可扩展性。开放标准：鼓励互操作性，使投资具有未来可期性，包括开源解决方案和开放式表格格式。与RESTful API的兼容性：确保工具共享通用语言，如S3。软件驱动/基础设施即代码：通过自动化和Kubernetes编排，实现快速高效的可扩展性。增强的安全性和合规性：私有云提供专用基础设施，控制数据并提供增强的安全措施。法规遵从性：通过可定制的安全设置和审计控制，支持法规遵从性。

将私有云投入使用的方法

私有云的部署方法多种多样，具体取决于企业和用例。以下是一些常见方法：

时间有限的混合模式：保留一些数据和应用程序在公有云中，同时构建私有云。目标是将公有云用作冷存储，私有云用作热存储。

例如，一家领先的网络安全公司首先与MinIO和Equinix合作建立私有云，然后将每天250泽字节的数据洪流转向该方向。新私有云很快成为威胁狩猎数据的主要来源，毛利率提高了2%以上。

完全回迁：将所有应用程序和数据从公有云迁移到私有云。这需要多一点计划和业务摩擦。

例如，一家领先的流媒体公司将近1泽字节的数据迁移到新的私有云，管理服务的复杂性大大降低，并享受了“首次字节时间”显著提升的额外好处。

全新私有云：涉及所有新项目和数据，通常在AI数据基础设施中使用。工作负载从一开始就在私有云上运行。

例如，一家领先的汽车公司将其完全自动驾驶计划从基于规则的系统转变为基于实际驾驶员行为的系统，所有超过300台服务器的AI工作负载都在私有云上运行。

Brownfield私有云：尝试在现有硬件上运行高性能工作负载。虽然经济实惠，但性能可能不佳。

其他方法：

混合突发方法：维护私有云并将其设计为无缝扩展到公有云，以利用额外的GPU容量或特定云服务。外部表方法：通过将现有云数据仓库与私有云上的数据湖集成，利用现代数据湖的性能和开放标准设计。

最终想法和建议

在私有云项目中，团队需要重新管理硬件，这在公有云中是透明的。基础设施管理是一项工作，需要明确软件工程/DevOps和数据中心工程师之间的责任划分。软件在这里至关重要，如MinIO在其全局控制台中构建的可观察性。

对于每周部署一次的组织，部署可能是一场盛事。通过CI/CD原则的应用，可以实现自动化，数据中心和DevOps工程师将专注于无法自动化的任务。

最后，托管机房（colos）与私有云的定义是同义词，提供了两全其美的优势。通过访问顶级网络和靠近公有云提供商，托管机房促进了低延迟连接和混合云设置，实现高效的数据传输和处理。这种灵活性对于优化运营并保持竞争优势的企业至关重要。