小红书将业界最大数据湖0故障迁上阿里云

小红书将业界最大数据湖0故障迁上阿里云

2024-11-06 20:07:01

三言科技 11月6日消息，据“阿里云”公众号消息，最近，小红书技术团队把业界最大数据湖0故障迁上阿里云。

据介绍，2023年11月，小红书发起迁云项目——计划一年内，把小红书的数据湖搬上阿里云。2024年11月，小红书迁云项目正式宣告结束。在没有故障的情况下，迁移数据500PB，任务11万。参与人数1500人，涉及部门40多个。

迁移至阿里云上后，数据湖可通过多个OSS Bucket支持纳入统一资源池，实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向小红书复杂业务场景，可灵活调配资源，高效利用吞吐性能，降低不同业务租户间的互相影响。

联系我们