原创 传统存储拖后腿？星辰天合XEOS方案，给数据装个"智能导航"系统

文 |姑苏九歌

编辑 |姑苏九歌

现在AI发展得比坐火箭还快，大模型参数量蹭蹭往上涨，训练数据堆得比山还高。

但你知道吗？AI跑得再快，也得有地方"存行李"，这存储要是跟不上，再好的GPU也得干等着。

传统存储方案这下可犯了难，AI干活从头到尾都挑剔得很，数据采集时要一口气吞进去海量数据，清洗时又得快速翻找，训练时更是一秒都等不得。

就拿图像识别项目来说，每天采集的图片能塞满几百个硬盘，存储写入速度要是跟不上，数据就得排队等着进库。

更头疼的是数据"住哪儿"的问题，以前存储分层全看创建时间，就像按保质期收东西，结果常用的训练数据放久了被"过期"处理，扔到慢速存储里。

等GPU要用的时候，还得费劲吧啦搬回来，折腾半天，训练进度都被拖慢了。

某智算中心之前用开源方案，就踩过这个坑。

团队为了怕数据被误判，干脆把所有数据都堆在高速存储里，成本直接翻倍。

负责人吐槽，"这哪是存数据，简直是给存储交房租，贵得肉疼。"

说白了，传统存储就像个不会收拾的仓库，常用的东西压箱底，不常用的堆门口，找东西全靠运气。

AI时代数据量这么大，这种玩法肯定行不通。

传统存储的"老大难"，AI时代的三重枷锁

第一个坎就是"盲目搬家"，按创建时间分层，就像给数据贴了个"过期标签"，管你用不用，到点就挪地方。

某自然语言处理项目的训练集，明明每周都要用，结果因为创建时间超过3个月，被自动挪到慢速存储，每次调用都得等半小时，团队气得直拍桌子。

第二个坎是"数据住不同小区"，不同存储层就像不同小区，数据搬家得换地址，应用程序还得跟着改路径。

有次某高校实验室训练模型，就因为数据从A存储搬到B存储，路径没改对，整个训练跑了一半报错，三天成果全白费。

第三个坎是"隐性成本无底洞"，企业为了保险，要么把数据全放高速存储，要么来回搬运数据"回热"。

某自动驾驶公司算过账，就因为这两项，存储总支出比预算多了40%，本来能多买两台GPU的钱，全砸存储里了。

这些问题不是个案，现在AI存储圈几乎家家都头疼。

数据量越大，这些"老大难"就越明显，就像给AI戴了副枷锁，想跑快都难。

XEOSAI数据湖方案，给数据装个"智能导航系统"

有意思的是，XSKY星辰天合最近推出的XEOSAI数据湖方案，算是把这些问题给理顺了。

他们没按老套路出牌，而是给数据装了个"智能导航"，让数据自己找对地方住。

这套系统会盯着数据"什么时候被用过"，而不是"什么时候出生"。

高频训练数据就像家里常用的碗筷，一直放在厨房台面上，那些半年都没人碰的冷数据，自动收进储物间。

某AGI厂商试用后发现，常用数据集再也没被误挪过，GPU等待时间直接少了3/4。

更贴心的是"地址不变"，不管数据住高速存储还是慢速存储，应用程序访问的路径都一样，就像快递寄到家里，不管东西放客厅还是卧室，门牌号不变。

之前因为路径出错导致训练失败的事，这下再也没发生过。

还有个"一次慢次次快"的绝活，第一次访问冷数据时可能慢点，但系统会悄悄把它缓存到高速层，下次再用就跟访问热数据一样快。

某医疗AI团队处理历史病例数据，第一次调阅花了5分钟，第二次再看，3秒就出来了，团队直呼"像装了瞬间移动"。

架构上，这套方案把高速存储和慢速存储捏合成了一个整体。

热层用全闪存，专门伺候高频访问，温冷层用"SSD+HDD"混闪，装那些不常用但不能扔的数据。

就像一个智能衣柜，常穿的衣服挂外面，换季的收里面，但整个衣柜就一个门，找起来方便得很。

实施起来也挺实在，去年10月启动项目，年底就交付了4个集群，差不多9PB容量，今年2月到6月又新增2个集群，还扩容了3个老集群，总共搞了46PB。

某智算中心负责人说，"部署的时候我们还捏把汗，结果跑起来比预想的还稳，没出一点岔子。"

要说这方案的好处，那可太多了。

最直观的就是省钱，某头部AI公司算过，用了这套方案，存储总拥有成本降了差不多一半，之前每年花在存储上的钱，现在能多买3台顶级GPU。

GPU利用率也上去了，以前数据跟不上，GPU经常空转，现在数据随叫随到，利用率硬生生提了不少。

某自动驾驶实验室，之前GPU日均等待数据4小时，现在1小时都不到，模型迭代速度快了一倍多。

对中小AI企业来说更是福音，以前想搞AI训练，光存储就得砸一大笔钱买全闪存，现在用混闪架构，成本降了一大截，小团队也能玩得起高端训练了。

有个做工业质检AI的小公司，之前因为存储太贵差点放弃项目，用了这套方案后，硬是把成本压了下来，现在产品都卖到国外去了。

社会效益也挺实在，某智算中心用了之后，存储系统年耗电量降了28%，机房空调都不用开那么猛了，既省钱又环保，符合国家"双碳"目标。

XSKY在存储圈摸爬滚打十年了，一直专注分布式存储，IDC报告里常年是"TOP5"，在对象存储市场还是唯一的独立厂商领导者。

3000多家客户的生产环境都用过他们的产品，稳定性没话说。

现在AI竞争这么激烈，存储这关过不去，就像打仗没弹药。

XEOS这套方案算是给AI安了个靠谱的"后勤部"，让数据不再拖后腿。

未来AI存储肯定会更智能，说不定数据自己就能规划存储路径，那时候AI发展还得再上一个台阶。

AI发展到今天，缺的不是想法，是把想法落地的基础设施。

XSKY这波创新，算是给AI基础设施补了个大短板。

期待以后能有更多这样的硬核方案，让咱们国家的AI技术跑得更快更稳。返回搜狐，查看更多