伴随AI、算力和云的迅速发展,大量的AI原始样本、超算素材和上云数据仍然采用线下的"快递+硬盘"方式进行运输,越来越成为规模建设中的算力和云发挥效力的瓶颈所在。
基于上述背景,JDC诚邀各位专家共同探讨各行各业在算力时代对于大规模数据搬运的需求,希望能从技术方案和商业设计上更好的助力行业客户数字化转型,带来“任务式、高效率、高性价比”的算网新服务体验。以下摘选了部分用户的回复,仅供大家参考学习:
Q、【文本题】如有大量的数据需要传递,请描述数据是如何产生、如何存储、如何使用?
摘选回复1:
一、医疗行业:1、他们主要是影像数据占用空间很大,包括x光、mr、ct等,这个占比最大,其次是his数据库,这个占比第二,剩余 的向血液检测、药检系统等都不大;2、存储:他们主要两种,一种是本地存储,本地也分两种情况,一是本地云化的,另一种是本地存储到磁盘阵列;二是云化存储,这里基本存储部分客户选择了块存储,而his数据则选择了ssd存储。3、使用:这些数据主要都是供各科室在诊断时使用,对于科室而言,他们其实是无感的(哪怕是存在云端,但这需要大带宽网络保障)4、数据存储在云端的时候,为了保证割接顺利,我们会临时给客户开放一条大带宽,用于数据传输,一般不超过1周,待数据传输完后,带宽恢复合同约定的大小。二、政务行业1、政务的数据主要是客户数据在窗口采集而成(例如我们办施工许可证,就要提交约500M的给为数据,特别的痛苦,材料太多)。2、存储:在2019年之前,各级政务数据主要都是本地自有存储,在19年之后,都先后上云,在云存储,其中政务oa系统采用了nas和obs存储,其他政务系统更多的事块存储;3、使用:系统都在云上,无感使用。4、图书馆和医保局系统相对较大,且数据多,他们曾遇到临时需要数据快递服务,后面我们也是给他们提供了一周的临时带宽扩容服务,完成数据传输,而且是免费的。三、大量数据传递场景1、等保场景:目前事业单位大企业的系统都要刚性做等保,等保要求数据异地备份,对于原来本地有海量数据而言的,在做等保的时候,就需要临时进行大量的数据传递。(这种易地等保,一般都是块地市的),往往我们就引导客户使用云灾备2、客户系统搬迁:这个未来一定会出现的一个场景,目前无论是政务还是个人单位,系统主要部署在x86上(我们政务云虽然建设有x86和国产云,但利用率占主导的是x86,而国家是提出了27年前完成系统迁移要求)未来,一定会加快从x86迁移到国产云的进程。
摘选回复2:
医疗机构的大量数据上传的场景一般有远程医疗、大型下乡义诊及体检、方舱医院等,这些地方都是远离医院而产生大量医疗业务数据的场景地方。例如大型义诊和体检场景,医院一般采取云上部署医疗软件服务器,当地电脑按照软件开展医疗信息化业务,包括影像、检验、电子病例等,由此产生大量医疗数据。这些数据会暂时存在租用的云盘上,等异地医疗业务完成后,会把这些涉及患者隐私的医疗数据拷到或者上传到医院机房存储里面存起立以便后期做为医疗数据使用。数据的使用包括医疗科研、历史就诊数据等使用。
摘选回复3:
我们主要数据是分支市场部门前端客户调研数据,客户需求视频,座谈会议视频等;研发部门研发数据;售后部门现场运维留档视频等;以及其他部门业务数据。数据由包括电脑,手机,Pad,记录仪,高清录像机,服务器业务系统等产生,日常汇总存储在分支公司的NAS存储上,搬运前数据转移至多个高性能闪存,运输至总公司后再导出至总存储上。
摘选回复4:
大量的数据有可能是视频监控产生的,物联传感器的一些相关数据,还有一些电商系统的交易数据,还有一些银行的信息交互数据,数据存储无非就是用大数据的那一套。hadoop,HD fs,hive,这种分布式大数据系统,结构化数据就是mysql Oracle,Gauss db,pgsql,mongodb,数据使用使用java或者python做数据处理ETL,ods,dw,dm数据分层使用,训练好的数据给机器学习的工具去用,像推荐算法,数据预测,股票预测,这些算法模型去使用,或者把这些数据处理好做成这种数据报表、数据报程图,给决策层做数据决策。
原帖链接