一到年关,最不缺的就是各种盘点总结了。这不,中国机构实现了 7 分钟完成 30X 测序深度人类全基因组测序的成绩,时隔 3 个月又被提了起来。听不懂没关系,我们只需要知道,这个成就意味着基因筛查将有可能进入常规体检项,遗传病检查也可能像咽拭子检测一样立等可取了。
比如镰刀型贫血症、先天性心脏病等所有由于基因异常引起的疾病,都可以通过基因检测的方式早发现早预防早治疗,特别是在生育健康方面意义重大。
但是目前的基因检查项目大多只针对常见遗传病做筛查,一些罕见的遗传病很难被检测到。并且检测机构出具报告一般都需要 20 天以上,检测项目周期太长。
华大医学单基因遗传病检测的部分项目。▼
中国团队把人类全基因组测序所需要的时间,直接压缩到了 7 分钟,相当于给生物学界开通了一辆和谐号,得到生物的全部遗传信息,那都是分分钟的事。
想知道 7 分钟的意义有多大,那就先来搞清楚全基因组测序是什么吧。
基因测序就是把 DNA 信息转换成人类可读取的数字信息过程,而全基因组测序,就是把生物的所有 DNA 信息全部转化为数字信息。
读取一整条 DNA 链的碱基排列信息,不仅速度慢,而且很容易出错。在实际操作过程中,DNA 长链会被切割成许许多多的小片段并同时进行测序,这样可以大大减少测序时间。
虽然小片段序列信息的获取更快更容易,但是这也带来了一个新难题,如何把这些小片段正确拼接还原成完整序列?
玩过拼图的人都知道,判断两块零片是不是相邻位置,需要参考它们的图案有没有很好地吻合在一起。
拼接 DNA 片段也一样,两条片段是不是相邻位置,要看它们末端的序列能不能完全重叠。
只要两条序列首尾两端分别存在相同的序列,这两段序列就可以合并成一段。
当然了,这是运气好的情况,两段相邻片段可以顺利找得出来。如果运气不好的话,在某一处断点就有可能找不到和它吻合的片段。
为了保证测序片段能够覆盖整个基因序列,常用的手段只有以量取胜。把十几倍几十倍的片段往模版里填,如果还存在填不上空的情况就该去买彩票了。
但是片段数量的翻倍直接导致的后果就是拼接工作量的指数增加,毕竟拼 1000 块拼图花费的时间可不止是 100 块拼图的十倍。
这个工作量有多大呢?我们放在具体的测序案例中计算一下。
以人类全基因组测序为例,人类有 23 对染色体共 3.2Gb 碱基对数据,一般测序的片段大小会选择在 150-350bp 范围内,也就是说,对人类基因组测序至少需要处理 10000000 的片段数量。
而为了提高测序准确率和覆盖度,片段的序列数据一般会远超基因组数据。比如常用的 30X 测序深度,测序得到的总数据达到了基因组数据的 30 倍,序列数量大约增加到了 300000000 段。
粗略估算一下,数据读取 300000000 次才能组装好一对小片段,第二次组装则需要至少再读取 150000000 次,以此类推。
对数据读取次数有了概念,我们再换算一下数据的内存占用量。据不准确计算,1bp 碱基大概占用 3B 内存,那么 30X 测序深度的人类全基因组大概需要占用接近 300GB 内存。
别说读取分析数据了,光是存起来就足够把计算机搞死机了,所以这样的任务一般都交给专业测序公司强大的服务器来做。而业界目前的水平,完成人类全基因组的拼接至少需要 24 个小时。
这样一对比, 7 分钟能完成 24 小时的海量数据处理工作,确实强得一批。难道是超级 CPU 出现了?
CPU 还是那些 CPU,不过是有新的数据处理方式出现了。
我们把数据读写看作是往仓库里运包裹,大大小小各种包裹都要往里装,无论物件大小全部按顺序摆放的方式,不仅搬运效率低,空间利用率也不高。
正确的方法是将小包裹收纳打包进大箱子,再和其他大包裹一起顺序摆放,不仅提高了整体的空间利用率,也缩减了搬运时间。
这就是 7 分钟办完 24 小时工作的原因之一,大数据直接写入,小文件聚合成大文件再写入,不仅存得快,还存得多。
海量数据秒处理的另一个秘诀就是 “ 天下大同 ” 。
通常情况下,不同类型的数据互相不认识,需要借助单独的协议进行私密对话,调用上不太方便。
想提高数据的调用效率,那就让它们都来广场上喊话好了,露天场地找人总比在小区里挨家挨户找人要快得多。
只要打破不同数据间的加解密逻辑,使用统一的数据访问协议,免去加载过程,就可以实现对磁盘内所有数据的快速调用。
除了这两项突破性的数据处理方式,一些硬件软件上的加强也促成了这项 7 分钟的成就。
比如说压缩磁盘大小,改造服务器结构,用相同体积放置更多数量的固态硬盘,实现更大容量的数据存储功能。
另外该平台还开发出了多线操作的数据读写模式,能够把处理数据的速度再提升一级;并且还改进了数据压缩算法,能够以更小的磁盘容量处理更多的数据。
种种创新技术的强强联合实现了海量数据分析 24 小时到 7 分钟的飞跃。连天文数字规模的生物信息都能在几分钟时间内进行处理,还有什么做不到的呢。
这个 7 分钟的意义不仅仅是快速获得全部基因信息,也是数据处理领域中十分重要的一项突破。
类似一些需要精密计算并且数据量庞大的应用领域,用上中国自己的服务器来处理,又快又安全。
例如卫星遥感,药物研发,能源勘测等,都需要对海量数据进行分析;而自动驾驶之类的技术则要求了数据的实时反馈,数据的高速运算处理能力必不可少。
换句话说,驯服了数据就相当于把握住了科技命脉,得数据者得天下。依附在这个基础上的所有领域,都得铆足了劲再卷一波。
说不定,一直以来磕磕绊绊的 AR 眼镜,很快就可以普及了。
访问:
阿里云 - 最高1888元通用代金券立即可用
标签: 通信技术

- “表演服”用完就退?不能放任后悔权被滥用 世界短讯“七天无理由退货”本是为了保护消费者合法权益,但有人利用...
- 周大生:去年电商业务收入同比增35%,今年目标超去年增速_全球看点周大生在机构调研时表示,2022年电商业务收入同比增长34 65%...
- 视频号运费险正式上线,首次投保根据经营类目有5档选择 环球播报据亿邦动力消息,腾讯发布“视频号小店运费险”服务指南,视...
- 淘宝发布中小商家造星计划,推出最高2000元广告补贴券淘宝宣布启动中小商家的造星计划,推出包含最高2000元广告补...
- OpenAI CEO:OpenAI还没有开始训练GPT-5大模型 天天播报据外媒报道,OpenAI首席执行官SamAltman在印度经济时报主办的一场会议
- 亚马逊与Hexa达成协作,支持卖家创建3D图像据亿邦动力消息,亚马逊和3D可视化公司Hexa达成一项新举措,...
- 属于王亚伟的时代一去不返近日屡有传闻称,昔日“公募一哥”王亚伟已被监管部门带走调...
- 今头条!渤海化学:全资子公司渤海石化拟投建丙烯酸酯和高吸水性树脂新材料项目渤海化学公告,全资子公司渤海石化拟投资建设丙烯酸酯和高吸...
- 上常从容与信言诸将能不文言文翻译通假字_上常从容与信言诸将能不,各有差翻译想必现在有很多小伙伴对于上常从容与信言诸将能不,各有差翻译...
- 环球快看:信濠光电:公司暂未涉及上述VR、MR领域同花顺金融研究中心6月7日讯,有投资者向信濠光电提问,请问...
- 智联世界,元生无界!快手虚拟人IP亮相2022人工智能大会
2022-09-07 10:47:54
- 机器人界“奥林匹克”!2022世界机器人大会8月18日举行
2022-08-10 09:58:58
- 2025年全球人口将达到90亿!机器人将在农业领域大显身手
2022-07-14 09:41:10
- 中科院院士蒋华良:AI+分子模拟与药物研发将大有可为
2022-07-14 09:37:00
- “千垛之城荷你有约” 2022兴化市荷文化旅游节正式开幕
2022-07-07 09:28:34