念。这一条技术路线开启得更早,(见368-369章)。毕竟他很早就知晓,随着AI技术的发展,两个超级大国之间势必会因为世界地位的争夺而脱钩。
一旦形成对抗,硬件设备无疑将会被限制封锁。
可若要孟繁岐从根本上助力中国的硬件发展......他却也没有那个本事。
能做的,唯有投资点钱罢了。
国内的芯片技术,显然不可能跳过几代的制程,直接赶上英伟达。
换句话说,孟繁岐清楚国内硬件厂商所能提供的算力必然不如英伟达,这才提议了模型“稀疏”这一概念,以求节省资源。
模型稀疏与神经网络一样,都是对大脑行为的模仿。
从生物角度上说,大脑中的神经元连接并非全连接,而是高度稀疏的。每个神经元只与少数其他神经元相连,这种稀疏性使得大脑能够在低能耗下高效处理信息。
这给了大脑极高的能量效率,大脑在极低的能耗下完成复杂任务,部分得益于其稀疏的连接方式。
人体的总功耗才70-300w,其中大脑才仅仅只有15-30w。显卡动辄就300-500w,却完全无法与人脑的能力相比拟。
孟繁岐认为这是对计算资源的极大浪费,也已经取得了一定的成果证明稀疏方向的概念,可以在不怎么影响性能的情况下成倍地减少计算消耗。
但这件事情,却又被硬件的发展大大减缓了。
传统硬件常年来仅仅只针对密集计算优化,难以高效处理稀疏数据。
孟繁岐开发并证明技术的可行性,仅仅只用了两个多月的时间,可想要硬件良好支持,批量生产,不再等个一年,却是不大可能。
正在这AI领域逐渐陷入沉寂,总是只有小修小补的时刻,DeepSeek-R1的发布像是巨石入水,掀起了巨浪。
而令孟繁岐极为懊恼的事情是,DeepSeek取得巨大成功所依赖的技术方向,竟与他本人设想相差无几。
52411288
CloseAI提醒您:看完记得收藏【书控书吧】 www.shkuangneng.com,下次我更新您才方便继续阅读哦,期待精彩继续!您也可以用手机版:m.shkuangneng.com,随时随地都可以畅阅无阻...