尽管 ChatGPT 和其他大型语言模型取得了巨大的成功，但支撑这些**的人工神经网络（ANN）可能走上了错误的轨道。首先，人工神经网络是“超级渴望电力”的，马里兰大学的计算机科学家Cornelia Fermüller说。“另一个问题是（它们）缺乏透明度。这样的**是如此复杂，以至于没有人真正理解它们在做什么，或者为什么它们工作得如此之好。反过来，这使得它们几乎不可能通过类比来推理，而人类却是这样做的——使用符号来表示物体、想法和它们之间的关系。这些缺点可能源于人工神经网络及其构建块的当前结构：单个人工神经元。每个神经元接收输入，执行计算并产生输出。现代人工神经网络是这些计算单元的复杂网络，经过训练可以执行特定任务。然而，人工神经网络的局限性早已显而易见。例如，考虑一个区分圆和正方形的ANN。一种方法是在其输出层中有两个神经元，一个表示圆形，另一个表示正方形。如果你想让你的ANN也能辨别形状的颜色——蓝色或红色——你需要四个输出神经元：蓝色圆圈、蓝色方块、红色圆圈和红色方块各一个。更多的特征意味着更多的神经元。这不可能是我们的大脑感知自然世界以及它的所有变化的方式。“你必须提出，你有一个适用于所有组合的神经元，”加州大学伯克利分校的神经科学家布鲁诺·奥尔斯豪森（Bruno Olshausen）说。“譬如，你的大脑里会有一个探测器探测紫色的大众汽车。”然而，Olshausen和其他人认为，大脑中的信息是由许多神经元的活动来表示的。因此，对紫色大众汽车的感知不是编码为单个神经元的行为，而是编码为数千个神经元的行为。同一组神经元，以不同的方式放电，可能代表一个完全不同的概念（也许是粉红色的凯迪拉克）。这是一种完全不同的算法的起点，称为超维计算（hyperdimensional computing）。关键是每条信息，例如汽车的概念，或其品牌，型号或颜色，或所有这些，都表示为一个实体：超维向量（hyperdimensional vector）。向量只是一个有序的数字数组。例如，三维向量由三个数字组成：三维空间中点x、y 和 z 坐标。一个超维向量或超向量（hypervector）可以是 10000 个数字的数组，例如，表示 10000 维空间中的一个点。这些数学对象和*纵它们的代数足够灵活和强大，可以使现代计算超越其当前的一些**，并培养一种新的人工智能方法。“这几乎是在我的整个职业生涯中令我最兴奋的事情，”Olshausen说。对他和其他许多人来说，超维计算预示着一个新的世界，在这个世界中，计算是高效和鲁棒（稳健的），机器做出的决策是完全透明的。为了理解超向量如何使计算成为可能，让我们回到带有红色圆圈和蓝色方块的图像。首先，我们需要向量来表示这两个变量：SHAPE（形状）和COLOR（颜色）。然后，我们还需要可以分配给变量值的向量：CIRCLE（圆形）、SQUARE（正方形）、BLUE（蓝色）和RED（红色）。向量必须是不同的。这种区别可以通过称为正交性（orthogonality，这意味着形成直角）的属性来量化。在三维空间中，有三个彼此正交的向量：一个在 x方向，另一个在 y方向，第三个在 z方向。在 10000 维空间中，有 10000 个这样的相互正交的向量。但是，如果我们允许向量接近正交，那么高维空间中这种不同向量的数量就会**。在 10000 维空间中，就有数百万个准正交向量。现在让我们创建不同的向量来表示形状、颜色、圆形、正方形、蓝色和红色。由于高维空间中存在许多可能的准正交向量，因此只需分配六个随机向量来表示这六项；它们几乎可以保证是准正交的。“制作准正交向量的便利性是使用超维表示的主要原因，”加州大学伯克利分校红木理论神经科学中心的研究员Pentti Kanerva在2009年的一篇有影响力的**中写道：https://link.springer.com/article/10.1007/s12559-009-9009-8Pentti Kanerva（左）和Bruno Olshausen，加州大学伯克利分校的研究人员。
这篇**建立在Kanerva和Tony Plate在1990年代中期所做的工作之上，当时他们是多伦多大学Geoff Hinton的博士生。两人**开发了用于*作超向量的代数，并暗示了其对高维计算的有用性。给定我们的形状和颜色的超向量，由Kanerva和Plate开发的**向我们展示了如何使用某些数**算来*作它们。这些*作对应于*纵概念符号的方式。第一种运算是乘法。这是一种结合属性的方式。例如，将向量 SHAPE（形状） 与向量 CIRCLE（圆形） 相乘，将两者绑定成“SHAPE is CIRCLE”（形状是圆形）的表示形式。这个新的“绑定”向量几乎与 SHAPE（形状） 和 CIRCLE（圆形） 正交。单个组件是可恢复的——如果你想从绑定向量中提取信息，这是一个重要的特性。给定一个表示你的大众汽车的绑定向量，你可以解绑并检索其颜色的矢量：PURPLE（紫色）。第二种运算，加法，创建一个新向量，表示所谓的概念叠加。例如，可以采用两个绑定向量“SHAPE is CIRCLE”（形状是圆形）和“COLOR is RED”（颜色是红色），并将它们相加以创建一个向量，表示红色圆形。同样，叠加向量可以分解为其成分。第三种运算是排列，它涉及重新排列向量的各个元素。例如，如果有一个三维向量，其值标记为 x、y 和 z，则排列可能会将 x 的值移动到 y， y 移动到 z，将 z 移动到 x。“排列可以让你建立结构，”Kanerva说。“它允许你处理序列，一个接一个发生的事情。”考虑两个事件，由超向量 A 和 B 表示。我们可以将它们叠加到一个向量中，但这会**有关事件顺序的信息。将加法与排列相结合可以保持顺序；可以通过反转*作按顺序取回事件。这三种运算加在一起，足以创建允许符号推理的超向量的形式代数。但许多研究人员在掌握超维计算的潜力方面进展缓慢，包括Olshausen。“并未充分理解，”他说。2018年，Olshausen的学生Eric Weiss展示了超维计算独特能力的一个方面。Weiss想出了如何将复杂图像表示为单个超维向量，其中包含有关图像中所有对象的信息，包括它们的属性，例如颜色，位置和大小。“我几乎从椅子上摔下来，”Olshausen说。“突然，灵感乍现”。很快，更多的团队开始开发超维算法来**深度神经网络大约二十年前开始处理的简单任务，例如对图像进行分类。考虑一个由手写数字图像组成的带注释的数据集。算法使用某种预定方案分析每个图像的特征。然后，它为每个图像创建一个超向量。接下来，该算法为所有0的图像添加超向量，为0的属性创建一个超向量。然后，它对所有数字执行相同的*作，创建 10 “类”超向量，每个数字一类。现在，该算法被赋予一个未标记的图像。它为此新图像创建一个超向量，然后将该超向量与存储的超向量类进行比较。这个比较确定了与新图像最相似的数字。然而，这仅仅是个开始。超维计算的优势在于能够组合和分解超向量以进行推理。最新的证明是在三月份，当时苏黎世IBM研究院的Abbas Rahimi及其同事使用超维计算和神经网络来解决抽象视觉推理中的一个经典问题 https://www.nature.com/articles/s42256-023-00630-8 这对典型的人工神经网络，甚至一些人来说都是一个重大挑战。这个问题被称为Raven的渐进矩阵（progressive matrix），在3×3网格中呈现几何对象的图像。网格中的一个位置为空白。受试者必须从一组候选图像中选择最适合空白的图像。“我们说，‘这真的是...视觉抽象推理的**锏，让我们投入进去吧，'”Rahimi说。Abbas Rahimi，苏黎世IBM研究院的计算机科学家。为了使用超维计算解决这个问题，该团队首先创建了一个超向量字典，来表示每个图像中的对象；字典中的每个超向量表示一个对象及其属性的某种组合。然后，该团队训练了一个神经网络来检查图像并生成一个双相超向量（bipolar hypervector ）——元素是 +1 或 -1——它尽可能接近字典中超向量的一些叠加；因此，生成的超向量包含有关图像中所有对象及其属性的信息。“你引导神经网络进入一个有意义的概念空间，”Rahimi说。一旦网络为每个上下文图像和空白槽的每个候选图像生成了超向量，另一种算法就会分析超向量，从而为每个图像中的对象数量、大小和其他特征创建概率分布（probability distribution）。这些概率分布说明了上下文和候选图像的可能特征，可以转换为超向量，允许使用代数来预测最有可能填补空缺的候选图像。他们的方法在一组问题上的准确率接近88%，而仅通过神经网络求解的准确率不到61%。该团队还表明，对于3×3网格，他们的**比使用符号逻辑规则进行推理的传统方法快近***倍，因为该方法必须搜索庞大的规则手册以确定正确的下一步。超维计算不仅赋予我们使用符号解决问题的能力，而且还解决了传统计算中的一些琐碎问题。如果由随机的比特位翻转（0变为1，反之亦然）引起的错误无法通过内置纠错机制进行纠正，则当今计算机的性能会迅速下降。此外，这些纠错机制可能会对性能造成高达25%的损失，维拉诺瓦大学的计算机科学家Xun Jiao说。超维计算可以更好地容忍错误，因为即使超向量遭受大量随机比特位翻转，它仍然接近原始向量。这意味着使用这些向量的任何推理在面对错误时都不会受到有意义的影响。Jiao的团队已经证明，https://ieeexplore.ieee.org/document/9516681 这些**对硬件故障的容忍度至少是传统ANN的10倍，而传统ANN本身的弹性比传统的计算架构高出几个数量级。“我们可以利用所有这些弹性来设计一些高效的硬件，”Jiao说。超维计算的另一个优点是透明度：代数清楚地告诉你为什么**选择了它所做的答案。对于传统的神经网络来说，情况并非如此。Olshausen，Rahimi和其他人正在开发混合**（hybrid system），其中神经网络将物理世界中的事物映射到超向量，然后超维代数接管。“像类比推理这样的事情就不费力了，”Olshausen说。“这是我们应该对任何人工智能**的期望。我们应该能够理解它，就像我们理解飞机或电视机一样。”与传统计算相比，所有这些优势都表明，超维计算非常适合新一代极其坚固的低功耗硬件。它还与“内存计算**”（in-memory computing system）兼容，后者在存储数据的相同硬件上执行计算（与现有的在内存和中央处理器之间低效地传输数据的冯·诺依曼计算机不同）。其中一些新器件可以是模拟的，在非常低的电压下工作，使它们节能，但也容易产生随机噪声。https://www.quantamagazine.org/a-brain-inspired-chip-can-run-ai-with-far-less-energy-20221110/ 对于冯·诺依曼计算来说，这种随机性是“你无法逾越的墙，”Olshausen说。但是通过超维计算，“你可以突破它。”尽管有这些优势，但超维计算仍处于起步阶段。“这里有真正的潜力，”Fermüller说。但她指出，它仍然需要针对现实世界的问题进行测试，并且在更大的范围内，更接近现代神经网络的规模。“对于大规模问题，这需要非常高效的硬件，”Rahimi说。“例如，如何有效地搜索超过1亿个条目？”所有这些都应该随着时间的推移而来，Kanerva说。“高维空间还有其他秘密，”他说。“我认为这是使用向量计算的最开始时期。”https://www.nature.com/articles/s42256-023-00630-8
https://ieeexplore.ieee.org/document/9516681
https://www.quantamagazine.org/a-new-approach-to-computation-reimagines-artificial-intelligence-20230413/
https://neuroscience.berkeley.edu/wp-content/uploads/2016/05/Pentti_Kanerva-NICE2016-slides.pdf
相关股票：
崛起的中科系，被改变的我国芯片产业格局
当前，以芯片为代表的信创产业逐步成为国家科技竞争力的重要标志。在国产CPU产业强势崛起的过程中，你首先想到的会是哪几企业？答案有很多，但“中科系”的提及率绝对很高。作为国家战略科技力量，“中科系”旗下
芯片战场丨芯片领域三箭齐发 英特尔跑步突围
21世纪经济报道记者倪雨晴 圣何塞报道在硅谷源泉之一的圣何塞，英特尔CEO帕特·基辛格（Pat Gelsinger）正在带领英特尔加速奔跑。当地时间9月19日，2023英特尔on技术创新大会于美国加利
OPPO重启芯片业务？国产芯片或需告别“单打独斗”
财联社9月19日讯（记者 唐植潇）近日有消息称，OPPO将会重启芯片业务，并且“有部分员工已经回流，加入到了车载业务之中”。记者就此事向OPPO方面进行核实，对方表示“不予置评”。特百惠（我国）数字与
600亿颗芯片！我国巨头正式宣布，美媒：**也没料到制裁这么快
我国芯片市场与美国依赖我国的集成电路市场一直以来都是一个巨大的市场，拥有庞大的需求和巨大的增长潜力。我国的电子消费市场一直在迅速增长，包括智能手机、电视、电脑和各种智能设备等，这些设备都需要高性能的芯
最新手机芯片天梯图：A17、华为麒麟9000S，排在什么位置？
近日，最火的两颗芯片分别是苹果的3nm芯片A17 Pro，虽然很多人吐槽它较上一代提升不明显，但论性能，可以碾压任何安卓芯片，甚至是领先2代的。另外一款芯片，则是华为麒麟9000S，当然，这颗芯片工艺
韩国芯片连续13个月暴跌，尹锡悦指责我国不采购，外媒：自食其果
据韩国媒体称，韩国的半导体出口额已经连续暴跌13个月了，比去年同比下降了28%左右。韩国政府急的焦头烂额。尹锡悦政府竟直接甩锅我国，话里话外都是指责，他认为韩国半导体卖不出竟是我国的原因，我国应该帮助
我国突破芯片瓶颈将影响全球秩序？美国很担心，指出我国关键弱点
我国在芯片半导体领域一直深受美国的**，通过贸易制裁的方式阻止高端芯片进入我国市场。这样的举措一度造成我国芯片领域发展断档，不过随着我国科技企业近几年的突破，目前我国已经在芯片制造方面取得了重大的成果
没有他，我国芯片发展至少要**十年？
前几天，华为一声不响的上线了mate60系列，带着麒麟芯片9000s强势回归，吸引了全世界的目光。而华为麒麟芯片**背后，我们不该忘记这位老人—张汝京。我国半导体之父，为回**造芯片，被开除**户籍，
陈清泰：未来汽车颠覆传统，50%以上的零部件体系面临重构
【有车以后 资讯】“未来汽车对传统汽车的颠覆性，使传统零部件体系的50%以上都面临重构。”12月16日，在全球智能汽车产业峰会(GIV2022)上，我国电动汽车百人会理事长陈清泰指出，智能汽车的价值链
「姿势」一辆汽车由多少个零件组成？保证你说不清...
投稿点这里汽车有多少个零件?其实这个问题并没有一个十分确切的标准答案...据估计，一般轿车约由1万多个不可拆解的**零部件组装而成。结构极其复杂的特制汽车，如F1赛车等，其**零部件的数量可达到2万个
全球最大的10家汽车零部件供应商 都是世界500强 无我国企业
【卡车之家 原创】美国《财富》**每年发布的世界500强排行榜，是以营业收入数据对全球企业作出排名的榜单。2017年“世界500强”榜单中，汽车制造商和零部件厂商共占据33席（除去大型工程车辆企业），
汽车零部件企业哪家强？除了博世**还有这些名字你一定耳熟能详
文：懂车帝原创 李德喆[懂车帝原创 行业]9月18日，由《我国汽车报》主办，罗兰贝格协办的2019汽车零部件“双百强”企业发布会在江苏南京举行。在两份榜单中，博世、**、电装位列2019全球汽车零部件
汽车零部件行业现状及产业链
行业现状（Reference：产业运行 | 2021年汽车工业经济运行情况）中汽协预测：2022年我国汽车销量达到2700万辆，新能源销量超过550万辆（Reference：乘用车市场信息联席会）以乘
全球十大汽车零部件供应商，核心技术都被他们垄断，自主遗憾缺席
提到电影，我们会想到张艺谋、冯小刚，而很少会想到幕后的制作人；提起流行乐，我们会想到周杰伦、萧敬腾，而很少会想到背后的作词人。台前台后，一幕之别，知名度往往相差甚远。车界又何尝不是如此，知名车企我们都
高清汽车各零部件构造图，看完你就是汽车专家！
2023世界移动通信大会即将举行，大批中企强势回归！
来源：环球时报 【环球时报记者 倪浩 陶震 环球时报驻德国特约记者 青木】经过3年疫情后，全球最具影响力的通信展今年有望再现往日盛况。2月27日至3月2日，由全球移动通信**协会（GSMA）主办的20
太空新赛道：6G时代的卫星通信，究竟是什么？
近日华为、苹果争相推出手机卫星通信功能，成为一大亮点，不少手机厂商也将目光投到卫星通信。放眼未来，手机直连卫星的卫星通信服务将是大势所趋，也是6G时代的重要标志。华为以“北斗三号”为依托，率先把“卫星
光纤#光纤通信
国内企业在光通信产品的参数测试过程中，通常使用国外的先进测试设备。然而，这些测试仪器之间往往是孤立存在的，需要手动调试仪器并通过旋钮、按钮和人眼观察波形或数据。这不仅*作繁琐易出错，而且测试效率低下。
龙头20cm涨停，7天股价翻倍！一文看懂卫星通信前世今生及产业链
卫星通信概念股华力创通今日再度强势拉升，截至发稿，该股股价20cm涨停，7个交易日累计涨幅近113%，现报23.52元续刷阶段新高，总市值155.9亿元。消息上，有媒体从供应链获悉，Mate 60 P
工信部：目前我国尚不具备实现网络层面的移动通信号码归属地变更的条件
针对网友提出的“电话号码归属地更改”建议，工信部近日给出了官方回复。此前，有网友在人民网留言板向工信部留言称，“现在电话都是实名制，电话号绑定的***及一些主流的软件较多，更换号码后造成一系列问题
