核心发现
方法论
本文提出了一种集成事件驱动扫描策略和卷积脉冲神经网络(Conv-SNN)的硬件系统。该系统基于16×16的压阻触觉阵列，通过事件驱动的二进制扫描策略，显著减少了数据采集的开销。随后，稀疏的数据流通过FPGA上的多层卷积脉冲神经网络进行处理。该网络在保持高分类准确率的同时，显著降低了计算和存储需求。
关键结果
- 该系统实现了12.8倍的扫描次数减少和38.2倍的数据压缩率，同时动态范围提高了28.4倍，数据稀疏度达到99%。
- 在手写数字识别任务中，系统在保持92.11%分类准确率的同时，仅需传统卷积神经网络(CNN)65%的计算量和15.6%的权重存储。
- 通过构建一个真实的神经形态触觉数据集，该系统展示了从模拟传感到神经形态分类的完整事件驱动流水线。
研究意义
该研究在机器人感知和人机交互领域具有重要意义。通过将事件驱动的扫描策略与神经形态计算相结合，显著提高了电子皮肤系统的数据处理效率。这种方法不仅减少了数据冗余和传输开销，还在嵌入式系统中实现了高效的实时分类。该系统为开发更智能的机器人和交互界面提供了新的可能性。
技术贡献
本文的技术贡献在于提出了一种新的事件驱动二进制扫描策略，与传统方法相比，显著提高了数据稀疏性和压缩率。此外，本文在FPGA上实现了卷积脉冲神经网络，显著降低了计算和存储需求。这种结合事件驱动采集与SNN处理的端到端神经形态方法在当前电子皮肤实现中尚属首次。
新颖性
本文首次将事件驱动的扫描策略与卷积脉冲神经网络结合应用于电子皮肤系统。与现有方法相比，该系统在数据采集和处理效率上实现了重大突破，特别是在嵌入式系统中的应用。
局限性
- 该系统在复杂环境下的鲁棒性尚需进一步验证，特别是在多种触觉事件同时发生时的处理能力。
- 目前的实现依赖于特定的硬件平台（FPGA），在其他平台上的移植性和性能表现尚不明确。
- 对于更复杂的触觉识别任务，该系统的扩展能力和适应性仍需进一步研究。
未来方向
未来的研究方向包括扩展系统以处理更复杂的任务，如多模态触觉感知和更高分辨率的触觉数据。此外，探索在其他硬件平台上的实现和优化，以及在实际机器人应用中的部署和测试，也是重要的研究课题。
AI 总览摘要
电子皮肤（e-skin）是现代机器人和人机交互领域的重要技术之一。然而，传统的框架扫描方法在数据采集效率上存在瓶颈，尤其在处理稀疏的触觉数据时效率低下。现有的系统通常依赖于人工神经网络进行分类，这与稀疏事件数据的特性不匹配，导致计算和存储需求过高。
本文提出了一种新颖的事件驱动电子皮肤系统，结合了动态二进制扫描策略和卷积脉冲神经网络（Conv-SNN）。该系统基于16×16的压阻触觉阵列，通过事件驱动的扫描策略，显著减少了数据采集的开销。稀疏的数据流随后通过FPGA上的多层卷积脉冲神经网络进行处理，保持了高分类准确率的同时，显著降低了计算和存储需求。
该系统在手写数字识别任务中实现了92.11%的分类准确率，同时仅需传统卷积神经网络65%的计算量和15.6%的权重存储。通过构建一个真实的神经形态触觉数据集，该系统展示了从模拟传感到神经形态分类的完整事件驱动流水线。这种方法不仅减少了数据冗余和传输开销，还在嵌入式系统中实现了高效的实时分类。
该研究在机器人感知和人机交互领域具有重要意义。通过将事件驱动的扫描策略与神经形态计算相结合，显著提高了电子皮肤系统的数据处理效率。这种方法为开发更智能的机器人和交互界面提供了新的可能性。
尽管取得了显著的进展，该系统在复杂环境下的鲁棒性尚需进一步验证，特别是在多种触觉事件同时发生时的处理能力。此外，目前的实现依赖于特定的硬件平台（FPGA），在其他平台上的移植性和性能表现尚不明确。未来的研究方向包括扩展系统以处理更复杂的任务，如多模态触觉感知和更高分辨率的触觉数据。
深度分析
研究背景
触觉感知是机器人与环境进行物理交互的重要手段，尤其在灵巧操作和丰富的人机界面中扮演着关键角色。传统的触觉系统多采用电阻式传感技术，因其可扩展性和成本效益而广泛应用。然而，现有的框架扫描方法在处理稀疏的触觉数据时效率低下，导致数据冗余和高功耗问题。尽管一些研究尝试通过复杂算法提高触觉图像重建质量，但在边缘设备上的实际部署仍面临挑战。神经形态计算提供了一种新的思路，通过事件驱动的方式减少数据冗余，并与脉冲神经网络结合实现高效处理。
核心问题
传统的触觉数据采集方法存在效率瓶颈，尤其在处理稀疏的触觉数据时，框架扫描方法会导致大量冗余数据和高功耗。此外，现有系统多依赖于人工神经网络进行分类，这与稀疏事件数据的特性不匹配，导致计算和存储需求过高。如何在保持高分类准确率的同时，显著降低数据采集和处理的开销，是当前电子皮肤系统面临的核心问题。
核心创新
本文的核心创新在于提出了一种事件驱动的二进制扫描策略，与卷积脉冲神经网络（Conv-SNN）结合应用于电子皮肤系统。• 事件驱动的扫描策略：通过动态二进制扫描，显著减少了数据采集的开销，提升了数据稀疏性。• 卷积脉冲神经网络：在FPGA上实现的多层网络，保持高分类准确率的同时，显著降低了计算和存储需求。• 完整的事件驱动流水线：从模拟传感到神经形态分类，实现了高效的数据处理。
方法详解
- �� 传感器阵列：基于16×16的压阻触觉阵列，通过精密印刷技术制造。• 事件驱动扫描：采用二进制扫描策略，动态识别活跃区域，减少扫描次数。• 数据转换：稀疏的触觉信号通过增量调制转换为脉冲序列。• 卷积脉冲神经网络：在FPGA上实现的多层网络，处理异步事件流，提取时间模式。• 数据集构建：使用地址事件表示法（AER）构建真实的神经形态触觉数据集。
实验设计
实验设计包括手写数字识别任务，使用13名参与者的760个样本进行验证。数据通过自定义硬件平台采集，采样率为120 Hz。实验中比较了传统卷积神经网络（CNN）和卷积脉冲神经网络（Conv-SNN）的性能，重点考察了计算量、存储需求和分类准确率。通过对比不同扫描策略的扫描次数和数据压缩率，验证了事件驱动扫描策略的有效性。
结果分析
实验结果表明，该系统在手写数字识别任务中实现了92.11%的分类准确率，同时仅需传统卷积神经网络65%的计算量和15.6%的权重存储。事件驱动的扫描策略实现了12.8倍的扫描次数减少和38.2倍的数据压缩率，动态范围提高了28.4倍，数据稀疏度达到99%。此外，构建的神经形态触觉数据集展示了从模拟传感到神经形态分类的完整事件驱动流水线。
应用场景
该系统在机器人感知和人机交互领域具有广泛的应用潜力。• 机器人触觉感知：提高机器人的环境交互能力，尤其在灵巧操作中。• 人机交互界面：开发更智能的交互界面，提升用户体验。• 嵌入式系统：在资源受限的嵌入式设备中实现高效的数据处理。
局限与展望
尽管取得了显著的进展，该系统在复杂环境下的鲁棒性尚需进一步验证，特别是在多种触觉事件同时发生时的处理能力。此外，目前的实现依赖于特定的硬件平台（FPGA），在其他平台上的移植性和性能表现尚不明确。对于更复杂的触觉识别任务，该系统的扩展能力和适应性仍需进一步研究。未来的研究方向包括扩展系统以处理更复杂的任务，如多模态触觉感知和更高分辨率的触觉数据。
通俗解读 非专业人士也能看懂
想象一下，你的手上有一张非常灵敏的电子皮肤，它能感知到你手指上的每一个细微压力变化。传统的方法就像是每次都要扫描整张皮肤，记录下所有的压力变化，无论这些变化是否重要，这样做不仅耗时还浪费资源。而这项研究就像是给这张电子皮肤装上了一双聪明的眼睛，只在有重要变化时才记录下来，就像只在你按下某个按钮时才拍照。这样一来，不仅节省了大量的存储空间，还能更快地处理信息。这种聪明的记录方式就像是你在学校里做笔记，只记下老师讲的重点，而不是每句话都写下来。最终，这种方法让电子皮肤在识别手写数字时变得更加高效和准确，就像是一个聪明的学生，总能在考试中取得好成绩。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下，你有一张超级酷的电子皮肤，它能感觉到你手指上的每一个细微压力变化。传统的方法就像是每次都要扫描整张皮肤，记录下所有的压力变化，无论这些变化是否重要，这样做不仅耗时还浪费资源。而这项研究就像是给这张电子皮肤装上了一双聪明的眼睛，只在有重要变化时才记录下来，就像只在你按下某个按钮时才拍照。这样一来，不仅节省了大量的存储空间，还能更快地处理信息。这种聪明的记录方式就像是你在学校里做笔记，只记下老师讲的重点，而不是每句话都写下来。最终，这种方法让电子皮肤在识别手写数字时变得更加高效和准确，就像是一个聪明的学生，总能在考试中取得好成绩。
术语表
电子皮肤 (E-Skin)
电子皮肤是一种模仿人类皮肤功能的柔性电子设备，能够感知压力、温度等物理量。
在本文中，电子皮肤用于高效的触觉数据采集和处理。
事件驱动 (Event-Driven)
事件驱动是一种只在特定事件发生时才进行处理的机制，减少了不必要的数据采集和处理。
本文中，事件驱动用于减少触觉数据的冗余。
卷积脉冲神经网络 (Conv-SNN)
卷积脉冲神经网络是一种结合卷积层和脉冲神经元的网络结构，适合处理稀疏事件数据。
本文中，Conv-SNN用于高效处理触觉事件流。
压阻传感器 (Piezoresistive Sensor)
压阻传感器是一种通过检测电阻变化来感知压力的传感器。
本文中，压阻传感器构成了16×16触觉阵列。
地址事件表示法 (AER)
地址事件表示法是一种用于编码稀疏事件数据的格式，包含像素地址、时间戳和极性。
本文中，AER用于构建神经形态触觉数据集。
增量调制 (Delta Modulation)
增量调制是一种将连续信号转换为离散脉冲序列的编码方法。
本文中，增量调制用于将触觉信号转换为脉冲序列。
数据稀疏性 (Data Sparsity)
数据稀疏性指数据中非零元素的比例较低，通常用于提高处理效率。
本文中，通过事件驱动策略提高了数据稀疏性。
动态范围 (Dynamic Range)
动态范围是指系统能够检测的最大和最小信号强度之比。
本文中，通过事件驱动策略提高了动态范围。
数据压缩率 (Data Compression Rate)
数据压缩率是指压缩后数据量与原始数据量的比值，用于衡量压缩效果。
本文中，事件驱动策略实现了高数据压缩率。
神经形态计算 (Neuromorphic Computing)
神经形态计算是一种模仿生物神经系统进行信息处理的计算方法。
本文中，神经形态计算用于高效处理触觉数据。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的环境中验证该系统的鲁棒性，特别是在多种触觉事件同时发生时的处理能力？现有的实验主要集中在单一任务上，缺乏对复杂场景的全面评估。
- 2 该系统在其他硬件平台上的移植性和性能表现如何？目前的实现依赖于FPGA，尚不明确在其他平台上的适应性和优化空间。
- 3 对于更复杂的触觉识别任务，该系统的扩展能力和适应性如何？现有研究主要集中在手写数字识别任务上，缺乏对其他任务的验证。
- 4 如何进一步提高系统的能效比，特别是在嵌入式设备中的应用？现有的实现虽然在计算和存储上进行了优化，但在能耗方面的研究尚不充分。
- 5 如何利用该系统进行多模态感知的融合研究？现有研究主要集中在单一模态的触觉感知，缺乏对多模态数据融合的探索。
应用场景
近期应用
机器人触觉感知
该系统可用于提高机器人的环境交互能力，尤其在灵巧操作中，通过高效的触觉数据处理，实现更精确的物体识别和操控。
人机交互界面
在智能设备中应用该系统，开发更智能的交互界面，提升用户体验，尤其在需要触觉反馈的应用中。
嵌入式系统
在资源受限的嵌入式设备中，该系统可实现高效的数据处理，适用于各种需要实时响应的应用场景。
远期愿景
多模态感知融合
通过结合视觉、听觉等多模态数据，该系统有潜力实现更全面的环境感知，为未来的智能机器人提供支持。
智能医疗设备
在医疗设备中应用该系统，实现更精确的触觉感知和反馈，提升诊断和治疗的精度和效率。
原文摘要
This paper presents a novel hardware system for high-speed, event-sparse sampling-based electronic skin (e-skin)that integrates sensing and neuromorphic computing. The system is built around a 16x16 piezoresistive tactile array with front end and introduces a event-based binary scan search strategy to classify the digits. This event-driven strategy achieves a 12.8x reduction in scan counts, a 38.2x data compression rate and a 28.4x equivalent dynamic range, a 99% data sparsity, drastically reducing the data acquisition overhead. The resulting sparse data stream is processed by a multi-layer convolutional spiking neural network (Conv-SNN) implemented on an FPGA, which requires only 65% of the computation and 15.6% of the weight storage relative to a CNN. Despite these significant efficiency gains, the system maintains a high classification accuracy of 92.11% for real-time handwritten digit recognition. Furthermore, a real neuromorphic tactile dataset using Address Event Representation (AER) is constructed. This work demonstrates a fully integrated, event-driven pipeline from analog sensing to neuromorphic classification, offering an efficient solution for robotic perception and human-computer interaction.
参考文献 (17)
Learning the signatures of the human grasp using a scalable tactile glove
S. Sundaram, Petr Kellnhofer, Yunzhu Li 等
Hybrid LAE-CMOS Force-Sensing System Employing TFT-Based Compressed Sensing for Scalability of Tactile Sensing Skins
L. E. Aygun, Prakhar Kumar, Zhiwu Zheng 等
A CMOS Readout Circuit for Resistive Tactile Sensor Array Using Crosstalk Suppression and Nonuniformity Compensation Techniques
Yao Li, Junfeng Geng, Mao Ye 等
Soft Tactile Sensing Skins for Robotics
P. Roberts, Mason Zadan, C. Majidi
Adaptive Optimal Measurement Algorithm for ERT-Based Large-Area Tactile Sensors
Kyungseo Park, Hyosang Lee, K. Kuchenbecker 等
Author ' s personal copy Encoding / decoding of first and second order tactile afferents in a neurorobotic application
L. L. Bologna, Jérémie Pinoteau, R. Brasselet 等
An Extreme Learning Machine-Based Neuromorphic Tactile Sensing System for Texture Recognition
M. Rasouli, Yi Chen, A. Basu 等
End-to-End Optimization of High-Density e-Skin Design: From Spiking Taxel Readout to Texture Classification
Jiaqi Wang, M. D. Alea, J. V. Assche 等
Spike timing–based coding in neuromimetic tactile system enables dynamic object classification
Libo Chen, Sanja Karilanova, Soumi Chaki 等
E-Skins: Biomimetic Sensing and Encoding for Upper Limb Prostheses
Mark M. Iskarous, N. Thakor
One-wire reconfigurable and damage-tolerant sensor matrix inspired by the auditory tonotopy
Zhihe Long, Weikang Lin, Pengyu Li 等
Compressive Sensing for Sparse Touch Detection on Capacitive Touch Screens
Chenchi Luo, M. Borkar, A. Redfern 等
Artificial Intelligence (AI)-Enhanced E-Skin with Artificial Synapse Sensory Output for Humanoid Robotic Finger of Multimodal Perception
Xinge Guo, Chengkuo Lee
Neuro-inspired electronic skin for robots
Fengyuan Liu, Sweety Deswal, A. Christou 等
Event-driven encoding of off-the-shelf tactile sensors for compression and latency optimisation for robotic skin
C. Bartolozzi, P. Ros, Francesco Diotalevi 等
A Review of Current Neuromorphic Approaches for Vision, Auditory, and Olfactory Sensors
Anup Vanarse, A. Osseiran, A. Rassau
A neuro-inspired artificial peripheral nervous system for scalable electronic skins
W. Lee, Y. Tan, Haicheng Yao 等