基于P300的便携式中文输入系统
信息技术XINXUISHU2021年第2期基于P300的便携式中文输入系统
黄国阳，何军，毛剑波
(合肥工业大学电子科学与应用物理学院，合肥230601)
摘要：目前有关中文BCI输入系统的研究仅有拼音输入和笔画输入两种，且都克服不了中文输入速率较低、不便携等问题。据此提出了基于P300的五笔中文输入系统。此系统通过低成本0penBCI 套件，使用Wi-Fi协议传输脑电数据，在移动设备上实现刺激界面，并使用卷积神经网络处理脑电信号。实验表明，该系统具有高中文输入速率、高准确率以及便携化等特点。
关键词：脑机接口；脑电信号；P300电位；OpenBCI；嵌入式系统
中图分类号：TP335；R318.04文献标识码：A文章编号:1009-2552(2021)02-0056-06
DOI：10.13274/jki.hdzj.2021.02.010
Portable Chinese input system based on P300
HUANG Guo-yang,HE Jun,MAO Jian-bo
(School of Electronic Science and Applied Physics,Hefei University of Technology,Hefei230601,China) Abstract:Currently there has been merely two types of input methods used in the proposed Chinese-based BCI input system:Pinyin input and stroke input.Furthermore,both of them cannot overcome the problems such as low Chinese input rate and being unportable・To solve the problems,a Wubi Chinese input system is proposed on the basis of P300.This system use the low-cost OpenBCI suite,use the Wi-Fi protocol to transmit computer data,the stimulation interface is realized on mobile devices,and Convolutional Neural Network is used to process EEG signal・The experimental results show that the system has the characteristics of high Chinese input rate,high accuracy and portability.
Key words:brain-computer interface；EEG signal；P300potential；OpenBCI；embedded system南京旅游景区
o引言
语言拼写是脑机接口(BCI,Brain-Computer Interface)的典型应用。Farwell和Donchin首先提出P300字母表拼写系统(FD speller)⑴，系统为36个字符组成的6x6矩阵，当行或列随机闪烁时选中了目标符号，将诱发P300电位；文献［2］提出了一种基于FD speller的单字符随机闪烁系统(SC speller)；文献［3］使用SSVEP(steady-state visual evoked potentials)实现了约每秒一个字符的
基金项目：合肥工业大学省级大学生创新项U(S201910359258；
2018CXCYS211)
作者简介：黄国阳(1998-)，男，本科，研究方向为脑机接口与神经形态芯片设计。信息传输速率；文献［4］概述了多种混合拼写器，包括基于P300与SSVEP的混合范式以及多感官刺激的混合拼写系统。
由于汉字是象形文字，数量比英文字母庞大，刺激范式设计将更为复杂。目前有关中文BCI Speller的研究较少，大致分为基于形状和基于发首两类o基于形状的研究成呆有文献［5-6］设计的基于笔画的输入系统；文献［7］的基于繁体字结构的输入系统；基于发音的拼写器有文献［5,10］、文献［8-9］。虽然基于发音的方法似乎更易接受，但由于一个发音可以代表不同汉字，导致了额外的目标中文选择过程。
基于矩阵的BCI Speller具有可观的ITR和准
—56—
基于P300的便携式中文输入系统一黄国阳等
确率，本文在经典的基于矩阵的BCI speller基础
上，使用RC范式，结合五笔输入法建立了新的中
文输入系统。
1系统实现
1.1系统组成
系统结构如图1所示，主要包括脑电采集模
块、脑电分析模块、蓝牙传输模块、用户界面四部
分。视觉刺激界面用以诱发用户的P300脑电信
号，同时发送相应的事件标记到嵌入式蓝牙设备,
经处理后发送给计算机端，被计算机端的相应软
件获取。同时0penBCI实时采集用户的脑电信
号，通过嵌入式Wi-Fi设备发送到计算机端，经由
董洁个人资料
相应的算法处理，判断出其中是否含有P300信
号，以此来推断用户发岀的指令，并将其作为五笔
编码转化为汉字，通过嵌入式蓝牙设备传送至屏
幕输出。
PC端EEG分析程序
r—|流程屋制］--1
朋友祝福k\肓丿预界理卜
WiFi I
|Open BCI I
脑电采集设备O V视觉刺激-
|嵌人式蓝牙设备
•j P300屯位检测______用户星丞.
图1中文输入系统结构
视觉刺激界面在移动端展示，移动端自带的蓝牙与嵌入式蓝牙设备通信，嵌入式设备通过串口连接到计算机，同时计算机也通过Wi-Fi接入脑电采集设备，接收脑电数据并通过算法作出判断。
1.2工作原理
本研究所实现的BCIS peller是基于识别P300电位的中文输入系统。当用户输入某个字符时，只需在屏幕上注视该字符，当该字符闪烁的小概率事件发生时，就可以通过检测P300电位来推断用户所想的字符。根据心理学中Oddball范式诱发P300电位的原理，刺激事件概率越小，所引发的P300电位越显著。然而过小的概率会造成识别时间增加的问题，因此刺激界面使用5x6矩阵设计，包含30个字符，在一个Round中每一行和列被随机闪烁一次，目标字符被击中的概率为2/1l o
对于刺激持续时间与刺激间隔ISI，各团队都采用了不同的设置，但大部分都在100ms左右，如文献［11-12］的研究。文献［1］指岀较长的SOA（即两个连续刺激发生的时间间隔，等丁•刺激持续时间与刺激间隔ISI的和）可以提高分类正确率。因此将SOA设置为175ms，刺激持续时间设置为100ms，刺激间隔ISI设置为75ms。一方面较长的SOA有利于实验的观察，并且可以缓解受试者的视觉疲劳；另一方面可以为蓝牙通信与数据处理留岀足够的时间，保证系统运行的稳定性。
对于输入字符向中文的转换，我们采用了简单高效的五笔编码，其最大的特点就是绝大部分汉字编码唯一，在输入单字或词组的情况下，相较于拼音输入和笔画输入，平均击键次数要小得多，并且大部分情况下用户无需进行选词。五笔输入有一级简码和二级简码，涵盖了大部分的高频汉字。例如汉字“中国”只需4次击键:K、确认、L、确认，而使用拼音输入需要9次击键:z、h、o、n、g、g、u、o、确认。由于常用汉字中五笔输入的重码情况概率极低，因此可以省去选词操作，在移动设备中可以避免候选列表占用过多的屏幕面积，从而增加有效的视觉刺激面积。
在计算机端，使用MATLAB从串口读取蓝牙模块接收的数据，结合实时采集的脑电数据，由算法计算出目标字符后，结合WinsowslO系统内置的五笔输入法实现五笔输入并将所得汉字发送至移动设备，显示在输入区。对于少数情况下出现的重码,APP会额外出现重码的候选词列表，此时通过输入ABCD来代表1234进行选词操作。
反应人物优秀品质的成语
系统的工作流程如下：①受试者注视屏幕，界面开始闪烁;②脑电设备实时采集脑电信号，经过预处理后进行特征提取和分类，判断是否出现P300信号；③闪烁完毕后，通过出现P300的时间来确定闪烁对应的行列，从而确定受试者所想的字符，输出到屏幕;④将多个字符使用五笔编码转换为中文，实现中文输入。
—57
—
基于P300的便携式中文输入系统一黄国阳等
1.3嵌入式系统设计
视觉刺激以及文字输入集成于手机APP上, APP在蓝牙数据传输软件的开源代码基础上编写完成，增加了视觉刺激、文字输出等相关代码。
为保证数据的时效性以及系统对不同计算机硕件的兼容性，使用了型号为STC12c5a60s2的嵌入式单片机。该设备具有双串口，其中一个可以通过USB转串口芯片使用Micro-usb接口连接至计算机，另一个串口用来连接蓝牙模块HO05。软件流程如图2所示。
QPP界面开始闪烁
|第一次闪烁|……（n轮闪烁）|字体颜变换
嵌入式设备准备
1
蓝牙谏取蓝牙模块接
--A殴的数据，处理
后发送至计算机
闪烁结束，读取字符~蓝牙接受计算机
发送的字符
图2蓝牙模块HC-05原理图
当刺激界面闪烁时，闪烁行或列的代号会发送至HC-05蓝牙模块，单片机读取HC-05接收到的数据，判断数据有效性后将其通过串口发送至计算机，计算机端使用MATLAB读取串口数据即可。
此外，可以使用多台嵌入式设备，通过USB-HUB连接到同一台计算机，使系统同时与多个终端用户进行交互。计算机中需保存每个用户单独的脑电分类算法模型。用户手机安装对应APP 后，为其分配一台嵌入式设备，建立蓝牙连接后即可快速地进行脑机交互。
脑电采集设备使用OpenBCI，这是一套开源的可用于采集生理信号的低成本硬件平台。其结构图如图3所示。它包含集成模拟前端ADS1299，能采集包括EEG、肌电、心电信号在内的多种生理信号，通过串行接口发送至PIC32微控制器。用户可以根据需要进行二次开发、修改增益、采样率、采集通道等设置。三轴加速度传感器LIS3DH —58—可以检测用户头部的运动，将数据发送到PIC32。PIC32在收集数据的同时还将其发送至射频模块ESP8266，通过Wi-Fi将数据发送至计算机。
II----
—ADS1299
运动狀态
LIS3DH—PIC32微控制器-ESP8266」
SD Card
Open BCI
图3OpenBCI系统结构图
1.4刺激范式设计
1.4.1界面
甄嬛是谁视觉刺激界面如图4所示。字符上采用26个英文字母按顺序排列，最后有4个特殊字符: Enter表示“确认”，Back表示“撤回”，Shift表示“转义成英文字符输入”，Quit表示“退出”。
图4移动端刺激界面
文献［13］的研究结论可以得出，刺激界面使用白背景要好于黑背景，文献［14］提出，蓝/绿变化的刺激类型比灰/白的效果有显著提高。因此，通过对刺激界面简单属性的修改和调整，就会给拼写器带来显著的性能差异。本文设计的界面基于此原理，采用了白底（偏灰）蓝字，闪烁时字体变为绿，以提升刺激强度，增大P300电位产生的概率。
1.4.2动态工作流程
如图5所示，每个字符的输入为一个Trial，其中包含了“个Round，在一个Round中每一行和列都会被随机闪烁一次，由于矩阵规格是5x6，因此每个Round包含11次闪烁，即11次Flash
o
基于P300的便携式中文输入系统一黄国阳等
在视觉刺激算法界面按行或列随机闪烁时，每次Flash的持续时间为100ms，两次Flash的间隔为75ms，每个Round之间的间隔为500ms。数字1〜5分别对应第1行到第5行闪烁；数字6〜11分別对应
第1列到第6列闪烁。每次闪烁都通过蓝牙模块将对应的数字实时传给嵌入式设备，嵌入式设备再通过串口将数据传输到计算机用于算法处理。整个软件运行流程大致为:①闪烁前提示倒计时3s；②矩阵行列不断随机闪烁，总计闪烁n个Round为一个周期;③计算机读取到嵌入式设备发送的数据的同时，接收对应脑电设备采集的脑电信号进行算法处理，在一个Trial 结束后输出字符并通过蓝牙传输至手机上显示。
图5闪烁流程
1.5算法设计
基于P300事件在时间上有明显的波形特征，一些学者提出并尝试了许多P300检测算法，如独立分量分析（ICA）、共空间模式（CSP）、xDawn、分层判別成分分析（HDCA）、滑动HDCA（sHD-CA）、卷积神经网络（Convolutional Neural Net­works,CNN）等。在此基础上,BCI系统的性能得到了很大的提高。本文则采用了比较合适的卷积神经网络来处理和分类脑电信号。
1.5.1信号预处理
首先将原始数据通过截止频率为15Hz的低通滤波器，以消除高频信号的干扰。滤波算法采用5阶巴特沃斯滤波器。
而由于受试者的眨眼动作会产生眼电相关电位，严重干扰了P300电位的识别。因此同时采集『眼电信号（EOG），经过经验模态分解（Empirical Mode Decomposition,EMD）算法和FastICA算法分别去除脑电信号的噪声和伪迹。
最后将连续的脑电信号按Round分为段，每一段Round信号再对应分为11个Flash段，每个Flash段包含了可能出现的P300电位。多个通道的脑电信号分通道依次处理。
1.5.2特征值提取
首先采用多组脑电信号叠加平均的方式，提高其信噪比，使P300信号的特征更加明显。具体做法是将不同Round中对应同一个事件的Flash 段叠加平均，方式如下：
EEGi=
n;=1
式中,EEGj表示脑电信号在第j个Flash段中第i 个时间点的数值；颐为叠加平均后的数值。这样就得到了最终的11个Flash段，每一段都是n 次实验数据叠加平均的结果。
在使用传统机器学习算法（如支持向量机）进行分类时，需要分别在时域、频域和空域使用相应的算
法手动提取其特征向量〔⑸。而采用卷积神经网络，在保证可观的分类正确率的同时，可以大大降低过程的复杂度。
卷积神经网络是一种包含卷积计算且具有深度结构的前馈神经网络，可以直接分类原始的EEG信号，在鉴别步骤中集成信号处理功能。因此我们设计了一个经典的基于LeNet-5模型的CNN神经网络，用于提取特征的卷积层包含空间滤波卷积层和时域滤波卷积层〔⑹O
1.5.3特征值分类
在两个卷积层分别提取相应特征后，经过全连接层将前层提取的特征关联起来综合分析，从 而进行数据的分类，分类结果通过输出层输出。
2系统实验测试
2.1实验配置及要求
木实验的3名受试者（2名男性1名女性）年龄介于19-21岁之间。实验环境为暗光且安静的实验室。受试者身体健康，精神状态良好，坐姿端正，同时使用6.7英寸手机屏幕显示刺激画面。受试者眼睛距离屏幕25cm。采集受试者C3,Cz,
不必太在意—59—
基于P300的便携式中文输入系统一黄国阳等
C4,P3,Pz,P4等导联的脑电信号，参考电极置于双耳垂，接地电极置于前额。同时采集受试者眼电信号用于去除眼电干扰。电极与头皮之间涂以电极膏，以减小接触电阻。
实验开始前对受试者说明木次实验与注意力集中度密切相关，并要求受试者在进行实验时尽可能集中注意力。在每次实验开始前5分钟，要求受试者进行静坐冥想，以此提高受试者注意力。
2.2受试者训练
由于采用CNN神经网络来识别P300信号，考虑到不同人的脑电信号差异较大，因此为每名受试者提前采集由界面刺激产生的脑电信号，生成带标记的P300信号流，按9：1分为两部分，作为训练集和测试集，用于CNN神经网络的训练和测试，最后保存神经网络模型供实验时使用。
2.3受试者实验
依次设置每个Trial包含的Round个数为1, 2,3,-,15，对每名受试者进行测试，得出Round 个数与输入正确率的关系。之后为Round个数选取合适的值对每名受试者分別进行5次实验，每次实验采用4个中文字符对应英文字符为14〜16个不等，计算正确率时按输入的英文字符个数（包含Enter指令）计算。
20个中文字符及其对应的五笔编码列出如下：是（J）否（GIK）冷（UWYC）热（RVYO）、你好（
WQ VB）再见（GMF MQB）、吃饭（KTN QNR）喝水（KJQ II）、洗漱（ITF IGKW）沐浴（ISY IWW）、燃眉之急（OQDO NHD PP QVN）。
2.4比较实验结果
图6显示了3名受试者测试中文输入的正确率与闪烁重复次数Round的关系，可以明显看出，随着Round的增加，正确率也在增加，但当Round达到12时，正确率的增加不再明显。并且Round的增加会引起输入耗时的增加，从而导致更低的字符传输效率。因此可以选取Round为10，再进行接下来的实验。
再通过5天共15次实验和记录分析，表1给出了在取Round为10时各受试者测试的正确率（按英文字符计算）：
—60—
100
90
80
70
60
50
40
30
20
10
-T_受试者1
"受试者2
—受试者3
123456789101112131415
图6正确率与Round个数的关系
表1每名受试者在Round=10时的输入正确率
(正确个数/总个数)
次数受试者1受试者2受试者3
1(是、否、冷、热)57.14%(8/14)50.00%(7/14)50.00%(7/14) 2(你好、再见)64.29%(9/14)42.86%(6/14)57.14%(8/14) 3(吃饭、喝水)60.00%(9/15)53.33%(8/15)53.33%(8/15) 4(洗漱、沐浴)62.50%(10/16)50.00%(8/16)56.25%(9/16) 5(燃眉之急)66.67%(9/15)46.67%(7/15)66.67%(9/15) rh于实验设置了较长的soa，因此输入速度会大幅降低。计算可知，输入1个英文字符所用时间为24.25s，输入4个中文汉字所用时间在339.5s〜388s之间。实验中采用的输入方法是逐个输入，如果考虑对词组的五笔编码进行简化，那么输入次数将会大大减少。例如词语“燃眉之急”可以用“O、N、P、Q、EnteF^代替“O、Q、D、O、Enter a N、H、D、Enter、P、P、Enter、Q、V、N、Enter n o 利用了五笔输入法的特性结合智能输入法的庞大词库，达到加快输入速度的目的，使大部分短语输入速度能达到1.9字/分钟，最快能达2.4字/分钟。
3结束语
在引入了五笔编码以及智能输入法的情况下，汉字可以被更少的英文字符编码，这也是中文BCI输入系统设计的新思路。使用移动设备来显示刺激界面，使用OpenBCI设备来采集脑电信号，通过蓝牙和Wi-Fi进行数据的传输，这样可以摆脱有线的限制，使整个系统的运行不冉被局限于固定的空间，这也是新型脑机接口的发展方向
。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。