本申請涉及一種基于用戶腦電圖（electroencephalogram，eeg）信號(hào)修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)的系統(tǒng)和方法。通過對數(shù)字內(nèi)容的動(dòng)態(tài)操控，可以增強(qiáng)用戶的認(rèn)知能力。
背景技術(shù)：
1、人與計(jì)算機(jī)之間的交互通常通過例如鍵盤、鼠標(biāo)和顯示器的外圍設(shè)備執(zhí)行。這種交互不可避免地涉及用戶的神經(jīng)肌肉系統(tǒng)。為取代這些外圍設(shè)備，已經(jīng)提出使用腦機(jī)接口（brain-computer?interface，bci）系統(tǒng)在人腦與計(jì)算機(jī)系統(tǒng)之間建立直接的信息交換。腦機(jī)接口系統(tǒng)允許用戶繞過神經(jīng)肌肉通信，并且替代地允許用戶基于用戶的大腦活動(dòng)控制系統(tǒng)。
2、人腦產(chǎn)生包括被稱為腦電波的電學(xué)圖案的生物信號(hào)，該生物信號(hào)可以通過腦電圖檢測和記錄?？梢允褂媚X電圖設(shè)備，量化這些腦電波，腦電圖設(shè)備通常以模擬形式（analogform）采集腦電波。隨后，腦電波數(shù)據(jù)可以以其初始模擬格式進(jìn)行分析，或者轉(zhuǎn)換為數(shù)字表征（digital?representation），以用于進(jìn)一步的分析。大多數(shù)現(xiàn)有的腦機(jī)接口系統(tǒng)采用利用記錄的腦電圖信號(hào)的技術(shù)，因?yàn)榕c例如功能性磁共振成像（functional?magneticresonance?imaging，fmri）、功能性近紅外光譜（functional?near-infraredspectroscopy，fnirs）和腦磁圖（magnetoencephalography，meg））的其他非侵入性方法相比，這是一種較簡單且相對較便宜的腦信號(hào)采集技術(shù)。
3、通過與腦機(jī)接口系統(tǒng)的交互，個(gè)體將能夠響應(yīng)于實(shí)時(shí)刺激，自動(dòng)調(diào)節(jié)其腦信號(hào)。因此，通過訓(xùn)練大腦，個(gè)體通過神經(jīng)可塑性過程重塑其底層神經(jīng)回路將是可行的。因此，本領(lǐng)域技術(shù)人員一直在探索通過控制腦機(jī)接口系統(tǒng)，使用人的大腦活動(dòng)以豐富或增強(qiáng)人的認(rèn)知能力的方法。
技術(shù)實(shí)現(xiàn)思路
1、一方面，本申請公開一種計(jì)算機(jī)系統(tǒng)，該計(jì)算機(jī)系統(tǒng)被設(shè)置為基于采集的原始腦電圖信號(hào)，修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)。計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)處理器；以及處理單元可讀的非暫時(shí)性介質(zhì)，該介質(zhì)存儲(chǔ)指令，當(dāng)處理單元執(zhí)行該指令時(shí)，該指令使處理單元將原始腦電圖信號(hào)作為輸入，提供給經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)和經(jīng)訓(xùn)練的多層感知器網(wǎng)絡(luò)。然后，處理單元被控制使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成認(rèn)知評分，其中神經(jīng)網(wǎng)絡(luò)使用與持續(xù)注意力認(rèn)知狀態(tài)相關(guān)的腦電圖信號(hào)和與注意力缺失認(rèn)知狀態(tài)相關(guān)的腦電圖信號(hào)訓(xùn)練，并且處理單元被控制使用經(jīng)訓(xùn)練的多層感知器網(wǎng)絡(luò)，為原始腦電圖信號(hào)的每個(gè)時(shí)間窗口生成生理評分，其中多層感知器網(wǎng)絡(luò)使用與α波段和β波段相關(guān)的腦電圖信號(hào)特征訓(xùn)練。然后，處理單元被進(jìn)一步控制將認(rèn)知評分和生理評分提供給顯示控制器模塊，并且處理單元被控制使用顯示控制器模塊，基于認(rèn)知評分和生理評分，修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)。
2、在該方面的另一實(shí)施例中，本申請公開原始腦電圖信號(hào)是使用通信連接于計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備、從用戶采集的。然后，基于認(rèn)知評分和生理評分修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)的指令附加地包括用于控制處理單元使用顯示控制器模塊在顯示器上顯示時(shí)空活動(dòng)，以及用于控制處理單元使用移動(dòng)生物傳感器設(shè)備，指示用戶持續(xù)參與顯示的時(shí)空活動(dòng)，直至判定原始腦電圖信號(hào)的時(shí)間窗口集群上的平均認(rèn)知評分已達(dá)到預(yù)設(shè)目標(biāo)的指令。
3、在該方面的另一實(shí)施例中，本申請公開原始腦電圖信號(hào)是使用通信連接于計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的。然后，基于認(rèn)知評分和生理評分修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)的指令附加地包括用于控制處理單元使用顯示控制器模塊，在顯示器上顯示時(shí)空活動(dòng)，并且控制處理單元使用移動(dòng)生物傳感器設(shè)備，指示用戶持續(xù)參與顯示的時(shí)空活動(dòng)，直至判定原始腦電圖信號(hào)的時(shí)間窗口集群上的平均生理評分已超過預(yù)設(shè)閾值評分的指令。
4、另一方面，本申請公開一種基于采集的原始腦電圖信號(hào)修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)的方法，該方法包括以下步驟：使用機(jī)器學(xué)習(xí)模塊，接收原始腦電圖信號(hào)，并且將接收的原始腦電圖信號(hào)作為輸入，提供給經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)和經(jīng)訓(xùn)練的多層感知器網(wǎng)絡(luò)；使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成認(rèn)知評分，其中神經(jīng)網(wǎng)絡(luò)使用與持續(xù)注意力認(rèn)知狀態(tài)相關(guān)的腦電圖信號(hào)和與注意力缺失認(rèn)知狀態(tài)相關(guān)的腦電圖信號(hào)訓(xùn)練；以及使用經(jīng)訓(xùn)練的多層感知器網(wǎng)絡(luò)，為原始腦電圖信號(hào)的每個(gè)時(shí)間窗口生成生理評分，其中多層感知器網(wǎng)絡(luò)使用與α波段和β波段相關(guān)的腦電圖信號(hào)特征訓(xùn)練。該方法還包括以下步驟：使用顯示控制器模塊，接收認(rèn)知評分和生理評分；以及使用顯示控制器模塊，基于認(rèn)知評分和生理評分，修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)。
1.一種計(jì)算機(jī)系統(tǒng)，所述計(jì)算機(jī)系統(tǒng)被設(shè)置為基于采集的原始腦電圖信號(hào)，修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)，所述計(jì)算機(jī)系統(tǒng)包括：
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)的指令還包括用于控制所述處理單元執(zhí)行以下操作的指令：
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)系統(tǒng)，其中所述第一數(shù)字內(nèi)容包括放松程序。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)的指令還包括用于控制所述處理單元執(zhí)行以下操作的指令：
5.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)系統(tǒng)，其中所述第二數(shù)字內(nèi)容包括注意力訓(xùn)練程序。
6.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中在使用所述經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成認(rèn)知評分的指令之前，所述非暫時(shí)性介質(zhì)還包括用于控制所述處理單元執(zhí)行以下操作的指令：
7.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中所述原始腦電圖信號(hào)是使用通信連接于所述計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的計(jì)算機(jī)系統(tǒng)，其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)的指令還包括用于控制所述處理單元執(zhí)行以下操作的指令：
9.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中所述原始腦電圖信號(hào)是使用通信連接于所述計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的，并且其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)的指令還包括用于控制所述處理單元執(zhí)行以下操作的指令：
10.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中所述原始腦電圖信號(hào)是使用通信連接于所述計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的，并且其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)的指令還包括用于控制所述處理單元執(zhí)行以下操作的指令：
11.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)系統(tǒng)，其中所述非暫時(shí)性介質(zhì)還包括用于控制所述處理器執(zhí)行以下操作的指令：
12.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)系統(tǒng)，其中所述神經(jīng)網(wǎng)絡(luò)包括多尺度卷積神經(jīng)網(wǎng)絡(luò)，所述多尺度卷積神經(jīng)網(wǎng)絡(luò)包括被設(shè)置為學(xué)習(xí)腦電圖信號(hào)的全部通道的動(dòng)態(tài)表征和頻率表征的動(dòng)態(tài)時(shí)間層、被設(shè)置為計(jì)算全局空間核和半球空間核的非對稱空間層、被設(shè)置為融合來自所述全局空間核和所述半球空間核的信息以形成由歸一化指數(shù)函數(shù)激活的完全連接層的高級融合層。
13.一種基于采集的原始腦電圖信號(hào)修改顯示器上數(shù)字內(nèi)容的呈現(xiàn)的方法，所述方法包括：
14.根據(jù)權(quán)利要求13所述的方法，其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)還包括以下步驟：
15.根據(jù)權(quán)利要求14所述的方法，其中所述第一數(shù)字內(nèi)容包括放松程序。
16.根據(jù)權(quán)利要求13至15中任一項(xiàng)所述的方法，其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)還包括以下步驟：
17.根據(jù)權(quán)利要求16所述的方法，其中所述第二數(shù)字內(nèi)容包括注意力訓(xùn)練程序。
18.根據(jù)權(quán)利要求13所述的方法，其中在使用所述經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成認(rèn)知評分的步驟之前，所述方法還包括以下步驟：
19.根據(jù)權(quán)利要求13所述的方法，其中所述原始腦電圖信號(hào)是使用通信連接于所述計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的。
20.根據(jù)權(quán)利要求13至19中任一項(xiàng)所述的方法，其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)還包括以下步驟：
21.根據(jù)權(quán)利要求13所述的方法，其中所述原始腦電圖信號(hào)是使用通信連接于所述計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的，并且其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)還包括以下步驟：
22.根據(jù)權(quán)利要求13所述的方法，其中所述原始腦電圖信號(hào)是使用通信連接于所述計(jì)算機(jī)系統(tǒng)的移動(dòng)生物傳感器設(shè)備從用戶采集的，并且其中基于所述認(rèn)知評分和所述生理評分修改所述顯示器上所述數(shù)字內(nèi)容的呈現(xiàn)還包括以下步驟：
23.根據(jù)權(quán)利要求19所述的方法，其中所述方法還包括以下步驟：
24.根據(jù)權(quán)利要求13所述的方法，其中所述神經(jīng)網(wǎng)絡(luò)包括多尺度卷積神經(jīng)網(wǎng)絡(luò)，所述多尺度卷積神經(jīng)網(wǎng)絡(luò)包括被設(shè)置為學(xué)習(xí)腦電圖信號(hào)的全部通道的動(dòng)態(tài)表征和頻率表征的動(dòng)態(tài)時(shí)間層、被設(shè)置為計(jì)算全局空間核和半球空間核的非對稱空間層、被設(shè)置為融合來自所述全局空間核和所述半球空間核的信息以形成由歸一化指數(shù)函數(shù)激活的完全連接層的高級融合層。