Las ondas cerebrales críticamente sincronizadas forman una base eficaz, sólida y flexible para la memoria y el aprendizaje humanos

Scientific Reports volumen 13, número de artículo: 4343 (2023) Citar este artículo

1371 Accesos

3 altmétrico

Detalles de métricas

La eficacia, robustez y flexibilidad de la memoria y el aprendizaje constituyen la esencia misma de la inteligencia, la cognición y la conciencia naturales del ser humano. Sin embargo, las opiniones actualmente aceptadas sobre estos temas se han presentado hasta la fecha sin ninguna base sobre una verdadera teoría física sobre cómo el cerebro se comunica internamente a través de sus señales eléctricas. Esta falta de un marco teórico sólido tiene implicaciones no sólo para nuestra comprensión de cómo funciona el cerebro, sino también para una amplia gama de modelos computacionales desarrollados a partir de la visión ortodoxa estándar de la organización neuronal del cerebro y el funcionamiento derivado de la red cerebral basado en el anuncio de Hodgkin-Huxley. Analogías de circuitos hoc que han producido una multitud de redes neuronales artificiales, recurrentes, de convolución, de picos, etc. (ARCSe NN) que a su vez han llevado a los algoritmos estándar que forman la base de la inteligencia artificial (IA) y el aprendizaje automático ( ML) métodos. Nuestra hipótesis, basada en nuestro modelo físico recientemente desarrollado de propagación de ondas cerebrales débilmente evanescentes (WETCOW), es que, contrariamente al modelo ortodoxo actual de que las neuronas cerebrales simplemente se integran y activan bajo el acompañamiento de una fuga lenta, en cambio pueden realizar tareas mucho más sofisticadas de sincronización/desincronización coherente y eficiente guiada por la influencia colectiva de la propagación de ondas cerebrales no lineales cercanas a las críticas, las ondas que actualmente se supone que no son más que ruido subumbral intrascendente. En este artículo destacamos las capacidades de aprendizaje y memoria de nuestro marco WETCOW y luego lo aplicamos a la aplicación específica de AI/ML y redes neuronales. Demostramos que el aprendizaje inspirado por estas ondas cerebrales críticamente sincronizadas es superficial, pero su sincronización y precisión superan a sus contrapartes ARCSe profundas en conjuntos de datos de prueba estándar. Estos resultados tienen implicaciones tanto para nuestra comprensión de la función cerebral como para la amplia gama de aplicaciones de IA/ML.

Los mecanismos de la memoria humana siguen siendo uno de los grandes misterios sin resolver de la ciencia moderna. Como componente crítico del aprendizaje humano, la falta de una teoría coherente de la memoria también tiene implicaciones de gran alcance para nuestra comprensión de la cognición. Los avances recientes en neurociencia experimental y neuroimagen han resaltado la importancia de considerar las interacciones de una amplia gama de escalas espaciales y temporales en juego en la función cerebral, desde las microescalas de dendritas subcelulares, sinapsis, axones y somas, hasta las mesoescalas de las estructuras que interactúan. redes de circuitos neuronales, las macroescalas de los circuitos cerebrales. Las teorías actuales derivadas de estos datos experimentales sugieren que la capacidad de los humanos para aprender y adaptarse a estímulos externos en constante cambio se basa en el desarrollo de circuitos, redes y arquitecturas complejos, adaptables, eficientes y robustos derivados de arreglos flexibles entre la variedad. de tipos de células neuronales y no neuronales en el cerebro. Por lo tanto, una teoría viable de la memoria y el aprendizaje debe basarse en un modelo físico capaz de producir fenómenos espaciotemporales multiescala consistentes con los datos observados.

En el corazón de todos los modelos actuales de actividad eléctrica cerebral se encuentra el modelo de picos neuronales formulado por Hodgkin y Huxley (HH)1 que ha proporcionado descripciones cuantitativas de los flujos de Na+/K+, los cambios de conductancia dependientes del voltaje y del tiempo, las formas de onda de los potenciales de acción y la conducción de potenciales de acción a lo largo de fibras nerviosas2. Desafortunadamente, aunque el modelo HH ha sido útil para ajustar un conjunto multiparamétrico de ecuaciones a mediciones de membrana locales, el modelo ha sido de utilidad limitada para descifrar funciones complejas que surgen en redes interconectadas de neuronas cerebrales3. Desde un punto de vista práctico, el modelo HH original es demasiado complicado para describir incluso redes relativamente pequeñas4,5,6. Esto ha dado lugar al desarrollo de técnicas de optimización7,8,9,10 basadas en un modelo muy reducido de una neurona de integración y disparo (LIF) con fugas que es lo suficientemente simple para su uso en redes neuronales, ya que reemplaza todas estas puertas múltiples. , corrientes, canales y umbrales con un solo umbral y constante de tiempo. La mayoría de los modelos de redes neuronales de picos (SNN) utilizan esta neurona LIF simplista para el llamado "aprendizaje profundo"11,12,13,14, afirmando que está inspirado en el funcionamiento del cerebro. Si bien se utilizan múltiples modelos LIF para la clasificación de imágenes en grandes conjuntos de datos15,16,17,18,19, la mayoría de las aplicaciones de SNN todavía se limitan a conjuntos de datos menos complejos, debido a la dinámica compleja incluso del modelo LIF demasiado simplificado y a las operaciones no diferenciables de Neuronas con picos de LIF. Algunos estudios notables han aplicado SNN para tareas de detección de objetos20,21,22. También se utilizaron métodos basados ​​en picos para el seguimiento de objetos23,24,25,26. Está en auge una investigación sobre el uso de redes de picos LIF para el aprendizaje en línea27, la lectura de letras braille28 y diferentes dispositivos sinápticos neuromórficos29 para la detección y clasificación de problemas biológicos30,31,32,33,34,35,36. Una investigación importante se centra en realizar un control a nivel humano37, optimizar los algoritmos de retropropagación para redes de picos38,39,40, así como penetrar mucho más profundamente en el núcleo de ARCSes41,42,43,44 con un menor número de pasos de tiempo41, utilizando un sistema de eventos. paradigma impulsado36, 40, 45, 46, aplicando normalización por lotes47, optimizaciones de dispersión y recopilación48, plasticidad supervisada49, mapas binarios de paso de tiempo50 y uso de algoritmos de aprendizaje por transferencia51. Junto con esta amplia gama de aplicaciones de software, existe una gran cantidad de investigaciones dirigidas al desarrollo y uso de estos LIF SNN en aplicaciones integradas con la ayuda del hardware neuromórfico52,53,54,55,56,57, el nombre genérico dado al hardware que nominalmente se basa o está inspirado en la estructura y función del cerebro humano. Sin embargo, si bien el modelo LIF es ampliamente aceptado y omnipresente en la neurociencia, es problemático porque no genera picos per se.

Una sola neurona LIF se puede describir formalmente en forma diferencial como

donde U(t) es el potencial de membrana, \(U_{rest}\) es el potencial de reposo, \(\tau _m\) es la constante de tiempo de membrana, R es la resistencia de entrada e I(t) es la resistencia de entrada actual58. Es importante señalar que la Ec. (1) no describe los picos reales. Más bien, integra la corriente de entrada I(t) en presencia de una tensión de membrana de entrada U(t). En ausencia de la corriente I(t), el voltaje de la membrana decae rápidamente (exponencialmente) con la constante de tiempo \(\tau _m\) hasta su potencial de reposo \(U_{rest}\). En este sentido la integración tiene “fugas”. No hay ninguna estructura en esta ecuación que se aproxime siquiera a una resonancia del sistema que podría describirse como "pico". Además, tanto la constante de desintegración \(\tau _m\) como el potencial de reposo \(U_{rest}\) no sólo son incógnitas, sino que se supone que son constantes y, por lo tanto, son simplificaciones excesivas significativas del complejo entorno actual del tejido.

Es un desarrollo curioso en la historia de la neurociencia que el desajuste entre el comportamiento de picos observado de las neuronas y un modelo del sistema que es incapaz de producir picos no se encontró con una reformulación hacia un modelo físicamente más realista, sino con lo que puede sólo puede describirse como una solución ad hoc: la introducción de un “umbral de activación” \(\Theta\) que define cuándo una neurona finalmente deja de integrar la entrada, lo que resulta en un gran potencial de acción compartido casi mágicamente con sus neuronas vecinas. después de lo cual el voltaje de la membrana U se restablece manualmente al potencial de reposo \(U_{rest}\). Agregar estas condiciones da como resultado que (1) solo sea capaz de describir la dinámica que ocurre cuando el potencial de membrana U está por debajo de este umbral de regla de picos \(\Theta\). Es importante reconocer que esta descripción de la dinámica "subumbral" del potencial de membrana hasta que alcanza su umbral de activación describe una situación en la que las neuronas vecinas no se ven afectadas por lo que es esencialmente una descripción de ruido subumbral.

En resumen, la situación física descrita por (1) es contradictoria con muchos experimentos cuidadosos de neurociencia que muestran, por ejemplo, que (1) la neurona se activa anisotrópicamente siguiendo el origen de las señales que llegan a la membrana; (2) la forma de onda de pico de una sola neurona generalmente varía en función de la ubicación de la estimulación; (3) la suma espacial está ausente para estimulaciones extracelulares desde diferentes direcciones; (4) la suma y resta espacial no se logran cuando se combinan estimulaciones intra y extracelulares, así como para interferencias temporales no locales59. Esta observación ha dado lugar a llamados a “reexaminar las funcionalidades neuronales más allá del marco tradicional”59.

Este reexamen se ha estado llevando a cabo en nuestro laboratorio, donde hemos desarrollado un modelo de actividad eléctrica cerebral basado en la física. Hemos demostrado que en el sistema de tejido cerebral anisotrópico no homogéneo, la dinámica subyacente no está necesariamente restringida únicamente por el tipo de reacción-difusión. La teoría recientemente desarrollada de las ondas cerebrales débilmente evanescentes (WETCOW)60,61,62 muestra desde un punto de vista físico que la propagación de campos electromagnéticos a través de la geometría altamente compleja del dominio no homogéneo y anisotrópico de los tejidos cerebrales reales también puede ocurrir en una onda cerebral. como forma. Esta propagación ondulatoria concuerda bien con los resultados de los experimentos neuronales anteriores59 y, en general, explica la amplia gama de características espaciotemporales cerebrales aparentemente dispares observadas. La teoría produce un conjunto de ecuaciones no lineales para la evolución temporal y espacial de los modos de ondas cerebrales que incluyen todas las posibles interacciones no lineales entre modos de propagación en múltiples escalas espaciales y temporales y grados de no linealidad. La teoría cierra la brecha entre los dos 'campos' de ondas y picos aparentemente no relacionados, ya que la dinámica de las ondas generadas incluye el espectro completo de la actividad cerebral que va desde eventos de picos espaciales o temporales asincrónicos incoherentes hasta modos de propagación coherentes similares a ondas en el tiempo o en el espacio. dominios, hasta picos colectivamente sincronizados de múltiples modos temporales o espaciales.

En este artículo destacamos algunos aspectos particulares de la teoría WETCOW directamente relacionados con el aprendizaje biológico a través de la dinámica de ondas y demostramos cómo estos principios no sólo pueden aumentar nuestra comprensión de la cognición, sino que también proporcionan la base para una nueva clase de análogos de ingeniería tanto para el software como para el aprendizaje. Sistemas de aprendizaje de hardware que pueden operar con las características extremas de eficiencia energética y de datos de los sistemas biológicos que facilitan la resiliencia adaptativa en entornos dinámicos.

Nos gustaría enfatizar que una de las principales motivaciones de nuestro trabajo es el reconocimiento de que en los últimos años la comunidad investigadora se ha centrado rápidamente en que las teorías de la memoria, el aprendizaje y la conciencia se basan en redes de neuronas HH (LIF) como elementos biológicos. y/o base física63. En este caso, se supone que cada neurona es un elemento (o un nodo) con propiedades fijas que recopila isotrópicamente entradas y se activa cuando se ha recopilado suficiente. Luego se analizan los algoritmos de aprendizaje como procesos que actualizan las propiedades de la red, por ejemplo, la fuerza de la conexión entre esos nodos fijos a través de la plasticidad64, o el número de nodos neuronales fijos participantes en la red mediante el nacimiento y reclutamiento de nuevos nodos neuronales65, etc. Nos centramos en diferentes aspectos del funcionamiento de la red: asumimos que la red no está formada por nodos fijos (neuronas), sino por vías flexibles que abarcan ondas en propagación, paquetes de ondas o modos de ondas. Formalmente, esos modos de onda desempeñan en cualquier red de modos de onda el mismo papel que un solo nodo HH (LIF) en una red de neuronas; por lo tanto, a menudo usamos y sustituimos indistintamente "modo de onda" por "nodo de red". Pero, como cualquier neurona puede encontrar múltiples modos de onda provenientes de cualquier otra neurona, y la sincronización con o sin picos se manifestará como algo que parece una activación anisotrópica dependiendo del origen de las señales que llegan59, nuestro paradigma de red de ondas es capaz de caracterizar mucho actividad cerebral coherente más compleja y sutil y, por lo tanto, muestra posibilidades más ricas en funciones para el "aprendizaje" y la formación de la memoria.

Los ejemplos de prueba basados ​​en nuestros algoritmos inspirados en WETCOW muestran un rendimiento y una precisión excelentes y se puede esperar que sean resistentes al olvido catastrófico; demostrarán detección, aprendizaje, toma de decisiones y predicción en tiempo real. Debido a una sincronización de picos muy eficiente, rápida, robusta y muy precisa, los algoritmos basados ​​en WETCOW son capaces de responder a condiciones novedosas, inciertas y que cambian rápidamente en tiempo real, y permitirán decisiones apropiadas basadas en pequeñas cantidades de datos en poco tiempo. horizontes. Estos algoritmos pueden incluir la cuantificación de la incertidumbre para datos de gran escasez, gran tamaño, modalidades mixtas y distribuciones diversas, y superarán los límites de la generalización fuera de la distribución.

Se supone que el modelo WETCOW captura varios fenómenos de memoria diferentes. De una manera no matemática se puede describir como

Codificación crítica: el modelo WETCOW muestra cómo osciladores independientes en una red heterogénea con diferentes parámetros forman un estado coherente (memoria) como resultado de la sincronización crítica.

Velocidad de sincronización: el modelo WETCOW muestra que debido al trabajo coordinado de acoplamiento de amplitud-fase, este proceso de sincronización es significativamente más rápido que la formación de memoria en la red de neuronas de integración y activación.

Capacidad de almacenamiento: el modelo WETCOW muestra que se puede formar un estado de memoria coherente con parámetros de codificación predichos con tan solo dos nodos, lo que potencialmente permite un aumento significativo de la capacidad de la memoria en comparación con el paradigma tradicional de picos.

Eficiencia del aprendizaje: el modelo WETCOW muestra que el procesamiento de nueva información mediante la sincronización de parámetros de red en un rango casi crítico permite un desarrollo natural de una memoria continua de tipo alumno representativa del procesamiento del conocimiento humano.

Robustez de la memoria: el modelo WETCOW muestra que el estado de la memoria formado en una red no plana críticamente sincronizada es potencialmente más estable, propenso al aprendizaje continuo y resistente al olvido catastrófico.

Los experimentos que se presentan a continuación están claramente más allá de la capacidad de entrenamiento humano, pero sin embargo representan un muy buen conjunto de pruebas de estrés preliminares para respaldar todas nuestras afirmaciones, desde la codificación crítica hasta la robustez de la memoria. La demostración de que el paso de retropropagación generalmente no es necesario para un muy buen rendimiento del aprendizaje continuo, así como para una pequeña huella de nodos y datos de entrada involucrados en la formación de la memoria, son representativos del aprendizaje humano en pocas oportunidades66,67,68,69 y también son relevantes para los temas más importantes presentados en nuestro artículo.

Un conjunto de derivaciones que conducen a la descripción de WETCOW se presentó en detalle en60,61,62 y se basa en consideraciones que se derivan de la forma más general de actividad electromagnética cerebral expresada por las ecuaciones de Maxwell en un medio no homogéneo y anisotrópico70,71,72.

Usando el potencial electrostático \(\varvec{E}=-\nabla \Psi\), la ley de Ohm \(\varvec{J}=\varvec{\sigma }\cdot \varvec{E}\) (donde \(\ varvec{\sigma }\equiv \{\sigma _{ij}\}\) es un tensor de conductividad anisotrópico), una propiedad electrostática lineal del tejido cerebral \(\varvec{D}=\varepsilon \varvec{E}\) , asumiendo que la permitividad escalar \(\varepsilon\) es una función “buena” (es decir, no va a cero o al infinito en todas partes) y tomando el cambio de variables \(\partial x \rightarrow \varepsilon \partial x^\ prime\), la ecuación de continuidad de carga para la evolución espacio-temporal del potencial \(\Psi\) se puede escribir en términos de un tensor de conductividad escalado por permitividad \(\varvec{\Sigma }=\{\sigma _{ij }/\varepsilon \}\) como

donde hemos incluido un posible término de fuente externa (o forzamiento) \({\mathcal {F}}\). Para los tejidos de fibras cerebrales, el tensor de conductividad \(\varvec{\Sigma }\) podría tener valores significativamente mayores a lo largo de la dirección de las fibras que a lo largo de ellas. La continuidad de carga sin forzar, es decir, (\({\mathcal {F}}=0\)) se puede escribir en notación tensorial como

donde los índices repetidos denotan suma. Análisis de onda lineal simple, es decir, sustitución de \(\Psi \sim \exp {(-i(\varvec{k}\cdot \varvec{r}-\Omega t)})\), donde \(\varvec{k }\) es el número de onda, \(\varvec{r}\) es la coordenada, \(\Omega\) es la frecuencia y t es el tiempo, da la siguiente relación de dispersión compleja:

que se compone de los componentes real e imaginario:

Aunque en esta forma general el potencial electrostático \(\Psi\), así como la relación de dispersión \(D(\Omega ,\varvec{k})\), describen la propagación de ondas tridimensionales, hemos demostrado60, 61 que en En medios anisotrópicos y no homogéneos, algunas direcciones de propagación de ondas son más iguales que otras, con direcciones preferidas determinadas por la compleja interacción del tensor de anisotropía y el gradiente de falta de homogeneidad. Si bien esto es de gran importancia práctica, en particular porque la anisotropía y la falta de homogeneidad pueden estimarse directamente a partir de métodos no invasivos, en aras de la claridad nos centramos aquí en las expresiones escalares unidimensionales para las variables espaciales x y k que pueden generalizarse fácilmente. también para la propagación de ondas multidimensionales.

Según nuestra formulación hamiltoniana no lineal de la teoría WETCOW62, existe un modo de onda anarmónica

donde a es una amplitud de onda compleja y \(a^\dag\) es su conjugada. La amplitud a denota amplitudes del modo de onda temporal \(a_k(t)\) o espacial \(a_\omega (x)\) que están relacionadas con el campo de onda espaciotemporal \(\Psi (x,t)\) a través de a Expansiones integrales de Fourier

donde, en aras de la claridad, utilizamos expresiones escalares unidimensionales para las variables espaciales x y k, pero también se puede generalizar fácilmente para la propagación de ondas multidimensionales. La frecuencia \(\omega\) y el número de onda k de los modos de onda satisfacen la relación de dispersión \(D(\omega ,k)=0\), y \(\omega _k\) y \(k_\omega\ ) denotan la frecuencia y las raíces del número de onda de la relación de dispersión (la estructura de la relación de dispersión y su conexión con las propiedades del tejido cerebral se ha discutido en 60).

El primer término \(\Gamma aa^\dag\) en (6) denota la parte armónica (cuadrática) del hamiltoniano con la frecuencia de valor complejo \(\Gamma =i\omega +\gamma\) o el número de onda \ (\Gamma =ik +\lambda\) que incluyen partes oscilatorias puras (\(\omega\) o k) y posibles tasas de excitación o amortiguación débiles, ya sea temporal \(\gamma\) o espacial \(\lambda\ ). El segundo término anarmónico es cúbico en el orden más bajo de no linealidad y describe las interacciones entre varios modos de onda propagantes y no propagantes, donde \(\alpha\), \(\beta _a\) y \(\beta _{a^\dag) }\) son las fortalezas valoradas complejas de esos diferentes procesos no lineales. Esta teoría se puede extender a una red de modos de onda que interactúan de la forma (6) que se puede describir mediante una forma hamiltoniana de red que describe el espectro discreto de esos modos de onda múltiples como62

donde la amplitud de modo único \(a_n\) nuevamente denota \(a_k\) o \(a_\omega\), \(\varvec{a} \equiv \{a_n\}\) y \(r_{nm} =w_{nm}e^{i\delta _{nm}}\) es la matriz de adyacencia de red compleja con \(w_{nm}\) que proporciona la potencia de acoplamiento y \(\delta _{nm}\) teniendo en cuenta tener en cuenta las posibles diferencias de fase entre los nodos de la red. Esta descripción incluye el acoplamiento de modo tanto de amplitud \(\Re (a)\) como de fase \(\Im (a)\) y, como se muestra en 62, permite un comportamiento de sincronización significativamente único diferente de ambas redes de osciladores Kuramoto acoplados en fase 73,74,75 y de redes de unidades neuronales de integración y disparo acopladas en amplitud58, 76, 77.

Entonces, una ecuación para la amplitud oscilatoria no lineal a se puede expresar como una derivada de la forma hamiltoniana

después de eliminar las constantes con una sustitución de \(\beta _{a^\dag }=1/2 {\tilde{\beta }}_{a^\dag }\) y \(\alpha =1/3{ \tilde{\alpha }}\) y soltando la tilde. Observamos que aunque (10) es una ecuación para la evolución temporal, la evolución espacial de las amplitudes modales \(a_\omega (x)\) puede describirse mediante una ecuación similar que sustituye las variables temporales por sus contrapartes espaciales, es decir, \ ((t,\omega,\gamma) \rightarrow (x,k,\lambda)\).

Dividiendo (10) en un par de ecuaciones de amplitud/fase usando \(a=Ae^{i\phi }\) y haciendo algunos reordenamientos, estas ecuaciones se pueden reescribir como70,71,72

donde \(\psi\), \(w^a\) y \(w^\phi\) algunas constantes del modelo.

El período efectivo de activación \({T}_s\) (o su inverso, ya sea la velocidad de disparo 1/\({T}_s\) o la frecuencia de disparo efectiva \(\omega _s = 2\pi /{T} _s\)) se estimó en 70,71,72 como

donde la frecuencia crítica \(\omega _c\) o la tasa de crecimiento crítica \(\gamma _c\) se puede expresar como

dónde

y

Gráfica de la expresión analítica (14) para la frecuencia de picos efectiva \(\omega _s=2\pi /T_s\) (verde) y la frecuencia estimada a partir de soluciones numéricas de (11) y (12) (rojo) con varias inserciones que muestra la solución numérica con el valor indicado del parámetro de criticidad \(c_r = \gamma /\gamma _c\) (en el “Apéndice” se incluyen gráficos detallados de las soluciones numéricas utilizadas para generar inserciones). En la solución numérica solo se varió \(\gamma\) y los parámetros restantes fueron los mismos que los parámetros reportados en 62.

La Figura 1 compara los resultados de un solo nodo (13) a (15) con estimaciones de frecuencia/período pico a pico de simulaciones directas del sistema (11) a (12). Varios insertos muestran formas de solución numérica generadas en el nivel de criticidad correspondiente \(c_r\)

Los resultados de nodo único derivados analíticamente (13) a (15) anteriores se pueden usar directamente para estimar el disparo de redes interconectadas, ya que expresan la tasa de pico en función de la distancia desde la criticidad, y el valor de criticidad se puede expresar a su vez mediante otros parámetros del sistema.

Un conjunto de ecuaciones acopladas para una red de modos múltiples se puede derivar de manera similar al conjunto de modos únicos (11) y (12) tomando una derivada de la forma hamiltoniana de la red (9) y cambiando las variables apropiadamente. Eso da para la amplitud \(A_i\) y la fase \(\phi _i\) un conjunto de ecuaciones acopladas

En el límite de amplitud pequeño (y constante) (\(A_i=\) const), este conjunto de ecuaciones se convierte en un conjunto de osciladores armónicos acoplados en fase con un familiar \(\sin (\phi _j-\phi _i \cdots )\ ) forma de acoplamiento de fases. Pero en su forma general (19) y (20) incluyen también el acoplamiento de amplitudes dependiente de la fase (\(\cos (\phi _j-\phi _i \cdots )\)) que define dinámicamente si la entrada de j a i será juega excitador (\(|\phi _j-\phi _i +\cdots |<\pi /2\)) o inhibidor (\(|\phi _j-\phi _i +\cdots |>\pi /2\)) funciones (esto se suma a cualquier cambio de fase introducido por la red estática atribuida a factores de retardo de fase \(\delta _{ij}\)).

Comencemos con un único modo desconectado que se excita mediante una entrada sensorial. Según la fuerza de la excitación, el modo puede estar en cualquiera de los estados que se muestran en la Fig. 1, con actividad que varía desde oscilaciones de pequeña amplitud en un régimen lineal hasta oscilaciones anarmónicas no lineales y picos con diferentes velocidades (o frecuencias efectivas) en sub- régimen crítico, a una transición única en forma de pico seguida de silencio en un rango supercrítico de excitación. El tipo de actividad está determinado por el parámetro de criticidad \(c_r=(\gamma _0+\gamma _i)/\gamma _c\) donde \(\gamma _c\) depende de los parámetros del sistema (15) y \(\ gamma _0\) determina el nivel de entrada sensorial y \(\gamma _i\) es el nivel de activación de fondo (ya sea excitación o inhibición). Por lo tanto, para cualquier modo i-ésimo arbitrario

Como resultado, el modo i mostrará una oscilación no lineal con una frecuencia efectiva \(\omega _s\)

A continuación asumimos que en lugar de un modo único tenemos alguna red de modos descritos por (11) y (12) donde la excitación sensorial está ausente (\(\gamma _0 = 0\)) y por simplicidad asumimos primero que todos los modos parámetros (\(\gamma _i\), \(\omega _i\),\(\alpha _i\),\(\psi _i\),\(w^a_i\) y \(w^\phi _i \)) son los mismos para todos los modos y solo los parámetros de acoplamiento \(w_{ij}\) y \(\delta _{ij}\) pueden variar. El nivel de excitación medio para la red \(\gamma _1 \equiv \gamma _i\) (\(i=1\ldots N\)) determina el tipo de actividad que estarían operando los modos no conectados y puede ser en cualquiera de los rango lineal, no lineal, subcrítico o supercrítico. Por supuesto, la actividad de los nodos individuales en la red (11) y (12) depende de los detalles del acoplamiento (parámetros \(w_{ij}\) y \(\delta _{ij}\)) y puede ser muy compleja. . Sin embargo, como se mostró en 62, una de las características del sistema acoplado en fase-amplitud (11) y (12), que lo distingue tanto de las redes de osciladores de Kuramoto acoplados en fase como de las redes de neuronas integradas y de disparo acopladas en amplitud (o (en realidad, de cualquier red que se base en la suma de picos generada por neuronas del tipo Hodgkin-Huxley o sus derivaciones), es que incluso para un acoplamiento relativamente débil, la sincronización de algunos modos en la red (11) y (12) puede ocurrir de una manera muy eficiente. manera. Las condiciones para los coeficientes de acoplamiento cuando se realiza este estado sincronizado y cada modo i de la red produce el mismo patrón de actividad que el modo único excitado sensorial, pero sin ninguna excitación externa, se pueden expresar para cada modo i como

Esta es una condición necesaria (pero no suficiente) que muestra que cada camino recurrente a través de la red, es decir, cada bucle de ondas cerebrales que no introduce retrasos de fase distintos de cero, debe generar el mismo nivel de excitación de amplitud.

(Arriba) La amplitud y la fase de un pico subcrítico de modo único. (Medio) El pico de múltiples modos con diferentes frecuencias lineales \(\omega _i\) críticamente sincronizadas a la misma frecuencia de pico efectiva (las unidades son arbitrarias). Los detalles de las formas del frente de onda para cada modo son diferentes, pero la sincronización entre modos es muy fuerte y precisa. (Abajo) La vista ampliada de la parte inicial de la amplitud y fase del modo muestra la eficiencia de la sincronización: la sincronización ocurre incluso más rápido que el período único de oscilaciones lineales.

Incluso para este caso ya excesivamente simplificado de parámetros idénticos, las líneas de investigación actualmente acordadas proceden con aún más simplificaciones y emplean un enfoque de sincronización de fase de amplitud constante (pequeña) (osciladores de Kuramoto), asumiendo que todos \(\delta _{ij}\) son iguales. a \(-\pi /2\) o \(\pi /2\), o use acoplamiento de amplitud (neurona de Hodgkin-Huxley y similares) con \(\delta _{ij}\) igual a 0 (excitatorio) o \(\pi\) (inhibitorio). Ambos casos son extremadamente limitados y no proporcionan un marco para la eficacia, flexibilidad, adaptabilidad y robustez características del funcionamiento del cerebro humano. El acoplamiento de fases sólo es capaz de generar una sincronización muy lenta e ineficiente. El acoplamiento de amplitud es aún menos eficiente ya que ignora por completo los detalles de la fase de la señal entrante, por lo que sólo es capaz de producir una sincronización a nivel de población esporádica e inconsistente.

(Arriba) La amplitud y la fase de un modo único que aumenta en un régimen cercano al crítico. (Medio) El pico de múltiples modos con diferentes frecuencias lineales \(\omega _i\) críticamente sincronizadas a la misma frecuencia de pico efectiva que está cerca de la frecuencia crítica (las unidades son arbitrarias). De manera similar a los picos subcríticos en la Fig. 2, los detalles de las formas del frente de onda para cada modo son diferentes, pero la sincronización de picos entre modos es muy fuerte y precisa. (Abajo) La vista ampliada de la parte inicial de la amplitud y la fase del modo muestra la eficiencia de la sincronización: la sincronización ocurre.

Por supuesto, (26) y (27) se utilizan como una imagen ilustrativa idealizada de la formación de estados de memoria críticamente sincronizados en una red acoplada fase-amplitud (11) y (12). En la práctica, en el cerebro los parámetros de la red (11) y (12), incluidas frecuencias, excitaciones y otros parámetros de un hamiltoniano de modo único (6), pueden ser diferentes entre modos. Pero incluso en este caso, la formación del estado críticamente sincronizado sigue el mismo procedimiento descrito anteriormente, y requiere que para todos los modos las entradas totales a las partes de fase y amplitud (\({\bar{\omega }}_i\) y \( {\bar{\gamma }}_i\)) generan juntos la misma frecuencia efectiva \(\omega _s\) satisfaciendo la relación

dónde

En general, la memoria críticamente sincronizada se puede formar haciendo un bucle desde tan solo dos modos. Por supuesto, esto puede requerir una cantidad demasiado grande de acoplamiento de amplitud y no producirá la flexibilidad y robustez del acoplamiento multimodo con pasos más pequeños de ajuste de los parámetros de acoplamiento amplitud-fase. Las Figuras 2 y 3 muestran dos ejemplos de sincronización de red con frecuencias efectivas que replican la frecuencia efectiva de modo único original sin entrada sensorial. Se mostraron diez modos con los mismos parámetros de \(w_i^a = w_i^\phi = \sqrt{5}\), \(\psi _i = 2\arctan {(1/3)}\), \(\ phi _i^c =\arctan {(1/2)}\), \(w_i = 1/2\) pero con un conjunto de frecuencias distribuidas uniformemente \(\omega _i\), (con una media de 1 y una desviación estándar de 0,58–0,59). El acoplamiento de red \(w_{ij}\) y \(\delta _{ij}\) también se seleccionaron de un rango de valores (de 0 a 0,2 para \(w_{ij}\) y \(-\pi /2\) a \(\pi /2\) para \(\delta _{ij}\)).

(Izquierda) Gráfico esquemático de una red neuronal multicapa típica donde los pesos de las conexiones se muestran variando el ancho de la ruta. (Derecha) Gráfico esquemático de una red neuronal superficial inspirada en WETCOW críticamente sincronizada, donde los factores de ponderación de amplitud se muestran nuevamente mediante anchos de ruta variables, pero un parámetro de fase adicional controla el comportamiento de las rutas recurrentes no planas. La interacción de la sincronización de fase de amplitud, que se muestra por la no planaridad de una red neuronal poco profunda (compuesta por una sola capa de bucles sincronizados), permite cálculos, requisitos de memoria y capacidades de aprendizaje más eficientes que los ARCS profundos de múltiples capas de la IA tradicional. /Redes neuronales ML.

Nuevamente, para el acoplamiento de solo fase (\(\delta _{ij}\) igual a \(-\pi /2\) o \(\pi /2\)) la sincronización es muy ineficiente y solo ocurre como resultado de una aparición de oscilaciones forzadas a frecuencia común en algunas partes de la red o en toda la red dependiendo de los detalles de los parámetros de acoplamiento. El acoplamiento de amplitud de Hodgkin-Huxley y neuronas similares es incluso menos efectivo que el acoplamiento de solo fase, ya que ni siquiera considera la naturaleza oscilatoria y de propagación ondulatoria de las señales por debajo del umbral que contribuyen a la entrada y la generación colectiva de picos de salida. Por lo tanto, las expresiones (28) a (30) no son aplicables a los modelos HH y LIF, ya que esos modelos pierden la información de fase, así como la dependencia de la frecuencia, y la reemplazan por conjuntos ad hoc de umbrales y constantes de tiempo.

Contrariamente a la falta de eficiencia, flexibilidad y robustez demostrada por los enfoques más modernos de sólo fase y amplitud, el modelo de memoria presentado muestra que cuando tanto la fase como la amplitud operan juntas, se produce un comportamiento crítico. El surgimiento del sistema no lineal (9) da lugar a una sincronización eficiente, flexible y robusta característica de la memoria humana, apropiada para cualquier tipo de codificación, ya sea de velocidad o de tiempo.

El modelo de memoria críticamente sincronizado presentado, basado en la teoría de las ondas cerebrales débilmente evanescentes (WETCOW60,61,62), tiene varias propiedades muy importantes. En primer lugar, la presencia de acoplamiento de amplitud \(w_{ij}\) y de fase \(\delta _{ij}\) hace posible construir redes recurrentes efectivas y precisas que no requieren un entrenamiento extenso y que requiera mucho tiempo. . El enfoque estándar de retropropagación puede ser muy costoso en términos de cálculos, requisitos de memoria y gran cantidad de comunicaciones involucradas, por lo que puede no ser adecuado para las limitaciones de hardware de las computadoras y los dispositivos neuromórficos78. Sin embargo, con el modelo basado en WETCOW es fácil construir una pequeña red poco profunda que replicará los picos producidos por cualquier condición de entrada utilizando la interacción del acoplamiento amplitud-fase (19) a (20) y las condiciones analíticas explícitas para la tasa de picos. (13) y (15) en función de la criticidad. Las redes neuronales poco profundas construidas utilizando esas condiciones analíticas dan resultados muy precisos con muy poca cantidad de entrenamiento y muy pocos requisitos de memoria.

En la Fig. 4 se muestra una comparación de un diagrama esquemático para el flujo de trabajo típico de la red neuronal ARCSe multicapa tradicional con un diagrama para la red neuronal poco profunda inspirada en WETCOW críticamente sincronizada. Para la red neuronal ARCSe multicapa tradicional, el diagrama (panel izquierdo ) incluye los pesos de conexión que se aproximan variando el ancho del camino. El diagrama esquemático de la red neuronal superficial inspirada en WETCOW críticamente sincronizada, además de los factores de ponderación de amplitud (que nuevamente se muestran mediante la variación de anchos de ruta recurrentes) tiene un parámetro de fase adicional que se muestra por la no planaridad de las rutas de conexión. La presencia de no planaridad en una red neuronal sincronizada de fase de amplitud (superficial) de una sola capa permite cálculos, requisitos de memoria y capacidades de aprendizaje más eficientes que los ARCS profundos de múltiples capas de las redes neuronales tradicionales de IA/ML.

La no planaridad de la red neuronal poco profunda inspirada en WETCOW críticamente sincronizada que se muestra en la Fig. 4 ilustra y enfatiza otra ventaja importante en comparación con las redes neuronales ARCSe multicapa tradicionales. Es bien sabido que los modelos tradicionales de redes neuronales ARCSe de aprendizaje profundo multicapa sufren el fenómeno del olvido catastrófico: una red neuronal ARCSe profunda, cuidadosamente entrenada y manipulada de un lado a otro para realizar alguna tarea importante, puede perder inesperadamente su capacidad de generalización en este sentido. tarea después de haber realizado capacitación adicional sobre una nueva tarea79,80,81. Esto suele ocurrir porque una nueva tarea anula los pesos anteriores aprendidos en el pasado. Esto significa que el aprendizaje continuo degrada o incluso destruye el rendimiento del modelo para las tareas anteriores. Este es un problema tremendo, lo que significa que la red neuronal profunda tradicional ARCSe representa una muy mala elección para funcionar como un aprendiz continuo, ya que olvida constantemente el conocimiento aprendido previamente al estar expuesto a un bombardeo de nueva información. Dado que cualquier información nueva agregada a la tradicional red neuronal ARCSe de aprendizaje profundo multicapa modifica inevitablemente los pesos de la red confinados al mismo plano y compartidos con todo el conocimiento previamente acumulado producido por un arduo trabajo de entrenamiento, este catastrófico fenómeno de olvido generalmente no es una sorpresa. La no planaridad de la red neuronal superficial inspirada en WETCOW críticamente sincronizada proporciona una forma adicional de codificar nuevos conocimientos con una elección diferente de amplitud de fase fuera del plano, preservando así el conocimiento acumulado previo. Esto hace que el modelo de red neuronal superficial inspirado en WETCOW críticamente sincronizado sea más adecuado para su uso en un escenario de aprendizaje continuo.

Otra ventaja importante de los algoritmos WETCOW es su estabilidad numérica, lo que los hace robustos incluso ante un entrenamiento intensivo. Debido a que el sistema (19) y (20) describe toda la gama de dinámicas, desde oscilaciones lineales hasta picos en una forma perfectamente diferenciable, es perfectamente diferenciable. Por lo tanto, no están sujetos a una de las principales limitaciones de los modelos estándar actuales: la no diferenciabilidad de la no linealidad de los modelos LIF (y similares), cuya derivada es cero en todas partes excepto en \(U = \Theta\), e incluso en \(U=\Theta\) las derivadas no solo son grandes, sino que estrictamente hablando no están definidas.

El rendimiento y la precisión de los enfoques de aprendizaje basados ​​en WETCOW se demuestran fácilmente en dos bases de datos de uso común: MNIST82 y Fashion-MNIST83. Tanto la base de datos MNIST original de dígitos escritos a mano Fig. 5 (arriba) como una base de datos de productos de moda similar a MNIST (conjunto de datos de imágenes de artículos de Zalando diseñado como un reemplazo directo del conjunto de datos MNIST original) Fig. 5 (abajo) contiene 60.000 imágenes de entrenamiento y 10.000 imágenes de prueba. Cada imagen individual es una imagen en escala de grises de \(28\times 28\) píxeles, asociada con una única etiqueta de 10 clases de etiquetas diferentes.

(Arriba) Varias imágenes de ejemplo de la base de datos MNIST de dígitos escritos a mano. (Abajo) Varias imágenes de ejemplo de la base de datos de productos de moda similar a MNIST de las imágenes de artículos de Zalando diseñadas como un reemplazo directo del conjunto de datos MNIST original.

Los resultados de nuestro modelo basado en WETCOW para una red neuronal recurrente superficial aplicada a los dígitos escritos a mano del MNIST Fig. 5 (arriba) y a las imágenes de moda MNIST Fig. 5 (abajo) se resumen en la Tabla 1. En ambos casos, las redes se generaron para \ (7\veces 7\) imágenes reducidas movidas y reescaladas al sistema de referencia común. Para cada uno de los conjuntos de datos, la Tabla 1 muestra dos entradas, la primera corresponde a una construcción inicial de una red recurrente que implica solo una iteración, sin ninguna propagación hacia atrás ni pasos de reentrenamiento. En ambos casos, este paso inicial produce una precisión inicial muy buena, a la par o incluso superando los resultados finales de algunos de los ARCSes profundos84, 85. La segunda entrada para cada conjunto de datos muestra la precisión más alta alcanzada y los tiempos de entrenamiento correspondientes. Ambas entradas confirman que para lograr precisiones superiores a las obtenidas por cualquiera de los ARCS profundos se requieren tiempos de entrenamiento de órdenes de magnitud más pequeños.

Este artículo presenta argumentos y resultados de pruebas que muestran que la teoría de la propagación de ondas en la corteza basada en la física desarrollada recientemente (la teoría de las ondas cerebrales débilmente evanescentes) WETCOW60,61,62 proporciona un marco teórico y computacional con el cual comprender mejor la adaptabilidad, flexibilidad, robustez y eficacia de la memoria humana y, por lo tanto, puede ser fundamental en el desarrollo de nuevos algoritmos de aprendizaje. Esos novedosos algoritmos permiten potencialmente lograr una eficiencia extrema de los datos y una resiliencia adaptativa en entornos dinámicos, característicos de los organismos biológicos. Los ejemplos de prueba basados ​​en nuestros algoritmos inspirados en WETCOW muestran un rendimiento excelente (órdenes de magnitud más rápido que los métodos ARCSe profundos de última generación) y precisión (que superan la precisión de los métodos ARCSe profundos de última generación) y Se puede esperar que sea resistente al olvido catastrófico y demostrará detección, aprendizaje, toma de decisiones y predicción en tiempo real. Debido a una sincronización de picos muy eficiente, rápida, robusta y muy precisa, los algoritmos basados ​​en WETCOW son capaces de responder a condiciones novedosas, inciertas y que cambian rápidamente en tiempo real, y permitirán decisiones bien informadas basadas en pequeñas cantidades de datos durante horizontes temporales cortos. Los algoritmos basados ​​en WETCOW pueden incluir la cuantificación de la incertidumbre para datos de gran escasez, gran tamaño, modalidades mixtas y distribuciones diversas, y ampliarán los límites de la generalización fuera de la distribución.

El artículo presenta ideas sobre cómo extraer principios, no disponibles en los enfoques actuales de redes neuronales, mediante los cuales se produce el aprendizaje biológico a través de procesos dinámicos de ondas que surgen en estructuras neuroanatómicas y, a su vez, proporciona un nuevo marco para el diseño e implementación de ingeniería altamente eficiente y precisa. análogos de aquellos procesos y estructuras que podrían ser fundamentales en el diseño de nuevos circuitos de aprendizaje.

Los conjuntos de datos utilizados y/o analizados durante el estudio actual están disponibles del autor correspondiente previa solicitud razonable.

Hodgkin, AL y Huxley, AF Una descripción cuantitativa de la corriente de membrana y su aplicación a la conducción y excitación en los nervios. J. Physiol. (Londres) 117, 500–544 (1952).

Artículo CAS PubMed Google Scholar

Johnston, D. y Wu, SM-S. Fundamentos de neurofisiología celular (un libro de Bradford) de tapa dura. (Un libro de Bradford, 1994).

Google Académico

Giannari, A. & Astolfi, A. Diseño de modelos para redes de neuronas Hodgkin-Huxley heterogéneas. Neurocomputación 496, 147-157. https://doi.org/10.1016/j.neucom.2022.04.115 (2022).

Artículo de Google Scholar

Strassberg, AF y DeFelice, LJ Limitaciones del formalismo de Hodgkin-Huxley: efectos de la cinética de un solo canal en la dinámica del voltaje transmembrana. Computación neuronal. 5, 843–855 (1993).

Artículo de Google Scholar

Meunier, C. & Segev, I. Hacer de abogado del diablo: ¿Es útil el modelo Hodgkin-Huxley? Tendencias Neurociencias. 25, 558–563 (2002).

Artículo CAS PubMed Google Scholar

Yamazaki, K., Vo-Ho, V.-K., Bulsara, D. & Le, N. Spiking de redes neuronales y sus aplicaciones: una revisión. Ciencia del cerebro. 12, 863 (2022).

Artículo PubMed PubMed Central Google Scholar

Fitzhugh, R. Impulsos y estados fisiológicos en modelos teóricos de membrana nerviosa. Biofísica. J. 1, 445–466 (1961).

Artículo CAS PubMed PubMed Central ADS Google Scholar

Nagumo, J., Arimoto, S. y Yoshizawa, S. Una línea de transmisión de pulso activa que simula el axón nervioso. Proc. IRE 50, 2061–2070. https://doi.org/10.1109/jrproc.1962.288235 (1962).

Artículo de Google Scholar

Morris, C. y Lecar, H. Oscilaciones de voltaje en la fibra muscular gigante de percebe. Biofísica. J. 35, 193–213 (1981).

Artículo CAS PubMed PubMed Central ADS Google Scholar

Izhikevich, EM Modelo simple de activación de neuronas. Traducción IEEE. Red neuronal. 14, 1569-1572 (2003).

Artículo CAS PubMed Google Scholar

Zenke, F. & Ganguli, S. SuperSpike: Aprendizaje supervisado en redes neuronales de picos multicapa. Computación neuronal. 30, 1514-1541 (2018).

Artículo MathSciNet PubMed PubMed Central MATH Google Scholar

Kaiser, J., Mostafa, H. & Neftci, E. Dinámica de plasticidad sináptica para un aprendizaje local profundo y continuo (DECOLLE). Frente. Neurociencias. 14, 424 (2020).

Artículo PubMed PubMed Central Google Scholar

Tavanaei, A., Ghodrati, M., Kheradpisheh, SR, Masquelier, T. y Maida, A. Aprendizaje profundo en redes neuronales con picos. Red neuronal. 111, 47–63 (2019).

Artículo PubMed Google Scholar

Bellec, G. y col. Una solución al dilema del aprendizaje de redes recurrentes de neuronas activas. Nat. Comunitario. 11, 3625 (2020).

Artículo PubMed PubMed Central ADS Google Scholar

Hunsberger, E. y Eliasmith, C. Entrenamiento de redes profundas para hardware neuromórfico. arXiv:1611.05141. https://doi.org/10.13140/RG.2.2.10967.06566 (2016).

Sengupta, A., Ye, Y., Wang, R., Liu, C. y Roy, K. Profundizando en las redes neuronales con picos: VGG y arquitecturas residuales. Frente. Neurociencias. 13, 95 (2019).

Artículo PubMed PubMed Central Google Scholar

Rueckauer, B., Lungu, I.-A., Hu, Y., Pfeiffer, M. y Liu, S.-C. Conversión de redes profundas de valor continuo en redes eficientes impulsadas por eventos para la clasificación de imágenes. Frente. Neurociencias. 11, 682 (2017).

Artículo PubMed PubMed Central Google Scholar

Xu, Q. y col. Modelo jerárquico basado en picos para una clasificación de imágenes eficiente con extracción y codificación de características mejoradas. Traducción IEEE. Red neuronal. Aprender. Sistema. 20, 1–9 (2022).

CAS Google Académico

Shen, J., Zhao, Y., Liu, JK y Wang, Y. HybridSNN: combinación de las fortalezas de las biomáquinas mediante el impulso de redes neuronales adaptativas. Traducción IEEE. Red neuronal. Aprender. Sistema. 20, 1-15 (2021).

Google Académico

Kheradpisheh, SR, Ganjtabesh, M., Thorpe, SJ y Masquelier, T. Redes neuronales convolucionales profundas basadas en Stdp para el reconocimiento de objetos. Red neuronal. 99, 56–67 (2018).

Artículo PubMed Google Scholar

Kim, S., Park, S., Na, B. y Yoon, S. Spiking-yolo: red neuronal de puntas para la detección de objetos con eficiencia energética. Proc. Conferencia AAAI. Artif. Intel. 34, 11270–11277 (2020).

Google Académico

Zhou, S., Chen, Y., Li, X. y Sanyal, A. Detección profunda de objetos en tiempo real basada en scnn para vehículos autónomos que utilizan datos temporales lidar. Acceso IEEE 8, 76903–76912 (2020).

Artículo de Google Scholar

Luo, Y. et al. Siamsnn: red siamesa basada en Spike para seguimiento de objetos en tiempo real y con eficiencia energética. arXiv:2003.07584 (preimpresión de arXiv) (2020).

Bertinetto, L., Valmadre, J., Henriques, JF, Vedaldi, A. & Torr, PH Redes siamesas totalmente convolucionales para seguimiento de objetos. En Talleres de Computer Vision – ECCV 2016: Ámsterdam, Países Bajos, 8 al 10 y 15 al 16 de octubre de 2016, Actas, Parte II 14, 850–865 (Springer, 2016).

Patel, K., Hunsberger, E., Batir, S. y Eliasmith, C. Una red neuronal de picos para la segmentación de imágenes. arXiv:2106.08921 (preimpresión de arXiv) (2021).

Rasmussen, D. Nengodl: Combinación de métodos de modelado neuromórfico y aprendizaje profundo. Neuroinformática 17, 611–628 (2019).

Artículo PubMed Google Scholar

Rostami, A., Vogginger, B., Yan, Y. y Mayr, CG E-prop en SpiNNaker 2: exploración del aprendizaje en línea mediante la activación de RNN en hardware neuromórfico. Frente. Neurociencias. 16, 1018006 (2022).

Artículo PubMed PubMed Central Google Scholar

Müller Cleve, SF et al. Lectura de letras braille: un punto de referencia para el reconocimiento de patrones espacio-temporales en hardware neuromórfico. Frente. Neurociencias. 16, 951164 (2022).

Artículo PubMed PubMed Central Google Scholar

Lee, ST y Bae, JH Investigación de redes neuronales de picos profundos que utilizan diodos Schottky cerrados como dispositivos sinápticos. Micromáquinas (Basilea) 13, 25 (2022).

Google Académico

Paul, A., Tajin, MAS, Das, A., Mongan, WM y Dandekar, KR Detección de anomalías respiratorias con eficiencia energética en recién nacidos prematuros. Electrónica (Basilea) 11, 25 (2022).

Google Académico

Petschenig, H. y col. Clasificación de las desviaciones de Whisker a partir de respuestas evocadas en la corteza somatosensorial del barril con redes neuronales puntiagudas. Frente. Neurociencias. 16, 838054 (2022).

Artículo PubMed PubMed Central Google Scholar

Patino-Saucedo, A., Rostro-Gonzalez, H., Serrano-Gotarredona, T. & Linares-Barranco, B. Máquina de estado líquido en SpiNNaker para tareas de clasificación espacio-temporal. Frente. Neurociencias. 16, 819063 (2022).

Artículo PubMed PubMed Central Google Scholar

Li, K. & Ncipe, JC Procesamiento de señales de pulso de inspiración biológica para inteligencia en el borde. Frente. Artif. Intel. 4, 568384 (2021).

Artículo PubMed PubMed Central Google Scholar

Syed, T., Kakani, V., Cui, X. y Kim, H. Exploración de arquitecturas de redes neuronales de picos optimizadas para tareas de clasificación en plataformas integradas. Sensores (Basilea) 21, 25 (2021).

Artículo de Google Scholar

Fil, J. y Chu, D. Neurona de picos mínimos para resolver tareas de clasificación de etiquetas múltiples. Computación neuronal. 32, 1408-1429 (2020).

Artículo MathSciNet PubMed MATH Google Scholar

Saucedo, A., Rostro-Gonzalez, H., Serrano-Gotarredona, T. & Linares-Barranco, B. Implementación basada en eventos de redes neuronales convolucionales de picos profundos para clasificación supervisada utilizando la plataforma neuromórfica SpiNNaker. Red neuronal. 121, 319–328 (2020).

Artículo de Google Scholar

Liu, G., Deng, W., Xie, X., Huang, L. y Tang, H. Control a nivel humano a través de redes Q de picos profundos entrenadas directamente. Traducción IEEE. Cibern. 20, 20 (2022).

Google Académico

Zhang, M. y col. Función potencial postsináptica lineal rectificada para la retropropagación en redes neuronales de picos profundos. Traducción IEEE. Red neuronal. Aprender. Sistema. 33, 1947-1958 (2022).

Artículo PubMed Google Scholar

Kwon, D. y col. Entrenamiento en chip para estimular redes neuronales mediante retropropagación aproximada con dispositivos sinápticos analógicos. Frente. Neurociencias. 14, 423 (2020).

Artículo PubMed PubMed Central Google Scholar

Lee, J., Zhang, R., Zhang, W., Liu, Y. & Li, P. Alineación de retroalimentación directa a nivel de tren de púas: evitar la propagación hacia atrás para el entrenamiento en chip de redes neuronales de púas. Frente. Neurociencias. 14, 143 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

Meng, Q. y col. Entrenando redes neuronales de picos mucho más profundas con una pequeña cantidad de pasos de tiempo. Neural. Neto. 153, 254–268 (2022).

Artículo PubMed Google Scholar

Chen, Y., Du, J., Liu, Q., Zhang, L. y Zeng, Y. Reconocimiento de expresiones robusto y energéticamente eficiente basado en ResNets profundas mejoradas. Biomédica. Tecnología. (Berl.) 64, 519–528 (2019).

Artículo PubMed Google Scholar

Pfeiffer, M. & Pfeil, T. Aprendizaje profundo con neuronas activas: oportunidades y desafíos. Frente. Neurociencias. 12, 774 (2018).

Artículo PubMed PubMed Central Google Scholar

Estromatias, E. et al. Robustez de conectar Deep Belief Networks al ruido y precisión de bits reducida de plataformas de hardware de inspiración neurológica. Frente. Neurociencias. 9, 222 (2015).

Artículo PubMed PubMed Central Google Scholar

Thiele, JC, Bichler, O. y Dupret, A. Aprendizaje profundo en línea no supervisado, invariante en escala de tiempo y basado en eventos con STDP. Frente. Computadora. Neurociencias. 12, 46 (2018).

Artículo PubMed PubMed Central Google Scholar

Neftci, E., Das, S., Pedroni, B., Kreutz-Delgado, K. y Cauwenberghs, G. Divergencia contrastiva impulsada por eventos para sistemas neuromórficos con picos. Frente. Neurociencias. 7, 272 (2013).

PubMed Google Académico

Kim, Y. & Panda, P. Revisando la normalización por lotes para entrenar redes neuronales de picos profundos de baja latencia desde cero. Frente. Neurociencias. 15, 773954 (2021).

Artículo PubMed PubMed Central Google Scholar

Zou, C. y col. Una red neuronal convolucional de dispersión y recolección en un hardware neuromórfico reconfigurable. Frente. Neurociencias. 15, 694170 (2021).

Artículo PubMed PubMed Central Google Scholar

Liu, F. y col. SSTDP: plasticidad dependiente de la sincronización de picos supervisada para un entrenamiento eficiente de redes neuronales de picos. Frente Neurosci 15, 756876 (2021).

Artículo PubMed PubMed Central Google Scholar

Zhang, L. y col. Una arquitectura VLSI rentable y de alta velocidad para aumentar la inferencia de redes neuronales convolucionales utilizando mapas de picos binarios de pasos de tiempo. Sensores (Basilea) 21, 25 (2021).

Anuncios de CAS Google Scholar

Zhan, Q., Liu, G., Xie, X., Sun, G. y Tang, H. Algoritmo de aprendizaje por transferencia eficaz en redes neuronales con picos. Traducción IEEE. Cibern. 52, 13323–13335 (2022).

Artículo PubMed Google Scholar

Detorakis, G. y col. Transceptor de matriz neuronal y sináptica: un marco informático inspirado en el cerebro para el aprendizaje integrado. Frente. Neurociencias. 12, 583 (2018).

Artículo PubMed PubMed Central Google Scholar

Guo, W., Fouda, ME, Yantir, HE, Eltawil, AM y Salama, KN Poda de peso adaptativa no supervisada para sistemas neuromórficos energéticamente eficientes. Frente. Neurociencias. 14, 598876 (2020).

Artículo PubMed PubMed Central Google Scholar

Miranda, EJ Memristores para circuitos neuromórficos y aplicaciones de inteligencia artificial. Materiales (Basilea) 13, 25 (2020).

Artículo de Google Scholar

Gale, EM Computación neuromórfica con memristores puntiagudos: habituación, creación de instancias experimentales de puertas lógicas y un nuevo modelo de perceptrón sensible a secuencias. Discusión de Faraday 213, 521–551 (2019).

Artículo CAS PubMed ADS Google Scholar

Esser, SK y cols. Redes convolucionales para computación neuromórfica rápida y energéticamente eficiente. Proc. Nacional. Acad. Ciencia. Estados Unidos 113, 11441–11446 (2016).

Artículo CAS PubMed PubMed Central ADS Google Scholar

Davidson, S. & Furber, SB Comparación de redes neuronales artificiales y de picos en hardware digital. Frente. Neurociencias. 15, 651141 (2021).

Artículo PubMed PubMed Central Google Scholar

Gerstner, W., Kistler, WM, Naud, R. & Paninski, L. Dinámica neuronal: de neuronas individuales a redes y modelos de cognición (Cambridge University Press, 2014).

Reservar Google Académico

Sardi, S., Vardi, R., Sheinin, A., Goldental, A. y Kanter, I. Nuevos tipos de experimentos revelan que una neurona funciona como múltiples unidades de umbral independientes. Ciencia. Rep. 7, 18036 (2017).

Artículo PubMed PubMed Central ADS Google Scholar

Galinsky, VL y Frank, LR Teoría universal de las ondas cerebrales: desde bucles lineales hasta picos sincronizados no lineales y ritmos cerebrales colectivos. Física. Rev. Res. 2(023061), 1–23 (2020).

Google Académico

Galinsky, VL y Frank, LR Ondas cerebrales: aparición de bucles corticales localizados, persistentes y débilmente evanescentes. J. Cogni. Neurociencias. 32, 2178–2202 (2020).

Artículo de Google Scholar

Galinsky, VL y Frank, LR Picos sincrónicos colectivos en una red cerebral de osciladores no lineales acoplados. Física. Rev. Lett. 126, 158102. https://doi.org/10.1103/PhysRevLett.126.158102 (2021).

Artículo MathSciNet CAS PubMed PubMed Central ADS Google Scholar

Seth, AK y Bayne, T. Teorías de la conciencia. Nat. Rev. Neurociencias. 23, 439–452 (2022).

Artículo CAS PubMed Google Scholar

Humeau, Y. & Choquet, D. La próxima generación de enfoques para investigar el vínculo entre la plasticidad sináptica y el aprendizaje. Nat. Neurociencias. 22, 1536-1543 (2019).

Artículo CAS PubMed Google Scholar

Miller, SM & Sahay, A. Funciones de las neuronas adultas en la indexación e interferencia de la memoria del hipocampo. Nat. Neurociencias. 22, 1565-1575 (2019).

Artículo CAS PubMed PubMed Central Google Scholar

Feng, S. y Duarte, MF Reconocimiento de la actividad humana basado en el aprendizaje de pocas posibilidades. Sistema experto. Aplica. 138, 112782. https://doi.org/10.1016/j.eswa.2019.06.070 (2019).

Artículo de Google Scholar

Wang, Y., Yao, Q., Kwok, JT y Ni, LM Generalizando a partir de algunos ejemplos. Computación ACM. Sobrevivir. 53, 1–34. https://doi.org/10.1145/3386252 (2020).

Artículo de Google Scholar

Drori, I. et al. Una red neuronal resuelve, explica y genera problemas matemáticos universitarios mediante síntesis de programas y aprendizaje de pocas posibilidades a nivel humano. Proc. Nacional. Acad. Ciencia.https://doi.org/10.1073/pnas.2123433119 (2022).

Artículo PubMed PubMed Central Google Scholar

Walsh, R., Abdelpakey, MH, Shehata, MS y Mohamed, MM Clasificación automatizada de células humanas en conjuntos de datos dispersos mediante aprendizaje de pocas tomas. Ciencia. Rep. 12, 2924 (2022).

Artículo CAS PubMed PubMed Central ADS Google Scholar

Galinsky, VL y Frank, LR Dinámica de ondas cerebrales críticas de avalanchas neuronales. Frente. Física.https://doi.org/10.3389/fphy.2023.1138643 (2023).

Artículo de Google Scholar

Galinsky, VL & Frank, LR Avalanchas neuronales: ¿montones de arena de criticidad autoorganizada o dinámica crítica de ondas cerebrales?. Frente. Física. 18, 45301. https://doi.org/10.1007/s11467-023-1273-7 (2023).

Artículo de Google Scholar

Galinsky, VL & Frank, LR Avalanchas neuronales y dinámica crítica de las ondas cerebrales. arXiv:2111.07479 (eprint) (2021).

Kuramoto, Y. Autoarrastre de una población de osciladores no lineales acoplados. En Problemas matemáticos en física teórica, vol 39 de Lecture Notes in Physics (ed. Araki, H.) 420–422 (Springer, Berlín, 1975). https://doi.org/10.1007/BFb0013365.

Capítulo Google Scholar

Kuramoto, Y. & Battogtokh, D. Coexistencia de coherencia e incoherencia en osciladores de fase acoplados no localmente. Fenómeno no lineal. Sistema complejo. 5, 380–385 (2002).

Google Académico

Kuramoto, Y. Métodos de reducción aplicados a sistemas de osciladores no acoplados localmente. En Dinámica no lineal y caos: ¿hacia dónde vamos a partir de aquí? (eds Hogan, J. et al.) 209–227 (CRC Press, 2002).

Google Académico

Kulkarni, A., Ranft, J. & Hakim, V. Sincronización, estocasticidad y ondas de fase en redes neuronales con conectividad espacialmente estructurada. Frente. Computadora. Neurociencias. 14, 569644 (2020).

Artículo PubMed PubMed Central Google Scholar

Kim, R. y Sejnowski, TJ Una fuerte señalización inhibidora subyace a la dinámica temporal estable y a la memoria de trabajo en las redes neuronales activas. Nat. Neurociencias. 24, 129-139 (2021).

Artículo CAS PubMed Google Scholar

Neftci, EO, Mostafa, H. & Zenke, F. Aprendizaje de gradiente sustituto en redes neuronales con picos: llevar el poder de la optimización basada en gradientes a las redes neuronales con picos. Proceso de señal IEEE. revista 36, 51–63 (2019).

Artículo de Google Scholar

Kirkpatrick, J. y col. Superar el olvido catastrófico en las redes neuronales. Proc. Nacional. Acad. Ciencia. Estados Unidos 114, 3521–3526 (2017).

Artículo MathSciNet CAS PubMed PubMed Central MATH ADS Google Scholar

Kemker, R., McClure, M., Abitino, A., Hayes, T. y Kanan, C. Medición del olvido catastrófico en redes neuronales (2017). arXiv:1708.02072.

Ramasesh, VV, Dyer, E. & Raghu, M. Anatomía del olvido catastrófico: representaciones ocultas y semántica de tareas (2020). arXiv:2007.07400.

LeCun, Y., Cortes, C. & Burges, C. Base de datos de dígitos escritos a mano de Mnist. Laboratorios ATT [en línea]. http://yann.lecun.com/exdb/mnist2 (2010).

Xiao, H., Rasul, K. & Vollgraf, R. Fashion-mnist: un nuevo conjunto de datos de imágenes para comparar algoritmos de aprendizaje automático (2017). arXiv:1708.07747 [cs.LG].

Xiao, H., Rasul, K. & Vollgraf, R. Una base de datos de productos de moda tipo mnist. Punto de referencia: Github. https://github.com/zalandoresearch/fashion-mnist (2022). Consultado el 21 de mayo de 2022.

Base de datos MNIST. Base de datos Mnist: Wikipedia, la enciclopedia libre (2022). Consultado el 31 de julio de 2022.

Descargar referencias

LRF y VLG contaron con el apoyo de NIH Grant R01 AG054049.

Centro de Computación Científica en Imágenes, Universidad de California en San Diego, La Jolla, CA, 92037-0854, EE. UU.

Vitaly L. Galinsky y Lawrence R. Frank

Centro de resonancia magnética funcional, Universidad de California en San Diego, La Jolla, CA, 92037-0677, EE. UU.

Lorenzo R. Frank

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

VG y LF escribieron el texto principal del manuscrito. Todos los autores revisaron el manuscrito.

Correspondencia a Vitaly L. Galinsky.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Véanse las figuras. 6, 7, 8, 9, 10, 11, 12 y 13.

La amplitud y fase de un modo único para \(c_r=0.125\).

La amplitud y fase de un modo único para \(c_r=0.25\).

La amplitud y fase de un modo único para \(c_r=0.5\).

La amplitud y fase de un solo modo para \(c_r=0.75\).

La amplitud y fase de un solo modo para \(c_r=0.945\).

La amplitud y fase de un solo modo para \(c_r=0.99\).

La amplitud y fase de un solo modo para \(c_r=0.995\).

La amplitud y fase de un modo único para \(c_r=0.9975\).

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Galinsky, VL, Frank, LR Las ondas cerebrales críticamente sincronizadas forman una base eficaz, sólida y flexible para la memoria y el aprendizaje humanos. Representante científico 13, 4343 (2023). https://doi.org/10.1038/s41598-023-31365-6

Descargar cita

Recibido: 11 de enero de 2023

Aceptado: 10 de marzo de 2023

Publicado: 16 de marzo de 2023

DOI: https://doi.org/10.1038/s41598-023-31365-6

Cualquier persona con la que comparta el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.