Conference PaperPDF Available

DINAMICA DE UNA RED NEURONAL ARTIFICIAL CON FORZAMIENTO PERIODICO

Authors:

Abstract and Figures

En el presente trabajo se expone la importancia del estudio de una Red Neuronal Artificial (RNA) con forzamiento periódico. Los forzamientos periódicos producen cambios en la forma de la dinámica de la red neuronal y al mismo tiempo en su respuesta, para crear esto es necesario establecer la estructura de la red neuronal, por lo que se diseña en particular una red recurrente con dos neuronas representadas de acuerdo al modelo de Hopfield. Se emplea el modelo matemático obtenido de la estructura de la red, y se ilustra la dinámica de la misma.
Content may be subject to copyright.
DINAMICA DE UNA RED NEURONAL ARTIFICIAL CON
FORZAMIENTO PERIODICO
A. Padrón, J. L. Pérez, A. A. Herrera
Centro de Instrumentos - UNAM, Apdo. Postal 70-186, Coyoacán, 04510, México, D.F.
Tel: (525) 622 8608, Fax: (525) 622 8620, e-mail: apadron@aleph.cinstrum.unam.mx
RESUMEN
En el presente trabajo se expone la importancia del estudio de una Red Neuronal
Artificial (RNA) con forzamiento periódico. Los forzamientos periódicos producen
cambios en la forma de la dinámica de la red neuronal y al mismo tiempo en su
respuesta, para crear esto es necesario establecer la estructura de la red
neuronal, por lo que se diseña en particular una red recurrente con dos neuronas
representadas de acuerdo al modelo de Hopfield. Se emplea el modelo
matemático obtenido de la estructura de la red, y se ilustra la dinámica de la
misma.
ABSTRACT
In this paper we present the study of an Artificial Neural Network (ANN) with
periodical strengh. The periodical strengh yield changes in the dinamics of ANN
and in its response. In order to create this we need to stablish the structure of
ANN, hence in particular we design a recurrent neural network with two neurons
represented in accord to Hopfield model. The mathematical model obteined of
ANN structure and its dinamic is illustrated.
1. INTRODUCCION
Existe una gran variedad de sistemas dinámicos que son estudiados realizando un
forzamiento periódico, es decir, aplicar un estimulo al sistema en estudio del tipo
periódico y después analizar su comportamiento dinámico de los elementos
involucrados en el sistema a partir de condiciones iniciales. Las redes neuronales
artificiales son vistas como sistemas dinámicos, las cuales se pueden modelar por
medio de ecuaciones diferenciales. En el presente trabajo se presenta el estudio
de una red de dos neuronas con entrada periódica. Se realiza un análisis de las
circunstancias bajo las cuales se producen dinámicas periódicas en las
respuestas de los elementos de la red, poniendo especial interés en el estudio del
comportamiento de la red neuronal a causa de cambios en la función no lineal de
respuesta. De esta manera se considera a la estructura de la red como constante,
es decir, las interconexiones de cada elemento que forman a la red no cambian.
El potencial de las neuronas en la red neuronal es un procesamiento recurrente
que cobra importancia en su dinámica, esto es la convergencia o estabilidad de la
red. El enfoque de este trabajo es la estabilidad de la red neuronal con
forzamiento periódico.
2. LA ESTRUCTURA DE LA RED NEURONAL
La estructura de la red neuronal artificial que se presenta en este trabajo consta
de dos neuronas, las cuales se establecen de acuerdo al modelo de Hopfield, en
forma recurrente.
Figura 2.1. Estructura de la red.
De acuerdo al modelo Hopfield la dinámica de la RNA para dos neuronas y la
estructura de la figura (2.1), se describe con el siguiente sistema de ecuaciones
diferenciales:
1
11 10 11 1 21 2 2
τ
dm
dt m t m S t w f m t w f m t= + + + +() () ()) ( ( )),
1
(
(2.1)
2
22 20 12 1 22 2 2
τ
dm
dt m t m w f m t w f m t= + + +() ()) ( ( )).
1
(
con,
fi: función de activación, o función característica,
S(t): es una entrada externa al sistema.
La entrada S(t) que está en función del tiempo, es descrita por:
S t E t I t( ) ( ) ( ),=
donde E(t) son las entradas excitadoras de una neurona y las I(t) las entradas
inhíbidoras; las cuales, provienen de otras neuronas o de algún tipo de neuronas
conectadas a receptores, es decir, la entrada S(t) depende de la suma de
entradas tanto E(t) como las de I(t) que se relacionan con los pesos wij de cada
neurona y las entradas xj, como:
S w x
ij j
k
n
=
1
En este caso S la entrada externa es el forzamiento periódico que es un pulso de
amplitud 1.5 y frecuencia 2/π. La ecuación (2.1) es el modelo matemático que
establece la estructura de la RNA. En el modelo se toma en cuenta que
τ
i=1
(constante de integración), m10=0, m20=0 (potenciales de reposo de cada
neurona), y tomando a fi como función activación a la función sigmoíde para
resolver el sistema de ecuaciones diferenciales antes mencionado (ecuación 2.1).
Se muestran para esto las dinámicas de los potenciales de activación de los
elementos de la red, la respuesta de cada neurona y la gráfica paramétrica de
ambos potenciales. Donde se muestran diferentes casos, que son representados
por las trayectorias de los valores de la simulación numérica.
3. FUNCION DE ACTIVACION
Cada elemento de proceso de información (neurona artificial) en el modelo de
Hopfield es representado por dos cantidades; su potencial de activación y su
intervalo de activación. El potencial de activación m(t) varía de acuerdo a la suma
ponderada de sus entradas (S(t)), y su decaimiento exponencial, de acuerdo al
parámetro (
τ
) constante en el modelo y al nivel de reposo del potencial de
activación mi0, mostrado en el sistema de ecuaciones que describen a la RNA.
El intervalo de activación para cada neurona está entonces relacionado con el
potencial de activación como f(m(t);
Θ
), donde
Θ
es un umbral constante y la
función de activación
i
i
ym
f t=( ( )) es la función sigmoíde. La función sigmoíde
representa la forma de la salida o respuesta de cada neurona artificial que es
generalmente determinada por una función diferenciable, no lineal, monótona
creciente y acotada. Esta función de activación se describe matemáticamente por:
(3.1)
recordando que
i
i
ym
f t=( ( )),es para una representación asimétrica (unipolar) y
donde k es una constante positiva o también puede ser una variable la cual
controla la pendiente de la función de activación sigmoíde. Se realizaran varios
cambios en este último parámetro k para realizar la simulación numérica del
modelo matemático de la RNA. Los valores del parámetro k se pueden observar
en la figura (3.1).
Figura 3.1. Función de Activación.
4. DINAMICA DE LA RED
En esta sección se presenta la dinámica de los potenciales y la respuesta de cada
neurona al cambiar la pendiente de la función de activación sigmoíde y tiene un
forzamiento periódico a la entrada. Las condiciones iniciales son (0,0).
Figura 4.1. Potenciales de activación y la respuesta para cada neurona de la RNA cambiando la
pendiente de la sigmoíde, con valores de k iguales a 10, 20, 30 y 40.
Los potenciales en la figura (4.1) muestran su periodicidad, observando que existe
un periodo transitorio hasta que permanecen con una amplitud constante.
5. REPRESENTACION PARAMETRICA.
Las representaciones paramétricas (n1 vs. n2) para cada uno de los casos de la
sección inmediata anterior se muestran en la siguiente figura.
Figura 5.1. Gráficas paramétricas de los potenciales.
De la figura (5.1) se puede observar que conforme aumenta el parámetro k de la
pendiente de la sigmoíde y permaneciendo la entrada a una frecuencia constante,
va apareciendo un pequeño ciclo dentro de otro ciclo. El estado en alto de la señal
de entrada produce el ciclo mayor y el estado bajo produce el ciclo menor. El
cruce en las trayectorias se debe al continuo cambio de estado de la señal de
entrada.
6. CONCLUSIONES
Una característica que se observó en el cambio de la pendiente de la función de
activación sigmoíde es la frecuencia de respuesta de cada neurona, esto se
refleja en la figura (5.1). Cuando k=10, casi no se nota el pequeño ciclo porque la
función de activación es muy suave y a cada neurona no le da tiempo de
responder. Por otro lado cuando la pendiente es k=40, la función de activación
hace que cada neurona responda más rápido, dando como resultado el pequeño
ciclo. Los resultados de este estudio conduce hacia el análisis de la RNA con
forzamiento periódico por medio de variación en la frecuencia de la señal de
entrada, dejando a la función de activación constante, como un estudio posterior.
7. AGRADECIMIENTOS
Este trabajo está patrocinado por DGAPA bajo el contrato IN501094.
8. REFERENCIAS
[1]. J. Hertz and R.G. Palmer, Introduction to theory of neural Computation, (1985).
[2]. W.S. McCulloch and W. Pitts, ‘A logical calculus of ideas immanent in nervous
activity, Bulletin of Mathematical Biophysics’, 5,p.p.115-133.
[3]. D.E. Rumelhart, Parallel Distributed Processing, the PDP research
group,1988.
[4]. A. J. Maren, C. Harston, R. Pap. Handbook of Neural Computing Applications.
[5]. Bart Kosko, Neural Networks and Fuzzy System. (A Dynamical Systems
Approach to Machine Intelligence), 1992.
[6]. A. Cichocki and R. Unbehauen, Neural Networks for Optimization and Signal
Processing. Ed. Wiley, (England, 1993).
[7]. F. Cervantes-Pérez and M. A. Arbib. Stability and parameter dependency
analysis of facilitation tectal column (FTC) model, J. Math. Biol.(1990),29, p.p.1-32.
[8]. Padrón, A., Bautista, M., Modelación de un Sistema Neuronal (integrador con
fugas), Memorias SOMI VIII, Congreso Nacional de Instrumentación, Zac.,
Zac.(México, 1993), p.p. 15-18.
[9]. Padrón, A., Pérez, J.L., Herrera, A., Neurodynamics of Small Artificial Neural
Networks (SANN’s), Sian ka’an, International Conference, The First Joint Mexico-
US, International Workshop on Neural Networks and Neurocontrol, Playa del
Carmen, Q.R., (Mexico, 1995), p.p. 227-244.
[10]. Padrón, A., Pérez, J.L., Desenvolvimiento Dinámico para una Pequeña Red
Neuronal Artificial (PRNA). Memorias SOMI X (Member of IMEKO) Congreso de
Instrumentación, Xal., Ver., (México, 1995), p.p. 54-58.
ResearchGate has not been able to resolve any citations for this publication.
Book
Comprehensive introduction to the neural network models currently under intensive study for computational applications. It also provides coverage of neural network applications in a variety of problems of both theoretical and practical interest.
Article
Mathematical models and computer simulations have been widely used to study the spatio-temporal characteristics of the processing of information carried out by the central nervous system. When trying to show whether or not a neural model accounts for the phenomena under study, if the number of parameters whose values need to be calculated becomes large, then computer simulations alone become very inefficient to define such values. Here, we developed stability and parameter dependency analyses of the mathematical representation of a single facilitation tectal column (FTC) model, to show how by using techniques from non-linear systems theory we can define the ranges of parameter values under which the model would explain the required performance of the neural net model. The benefits of these analyses can be grouped in two parts: first, the advantage of using non-linear systems techniques to analyze, analytically, the dynamics of neural net models; and second, we get a deeper understanding of why the hypotheses embedded in the models yield the appropriate behaviors and what are the critical situations (parametric combinations) under which these behaviors are displayed.
Modelación de un Sistema Neuronal
  • A Padrón
  • M Bautista
Padrón, A., Bautista, M., Modelación de un Sistema Neuronal (integrador con fugas), Memorias SOMI VIII, Congreso Nacional de Instrumentación, Zac., Zac.(México, 1993), p.p. 15-18.
  • A Padrón
  • J L Pérez
  • A Herrera
Padrón, A., Pérez, J.L., Herrera, A., Neurodynamics of Small Artificial Neural Networks (SANN's), Sian ka'an, International Conference, The First Joint Mexico-US, International Workshop on Neural Networks and Neurocontrol, Playa del Carmen, Q.R., (Mexico, 1995), p.p. 227-244.
Desenvolvimiento Dinámico para una Pequeña Red Neuronal Artificial (PRNA)
  • A Padrón
  • J L Pérez
Padrón, A., Pérez, J.L., Desenvolvimiento Dinámico para una Pequeña Red Neuronal Artificial (PRNA). Memorias SOMI X (Member of IMEKO) Congreso de Instrumentación, Xal., Ver., (México, 1995), p.p. 54-58.