From Real Neurons To Perceptrons

Jacob Schroder

Überblick Die Modellierung eines echten biologischen Neuron

Die bio-chemische elektrische Eigenscaften eines Neuron Wie diese Eigenschaften sich modellieren lassen

Fazit: Perceptron != Neuron Frage: Gibt es eine Biologische Analogie von

Perceptrons? Populationmodellierung von Neuronen Fazit: Wie Populationmodellierung ähnlich wie

Perceptrons ist

Die Zellmembran

• Elektrische Eigenscaften eines Neuron– Zellmembran ist eine 3-4 nm

dichte Lipid-doppelschicht

– Die Membran ist der Schlüssel zu den interessanten elektrischen Eigenschaften eines Neuron

Die Membran II• Die Membran ist undurchlässig für die meisten

Ions– Diese Isolierungseigenschaft impliziert dass die

Membran wie ein Kondensator funktionert – Ionkanäle lassen Ions zu über die Membran zu gehen

• Membrankapazitanz • Membranpotential ist dann variabel

• Der Gliechgewichtpunkt einens Neurons

• Normaleweise wenn ein Neuron inaktiv ist hat das Neuron eine negative Ladung

Elektrische Werte eines Neuron

– Membrankapazität = Cm

• Spezifische Membrankapazität cm = Cm /A

– Membranpotential = V

– Membranwiderstand = Rm

• Spezifische Membranwiderstand rm = Rm /A

– Membranzeitkonstante = m = RmCm

Variabeles Membranpotential

•

– Wieviel Strom ist erforderlich um Membranpotential zu einer gegebenen Rate zu ändern

– dQ/dt = eingehender Strom

• Was kann das Membranpotential ändern?– Diffusion– Äusserer eingehender Strom– Synapses – Ionkanäle abhängig von Elektrischer Spannung

dt

dQ

dt

dVCm 1.1

Welche Kräfte Sind an Die Bewegung von Ions Beteiligt

• Diffusion

• Der Unterschied zwischen der Ladung innerhalb des Neuron und ausserhalb des Neuron

• -[Membranpotentials] ziehen +Ions in dem Neuron, und stossen -Ions aus dem Neuron ab

• Konzentration differences – Na+ und Ca+2 sind konzentrierter draussen und K+

konzentrierter drinnen

• Ionpumps: Na/K ist am wichtigsten; gibt’s andere

Modellierung von Membrandiffusion

• Gleichgewichtpotential, E, ist sehr wichtig für die Modellierung von Diffusion– Das Berechnen dieses Werts ist wie wir Diffusion

modellieren werden

• Zwei Kräfte sind an die Bewegung von Ions in Diffusion beteiligt1. Konzentrationgradient

2. Kraftbarriere wegen der Membranpotential

Kraftwerte für Ions

• Einerseits: Gegeben R als die universale Gaskonstante und eine normale Temperatur hat ein Mol Ions RT Kraft

• Anderseits: Ist die thermische Kraft von einem Mol Ions = die Kraft verloren oder zugenommen wann ein Mol Ions über die Membran geht = FVT – F ist die Faradaykonstante und ist definiert als (Avagodros

Number) * (Die Ladung eines Protons)

– VT ist das Potential über die Membran

• FVT = RT ergibt, F

RTVT 2.1

Membrandiffusion II• Wahrscheinlichkeit dass ein Ion innerhalb der Zelle die

Kraft hat um die Kraftbarriere zu überschreiten– Gegeben dass eine positive Ion die Ladung, zq, hat und dass V

negativ ist• q ist die Ladung eines Protons und z ist variabel

=> dass ein Ion die thermische Energie von -zqV haben muss um die Membran zu überschreiten

=> dass die Wahrscheinlichkeit dass ein Ion diese Kraft hat wenn die Temperatur T ist, = exp(zqV/kBT)

• kB ist die Boltzmann Konstante

– Diese Wahrscheinlichkeit ist in Molgewicht

exp(zFV/RT) = exp(zV/VT)

Membrandiffusion III• [inside] = Ionkonzentration innerhalb der Zelle

– Die Rate dafür Ions aus der Zelle fliessen ist proportional zu [inside]*Boltzmann-Konstante

• [outside] = Ionkonzentration ausserhalb der Zelle– Die Rate dafür Ions in die Zelle fliessen ist proportional zu

[outside]

=>– Sei E das Membranpotential die die Gleichung erfüllt

• 5.3 nach E aufgelöst ergibt

– V wird zum E oder Umkehrungpotential hingezogen

)/exp(][][ TVzEinsideoutside

][

][ln

inside

outside

z

VE T 3.1

• Man kann E für individuelle Ions berechnen – Vereinfachung: wir benutzen nur ein E das nur einen

durchschnittlichen Wert für alle Ions representiert

=> Kapazität durchschnittlicher Wert für alle Ionkanäle

• Ein Ions E zieht V zu seinem E hin– Wenn V > E fliesst positiver Strom ausser dem Neuron– Wenn V < E fliesst positiver Strom im Neuron ein– E von Na+ and Ca+2 ist +, und depolarisiert ein Neuron– E von K+ ist -, und hyperpolarisiert ein Neuron

• Während eines Aktionpotential – Depolarisieren Na+ und Ca +2 das Neuron und danach K+

hyperpolarisiert das Neuron

Membranstrom = Im

• Im = der gesamte Strom der über die Membran fliesst– Einschliesslich Ionkanäle und äusserer Input

• im = Im/A

– Spezifischer Membranstrom

•

– gi ist der spezifische Leitwert je Flächeneinheit für eine (oder mehrere) Art Ionkanal, i

i

iim EVgi )( 4.1

Single Compartment Model(Einzelabteil-Modell)

• Modellierung von elektrotonik kompakten Neuronen– Elektrotonik kompakt heisst ein Neuron das ein relativ

gleichmässiges Membranpotential hat

• Modell ist eine Vereinfachung – Ignoriert Synapses und Ionkanäle abhängig von

Elektrischer Spannung– Intrazellularwiderstand kann grosse Unterschiede in der

Membranpotential verursachen

• Einzelabteil Modell kann doch sehr nützlich sein

Das Modell

• Nochmal,

– Beschreibt das wesentliche Beziehung für Änderungen im Membranpotential

• Geteilt durch A,

dt

dQ

dt

dVCm

A

Ii

dt

dVc

e

mm

1.1

5.1

Integrate and Fire Modell

• Erweiterung des Einzelabteil-Modell– Neuron kann ein Aktionpotential feuern– Aktionpotential ist wann

1. V folgt eine “rapid stereotyped Trajectory”

2. V kehrt zu einem Wert zurürck der hyperpolorisiert relativ zu dem Schwellwert ist

• Der gesamte Membranleitwert wird als einen

einzelnen Wert, gL, modelliert

• Wann V Vth dann feuer!

– Nach dem Feuern, V = Vreset, wo Vreset < Vth

)( LLm EVgi

Das Modell

•

• Wesentliche Integrate and Fire Gleichung ist 1.6*rm

– Widerstand = 1/Leitwert, d.h.

– rm/A = Rm

Lm gr /1

A

IEVg

dt

dVc e

LLm )(

emLm IRVEdt

dV

6.1

7.1

Das Passiv oder Leaky Integrate and Fire Neuron

• Modelliert unterhalb dem Schwellwert Membranpotentials für manche Neuronen sehr gut

• Das Neuron benimmt sich wie ein Kondensator und ein Drahtwiderstand die parallel sind

Feuerfestigkeit – “Refractoriness”• Grundlegende Eigenschaft von echten Neuronen

• Leichte Lösung - Ein Neuron darf nicht für eine bestimmte Zeit nach einem Aktionpotential feuern

• Eine realistischere Lösung ist die Hinzufügung von einem neuen Leitwert

– Gleichung 5.8 mit einem neuen Strom, gsra

– Wann ein Neuron feuert: gsra => gsra + Δgsra, Δgsra gross

– Neuron zum Δgsra für eine Zeitkonstante befestigt

– gsra ist von einem K+ Leitwert modelliert

emKsramLm IREVgrVEdt

dV )( 8.1

Cabel Equation (die Kabelgleichung) • Die Modelleriung von Dendrits und Axons

– Diese neuronalen Strukturen sind normaleweise dunn genug dass wir die radiale Ekkeften auf dem Strom ignorieren können weil sie unbedeutend im Vergleich mit den entlanglaufenden Effekten sind

• Dendrits und Axons benehmen sich wie ein Koaxialkabel

• Ladung in den Dendrits und Axons sind eine Funktion, V(x,t), von Längsposition und Zeit– x ist die Längskoordinate und t ist Zeit– Einfliessender Strom ist positive und ausfliessender

Strom ist negativ

Das Modell• Ziel: Änderungsrate für das Membranpotential

• Erst berechnen wir IL, entlanglaufender Strom

• Längswiderstand ist

• ΔV= - RLIL

– Beziehung zwischen ΔV und RL kommt von Ohmsches Gesetz

• Impliziert

• Nach IL aufgelöst & den Grenzwert für x gegen 0 ergibt

)/( 2axIrV LL

x

V

r

aIxrVaI

LL

xLL

2

0

2lim)/(

)/( 2axrR LL

9.1

10.1

Modell II• Die Änderungsrate von V hängt von der Kapazität

ab– Die Menge von erforderlichem Strom um V zu einer

bestimmten Rate zu ändern ist

• Für die gesamte Kablegleichung brauchen wir eine Gleichung die beschreibt wie die verschiedenen ein/ausfliessenden Ströme und entlanglaufende Ströme das Differential von V beeinflussen

tVxca m /2

Alles Zusammen!

• Die verschiedenen Ströme die Membranpotential ändern können wird in dieser Graphik gezeigt

• Die Ströme vom Diagramm addiert ergibt

• Vereinfachung von 2 Termen; geteilt durch 2ax

• Die Wesentliche Kabelgleichung

)(2222

em

rightLleftLm iixa

x

V

r

a

x

V

r

a

t

Vxca

x

V

r

a

xx

V

r

a

x

V

r

a

x L

x

leftLrightL

20lim

221

emL

m iix

Va

xart

Vc

2

2

112.1

11.1

Attenuation - Schwächung

– Eine Lösung zur Kabelgleichung mit konstanter Stromspritze auf einem Punkt, 0

• Exponentielle Abschwächung des Signals

• Vermüteter Grund für die biologische Motivation für Spiking

||

exp2

)(xRI

xv e 13.1

Randbedingungen für die Kablegleichung

• Für ein gespaltetes Kabel – Die Potential muss stetig sein: V(x,t) muss in jedem

Teil des Kabels definiert sein so dass wo die Teile des Kabels sich treffen das Ergebnis von V(x,t) für jedes Kabel gleich ist

– Die Summe von entlanglaufendem Strom in jedem Teil des Kabels muss bei dem Verbindungspunk gleich 0 sein

• Sei der Strom nach dem Ende des Kabels einfach gleich 0

Fazit: Perceptron != Neuron Wir haben gesehen

Ein Modell für elektrotonik kompakte neuronale Teilfläche, das Single Compartment Model

Ein Modell für dendritische und axonische Segmente eines Neuron mit der Kabelgleichung

Folgerung ist dass ein Model eines echten Neuron ist unbedingt anders als ein Perceptron

Frage Gibt es eine Biologische Analogie von Perceptrons?

Eine Deterministiche Populationmodellierung von Neuronen Prämisse

Neuronen sind relativ in der Nähe von einander Verbindungen sind willkürlich und dicht

Daraus folgen dass es einen Weg von jedem Neuron zu jedem anderen Neuron gibt, egal wenn dieser Weg durch ein Paar andere Neuronen führt

=> Wir ignorieren die räumliche Aspekte der

Modellierung Alle neuronalen Prozesse sind Interaktionen zwischen

hemmenden und stimulierenden Neuronen, d.h. dass wir nur diese zwei Typen von Neuronen modellieren

Das Modell E(t) = Proportion von stimulierenden Neuronen

die in einer Zeiteinheit ab Zeit, t, feuern I(t) = Proportion von hemmenden Neuronen die

in einer Zeiteinheit ab Zeit, t, feuern E(t) = 0 = I(t) ist der Rühezustand wo nur

Hintergrundaktivität passiert Neuronen sind noch aktiv, d.h. dass ein

negativer Wert einen Abfall von normaler Aktivität bedeutet

Welche Proportion ist Feuerfest? Sei die absolute feuerfeste Periode = r Die Proportion von stimulierenden Neuronen die

feuerfest sind

Proportion von stimulierenden Neuronen die nicht

feuerfest sind

Äquivalente Gleichungen für I(t)

t

rt

dttE ')'(

t

rt

dttE ')'(1

1.2

2.2

Welche Proportion bekommt mindestens Eingabe > Schwellwert?

Erforderlich sind 2 Funktionen Se(x) = Erwartete Proportion von stimulierenden

Neuronen die mindestens Eingabe > Schwellwert bekommen

Si(x) = Erwartete Proportion von hemmenden Neuronen die mindestens Eingabe > Schwellwert bekommen

Genannt “Subpopulation response functions”

Eine typische S(x)

Se(x) und Si(x) müssen sigmoidale Funktionen sein

S ist eine Funktion von dem durchschnittlichen Level der Exzitation

Durchschnittlicher Level der Exzitation eines Neuron

Die Eingabe für S(x)

c1 und c2 sind die durchschnittliche Zahl von stimulierenden und hemmenden Synapsen je Neuron

P(t) ist die äussere Eingabe (t) ist eine Abklingenfunktion, d.h. dass der Level

der Exzitation des Neuron fällt im Zeitablauf ab

I(t) hat eine entsprechende ähnliche Gleichung, aber mit eigenen P(t) und cX

')'()'()'()'( 21 dttPtIctEcttt

3.2

Erste Gruppe von Termen ist die Proportion von Neuronen die nicht feuerfest ist

Zweite Gruppe von Termen ist die Proportion von Neuronen die mindestens Eingabe > Schwellwert

')'()'()'()'(

')'(1)(

21 dttPtIctEcttS

dttEtE

t

e

t

rt

')'()'()'()'(

')'(1)'(

43 dttQtIctEcttS

dttItI

t

i

t

rt

4.2

5.2

Time Coarse Graining Idee - Wir wollen einen durchschnittlichen Wert

für eine Funktion über ein Intervall

Numerische Vereinfachung und glättet kurze

Schwankungen

')'(1

)(

t

st

ttfs

tf

)(')'( tErttEt

st

)(')'()'( tEkttEttt

6.2

7.2

8.2

Die Gleichungen

Nehmen die Taylorentwicklung weil Time Coarse Graining glättet grosse Schwankungen

Benutzen die 2 neuen Vereinfachungen von dem lezten Slide

)()1( 21 tkPIkcEkcSErEdt

Ede

)(''')1(' 43 tQkIckEckSIrIdt

Idi

9.2

10.2

Populationmodellierung und Perceptrons

Die letzte Gleichungen koennen auch in dieser Form ausgedrückt werden

E ist die stimulierende Eingabe I ist die hemmende Eingabe kc1 => a

kc2 => b

P(t), und die feuerfest Periode, (1-rEbar), lassen fallen

bI) aE ( S E- t

E

11.2

Populationmodelierung und Perceptrons II

E and I sind linear Nehmen den Grenzwert für t gegen , und dann

=> Ist eigentlich die Perceptron Gleichung S ist die Ausgabefunktion für einen Perceptron

0 t

E

bI) + aE S( = E 12.2

Kurzfassung

• Neuronen sind sehr komplexe Einheiten– Die Lipid-Doppelschicht bewirkt viele komplexe Effekten

• Ein vereinfachtes Modell, Integrate and Fire Model– Modelliert nur wesentliche Eigenschaften eines Neuron– Kann Kapazität, Potential und Spiking gut modellieren – Nicht ähnlich wie ein Perceptron

• Die Kabelgleichung für Dendrits und Axons– Schlägt eine Antwort zu “Why Neurons Spike” vor

• Populationmodellierung bietet eine biologische Analogie für Perceptrons

Danke für Ihre Aufmerksamkeit

• Quellen1. Cowan, Jack D. and Wilson, Hugh R. Excitatory and

Inhibitory Interactions In Localized Populations of Model Neurons. Biophysical Journal. 1972. Vol. 12.

2. Abbot, L.F. and Dayan, Peter. Theoretical Neuroscience. MIT Press: London, England. 2001. p. 153-217.

Zusätzliche Folien

Spike-Rate Adaptierung• Grundlegende Eigenschaft von echten Neuronen

– Wir brauchen einen detaillierteren Membranstrom

– Gleichung 5.8 mit einem neuen Strom, gsra

– Wann ein Neuron feuert:

gsra => gsra + Δgsra

– gsra ist von einem K + Leitwert modelliert

• Wann es sich activiert, gsra hyperpolisiert das Neuron und dadurch verlangsamt irgendeines Aktionpotential

• gsra fällt für Zeitkonstante, tsra, ab,

emKsramLm IREVgrVEdt

dV )(

srasra

sra gdt

dg

• b ist eine Aufnahme von einem Kortikalneuron mit konstantem Stromsprizte das Spike Rate Adaptierung zeigt

• c ist unseres Modell mit den Werten– rmΔgsra = 0.06, tsra = 100ms, Ek = -70mV

Spike-Rate Adaptierung II

Die Feuerrate • Could eliminate?• Gleichung 5.8 nach V(t) aufgelöst ergibt,

– Gilt nur wenn das Neuron unter den Schwellwert ist und

wenn Ie unabhängig von Zeit ist

• Gegeben dass– t=0, das Neuron gerade feuerte und V = Vreset, und tisi die

Zeit ist wann das nächste Aktionpotential passieren wird

)/exp())0(()( memLemL tIREVIREtV

)/exp()()( misiemLresetemLthisi tIREVIREVtV

Feuerrate II• Nach tisi aufgelöst ergibt,

– Ergibt die “Interspike interval firing rate” für konstant Ie

• Gegeben einen genügend grossen Ie

– Benutzt die lineare Approximation,

ln(1+z) = z, für klein z

1

ln1

thLem

resetLemm

isiisi VEIR

VEIR

tr

)( resetthm

thLemisi VV

VEIRr