Seite 1 von 1

[Projekt] Walnut - eine CPU-fähige KI

Verfasst: 08.02.2023, 12:22
von antisteo
Bild

Unser Gehirn ist ja wie eine Walnuss aufgebaut. Das scheint ein ziemlich effizientes Gebilde zu sein. In jeder Wulst kann die Gehirnwindung selbstständig rechnen und über die Schnittstellen tauscht man sich aus.
Bild

Ich habe das System einfach mal mit fixed-size Matritzen und Reinforced Lerning (RNNs - rekurrente neuronale Netze) nachgebaut und klappt ganz gut:

voller Artikel auf:
https://launix.de/launix/walnut-ai-a-cp ... l-network/

Re: [Projekt] Walnut - eine CPU-fähige KI

Verfasst: 08.02.2023, 15:59
von Jonathan
Ich habs mir mal angeschaut aber nicht verstanden. In traditionellen NNs hat man ja Layers und die sind z.B. fully connect, oder convolutional oder stride convolutions oder auch skip connections zwischen Layern oder Recurrent Neural Networks.. D.h. man hat ja schon einiges an Variationen wie Elemente miteinander verknüpft werden.
Diese Walnuss ist nun, naja, eher verwirrend. Es gibt eine Zeichnung aber nichts was erklärt was genau man da sieht. Zum Verständnis wäre es vermutlich ziemlich gut wenn man mal traditionelle Architekturen und Walnuss-Architekturen direkt gegenüberstellen würde. Es wird ja in beiden Fällen bloß ein großer Haufen linearer Funktionen mit Aktivierungsfunktionen dazwischen sein.

Re: [Projekt] Walnut - eine CPU-fähige KI

Verfasst: 08.02.2023, 22:19
von marcgfx
Spannend wäre es, wenn dein Netz sich weiterentwickeln könnte. Also neue Gabelungen/Vernetzungen dort entstehen wo viel aktivität ist. Ob das jetzt tatsächlich Sinn macht, keine Ahnung, aber sowas ähnliches passiert in unserem Gehirn.

Re: [Projekt] Walnut - eine CPU-fähige KI

Verfasst: 10.02.2023, 16:17
von antisteo
marcgfx hat geschrieben: 08.02.2023, 22:19 Spannend wäre es, wenn dein Netz sich weiterentwickeln könnte. Also neue Gabelungen/Vernetzungen dort entstehen wo viel aktivität ist. Ob das jetzt tatsächlich Sinn macht, keine Ahnung, aber sowas ähnliches passiert in unserem Gehirn.
Unser Hirn ist glaube ich schon komplett fertig vernetzt (zumindest die Zellen stehen fest), aber die Verbindungsbrücken können neu entstehen.

Re: [Projekt] Walnut - eine CPU-fähige KI

Verfasst: 12.02.2023, 10:40
von marcgfx
Hab ein Buch "the brain that changes itself" in dem Beschrieben wird wie sich das Gehirn verändern kann. U.a. mapped das Gehirn auf den Körper, wobei anliegende Körperteile auch im Gehirn zusammenhängen. In einem Experiment wurde einem Affen zwei Finger zusammengenäht, in diesem Fall wurden aus zwei Finger im Gehirn nur noch ein Finger. Nach dem Entfernen der Naht entstanden auch im Gehirn wieder zwei Regionen. Ebenso wurde beobachtet, dass wenn Sachen gelernt werden die entsprechenden Regionen im Gehirn mehr Platz beanspruchen. Spannend ist, dass diese Regionen wieder Schrumpfen wenn etwas perfektioniert wird. Spricht jetzt nicht gegen deine Aussage, dass die Anzahl Zellen fix ist.

Finde deine Struktur sieht rekursiv aus. Aus einem Node könntest du bei viel Aktivität 2 Nodes machen, oder neue Nodes zwischen zwei Nodes einfügen. Finds einfach spannend, aber verstehen tue ich es zu wenig.