ZFX + Developia

real time ray tracing.
real time ray tracing part 2.

Natuerlich, das Event des Jahres (zumindest fuer mich *gg*): Die Google I/O.
Es gibt so viel von dem die "Newsseiten" nicht berichten... vielleicht bin ich auch einfach nur auf den Falschen..

Da ich mich gerade selber mit der Netzwerk/Multiplayer-Lib RakNet beschäftige
und auf der Suche nach guten Tutorials war, möchte ich meine Ergebnisse gerne teilen.

Es existiert auf YouTube ein Channel von Kendoge1234, in dem ausführlich RakNet erklärt wird.
Es bezieht sich in dem Fall auf die Leadwerks-Engine, ist aber allgemein anwendbar.

Wer also Lust auf diese Tutorial-Videos hat, der findet diese hier im Channel.

Minimalism in Game Narrative: Can we say more by talking less?, Paul Andrew Mcgee, Felt Thought, 17.05.2013

[via Making Games]

Maturity, Challenge, Art and Games, Derek Yu, Make Games, 21.05.2013

[via Gamasutra]

Krompression von Sparse Voxel Octrees zu Sparse Voxel Directed Acyclic Graphs. Die Idee ist so naheliegend wie genial: SVOs werden bottom-up minimiert, indem Unterbäume mit gleicher Struktur zu einem verschmolzen werden. Die Struktur ist dabei einfach rekursiv durch die binären Voxelwerte aller enthaltenen Voxel definiert. Der jeweils beschriebene Raum lässt sich ganz normal aus der Baumstruktur rekonstruieren, d.h. gleiche Unterbäume werden beim Traversal quasi implizit an verschiedenen Stellen instantiiert. Das SVDAG-Traversal ist obendrein nicht bedeutend langsamer als bisherige SVO-Traversal-Implementierungen.

Die Idee ist in der Tat naheliegend, aber mir war bisher keine Methode bekannt, wie man effizient identische Strukturen in den Datenmengen finden könnte. Meine Versuche in der Richtung liefen jedesmal darauf hinaus, dass ich schon für kleinste Teilbäume für die Indizierung mehr Speicher brauchte, als ich nachher eingespart habe. Mal schauen, was das Paper dazu sagt.

Das klingt sehr nach der Substruktur-technik, die in der finiten Elemente Analyse benutzt werden Auch hier werden gleiche Bereiche von Steifigkeitsmatrizen einfach wiederverwendet.

Gruß Kimmi

Global Illumination with Radiance Regression Functions
Peiran Ren, Jiaping Wang, Minmin Gong, Stephen Lin, Xin Tong, Baining Guo
SIGGRAPH 2013

Man fittet einfach ein (oder mehrere) neuronale Netze an die indirekte Beleuchtung.


Geht auf einem 200-Rechner-Cluster mit je 2×Quadcore-Xeon-Prozessoren und 16 GB RAM schon in dreieinhalb Stunden. Dafür hat man bei statischer Geometrie für beliebige Lichter und beliebige BRDFs die globale Illumination in Echtzeit sehr gut approximiert.

Wow. Da habe ich mich gerade neulich noch mit Krishty darüber unterhalten, mit welch fantastischem Realismus manche Maler schon lange vor Aufkommen der Computergrafik in ihren Bildern Schattierung, indirekte Beleuchtung und Tonemapping umgesetzt haben; dann in all dem Chaos wieder das entscheidende Ordnungselement nicht gesehen. Zum Glück schaut die Welt mit vielen Augen, und nicht mit allen nur auf den Datenverkehr.

Ja, das finde ich auch ziemlich interessant. Wenn wir uns etwas bildlich vorstellen, wandert diese Vorstellung ja ziemlich weit den visuellen Cortex "hoch", ich meine man konnte vorgestellte Bilder sogar schon rudimentär aus MRI-Scans rekonstruieren. "Neuronales" Rendering oder zumindest eine Art Retusche, wie in diesem Fall, finde ich sehr erforschenswert. BTW neuronale Netze und das Gehirn haben natürlich eher wenig gemeinsam, aber das kann sich ja noch ändern :).

Sorry, aber das ist doch vollkommener Pseudohumbug, welcher von der KI-Community schon in den 70er- und 80er-Jahren propagiert wurde, und direkt in die KI-Winter geführt hat. Neuronale Netze haben nichts mit solchen Dingen wie „Intelligenz“ oder „Geist“ zu tun. Es handelt sich nur um eine Berechnungsvorschrift einer Funktion. Wie immer bei irrationalen Überzeugungssystemen ist der beste Weg, dies zu zeigen, einfach das Problem zu erklären, und analytisch-rational zu untersuchen.

Wir haben also ein Problem, das gelöst werden muss: Es gibt eine hochgeradig nicht-lineare Funktion, an welche wir eine einfach zu berechnende Funktion fitten wollen. Namentlich ist die hochgeradig nicht-lineare Funktion hierbei zufälligerweise die indirekte Beleuchtung unserer Szene. Nun muss man die Funktion, die das Ergebnis unseres Fittings sein soll, irgendwie parametrisieren.

Dazu nehmen wir beispielsweise eine Funktion \($\Phi_{N}^{i}:\mathbb{R}^{n}\times\mathbb{R}^{m}\to\mathbb{R}^{3}$\) der Gestalt\($$\Phi_{N}^{i}(\mathbf{x},\mathbf{w})=w_{i0}^{3}+\sum_{j>0}w_{ij}^{3}\cdot\sigma\Big(w_{j0}^{2}+\sum_{k>0}w_{jk}^{2}\cdot\sigma\big(w_{k0}^{1}+\sum_{l=1}^{9}w_{kl}^{1}x_{l}\big)\Big)$$\)mit\($$\sigma(x)=(1+e^{-x})^{-1}\text{.}$$\)Dabei ist \($\mathbf{x}=(\mathbf{x_{p}},\mathbf{v},\mathbf{l},\mathbf{n},\mathbf{a})$\) ein Parameter-Tupel für eine bestimmte Position in der Welt \($\mathbf{x_{p}}$\), gesehen vom View-Vektor \($\mathbf{v}$\), beleuchtet aus Richtung \($\mathbf{l}$\) mit Normale \($\mathbf{n}$\) und BRDF-Parametern \($\mathbf{a}$\) (im Falle einer Blinn-Phong-BRDF wäre beispielsweise \($\mathbf{a}=(k_{d},k_{s},\alpha)$\) – nach meinem Dafürhalten wäre damit \($n=2+2+2+2+3=11$\), das Paper sagt, es wären mehr; sei es drum). Der zweite Parameter \($\mathbf{w}$\) ist ein Gewichtsvektor, der für das Fitting an die originale Funktion verwendet wird. Aus dem Paper kann man schätzen, dass es ca. 500 Gewichte gibt, d.h. \($m=500$\).

Man macht jetzt also einfach ein Least-Squares-Fitting für jeden Punkt \($\mathbf{x}$\) an die originale Funktion. Moment, was ist die originale Funktion? Genau, sie haben einfach die korrekte globale Illumination mit einem Pathtracer in hundert Jahren vorberechnet; grandios. Also gut, wir haben also Samples \($\mathbf{y}$\) für unsere Zielfunktion an der Stelle \($\mathbf{x}$\), und fitten die Gewichte \($\mathbf{w}$\) unserer Funktion daran: \($$E(\mathbf{w})=\sum_{i}\|\mathbf{y}^{i}-\Phi_{N}(\mathbf{x},\mathbf{w})\|$$\) Das Fitting geht einfach mit der dicken Bertha der nichtlinearen Ausgleichsrechnung, dem Levenberg-Marquardt-Algorithmus. Auch hier versteckt sich kein großer Geist: Das ist einfach das schon aus der Schule bekannte Newton-Verfahren on Steroids.

Jetzt haben wir unsere \($\mathbf{w}$\) gefunden. Diese speichern wir beispielsweise in einer Volumentextur oder einem kd-Tree (jeder kd-Tree-Knoten ist ein \($n$\)-dimensionaler Punkt . Dann können wir die Funktion \($\Phi_{N}^{i}(\mathbf{x},\mathbf{w})$\) oben im Pixel-Shader berechnen.

Nur einmal angenommen, es stecke ein größerer Geist dahinter: Dann wäre das auch bei anderen Funktionsvorschriften der Fall, denn eine Funktionsvorschrift ist einfach eine Berechnungsvorschrift; da drin kann keine von Menschenhand hineingedachte Intelligenz stecken. Also gut, nehmen wir einfach ein paar Gaußfunktionen: \($$\Phi_{N}^{i}(\mathbf{x},\mathbf{w})=\sum_{i=1}^{k}\exp(-\mathbf{x}^{\mathrm{T}}\cdot\mathbf{A}_{k}(\mathbf{w})\cdot\mathbf{x})$$\) Dabei ist \($\exp$\) das Exponential, und \($\mathbf{A}_{k}$\) eine Matrix, welche von den Gewichten abhängt. Als Parameter haben wir dann die Anzahl der Gewichte \($n$\) und den Cutoff \($k$\). Nun schmeißen wir genauso wie zuvor einfach Levenberg-Marquardt drauf, und kriegen unsere Gewichte, und können die abspeichern und die Sachen rendern.

Der Punkt ist doch der: Die Idee des Papers ist von der Wahl der Parametrisierung der zu fittenden Funktion unabhängig. Das ist hierbei etwas, was den Namen „neuronales Netz“ trägt (aber nur eine Berechnungsvorschrift darstellt); es kann aber auch eine Summe von Gaußfunktionen sein, oder etwas ganz anderes. Doch niemand würde einer Summe von Gaußfunktionen irgendwelche Attribute wie „Intelligenz“ zuweisen; so etwas ist einfach nicht für eine Funktion definiert. Dafür dürft ihr euch bei populärwissenschaftlichen Magazinen (mit Journalisten, die nur ihr Brot verdienen wollen, und von der Materie eher wenig Ahnung haben) und den ganzen KI-Heinis bedanken, die in ihren Projektanträge vollkommen unangemessene, hochtrabenden Begriffe verwendet haben, um Gelder einzustreichen (und dann in den
KI-Wintern zu verkacken).

Lasst es mich noch einmal krass sagen: Ihr denkt, da wäre etwas, wo in Wahrheit gar nichts ist.

Ich stimme Dir ja zu, dass KNNs nur entfernt mit biologischen neuronalen Netzen zu tun haben. Allerdings sind soweit ich weiß gerade die ersten Schichten des visuellen Cortex recht gut erforscht und es sind dort eben doch recht einfache mathematisch nachvollziehbare Mechanismen am Werk. Mit Intelligenz muss das ja nichts zu tun haben. Das Neocognitron ist so ein Beispiel für Mustererkennung. Warum sollte es nicht auch KNNs für's Rendering geben, deren Mechanismen sich an Vorgängen im Gehirn orientieren (sofern sich diesbezüglich Erkenntnisse ergeben)? Dort scheint grafische Darstellung jedenfalls recht gut zu klappen :)...

eXile hat geschrieben:[...] Lasst es mich noch einmal krass sagen: Ihr denkt, da wäre etwas, wo in Wahrheit gar nichts ist.

Oder du denkst, da wäre etwas, wo in Wahrheit gar nichts ist? :P Dass Gehirn und neuronale Netze erstmal nicht allzu viel gemeinsam haben, ist klar. Ob im Gehirn nun tatsächlich ein Geist oder Intelligenz wohnt, oder ob das nur der unglaublich komplexen Zusammensetzung geschuldet ist, sei mal dahin gestellt. Auch dass das Vorgehen nicht an neuronale Netze gebunden ist, ist mir durchaus bewusst; das Paper trägt diese ja nicht mal in seinem unaufgeregt vorgehensbezogenen Titel. Unabhängig davon faszinierte mich eigentlich nur die Herangehensweise, auf dieser Ebene Training/Fitting zu betreiben, deren Maßstab mir ein wenig analog zu der Art und Weise erschien, mit der wir uns beim Malen das Aussehen neuer Kompositionen anhand unserer Erfahrung mit unzähligen bereits gesehenen Lichtverhältnissen und Objektkonstellationen rekonstruieren.

So wie so wieder mal schön, wie du die relevanten Grundlagen kompakt und mit der für den magiefreien Nachvollzug erforderlichen Mathematik in einen kurzen Post gepackt hast. :)

Falls ich das recht verstehe: Wir kennen die Render-Gleichung, die stets das korrekte Ergebnis liefert; können sie aber nicht in endlicher Zeit lösen.

Allgemein verbreitet ist, dass man von der Render-Gleichung ausgeht und sie in berechenbare Gefilde presst während sie physikalisch halbwegs nachvollziehbar bleibt.

Der Ansatz mit dem neuronalen Netz ist, eine Gleichung zu finden, die die Render-Gleichung für die bekannten Fälle möglichst gut annähert, ohne sich Wissen über die Physik zunutze zu machen. Dabei könnte was rauskommen, was der Render-Gleichung ähnlich sieht, oder aber auch komplett anders; Hauptsache, es liegt nah am Ergebnis der Render-Gleichung.

Liege ich da halbwegs richtig?

CodingCat hat geschrieben:So wie so wieder mal schön, wie du die relevanten Grundlagen kompakt und mit der für den magiefreien Nachvollzug erforderlichen Mathematik in einen kurzen Post gepackt hast. :)

seconded

Chromanoid hat geschrieben:Warum sollte es nicht auch KNNs für's Rendering geben, deren Mechanismen sich an Vorgängen im Gehirn orientieren (sofern sich diesbezüglich Erkenntnisse ergeben)? Dort scheint grafische Darstellung jedenfalls recht gut zu klappen :)...

Weil wir das Rendering nicht im Kopf machen, sondern die physikalischen Vorgänge in der Natur dies bewirken (wie z.B. hier die indirekte Beleuchtung). Man denkt sich ja nicht „da steht ein Tisch“, und dann generiert das Gehirn eine graphische Vorstellung davon; sondern die Natur schickt dir irgendwelche Photonen auf die Netzhaut, welche dein Gehirn als die Information eines Tisch interpretiert. Vergleiche doch mal die RAW-Bilder einer Kamera mit den Bild, welches dir dein Auge liefert. Das ist der Unterschied, den dein Kopf bewirken könnte.

CodingCat hat geschrieben:Unabhängig davon faszinierte mich eigentlich nur die Herangehensweise, auf dieser Ebene Training/Fitting zu betreiben, deren Maßstab mir ein wenig analog zu der Art und Weise erschien, mit der wir uns beim Malen das Aussehen neuer Kompositionen anhand unserer Erfahrung mit unzähligen bereits gesehenen Lichtverhältnissen und Objektkonstellationen rekonstruieren.

Mmh, ja, der Mensch lernt irgendwie die nichtlineare Beleuchtungsfunktion, da hast du schon recht (sonst könnte man ja keine unrealistischen Bilder von realistischen Photos unterscheiden). Bei mir hat dein Beitrag nur den Neuronale-Netze-Schwabulator-Trigger ausgelöst, vermutlich habe ich leicht überreagiert. ;)

Krishty hat geschrieben:Liege ich da halbwegs richtig?

Ja. Wenn du statt der ganzen Render-Gleichung nur die indirekte Beleuchtung betrachtest (das hatte ich in meinem letzten Beitrag nicht wirklich herausgehoben; die direkte Beleuchtung wird nämlich ganz klassisch mit Punktlichtquellen und VSM berechnet) trifft es das (natürlich unter Weglassung der ganzen Details) ganz gut.

eXile hat geschrieben:

Chromanoid hat geschrieben:Warum sollte es nicht auch KNNs für's Rendering geben, deren Mechanismen sich an Vorgängen im Gehirn orientieren (sofern sich diesbezüglich Erkenntnisse ergeben)? Dort scheint grafische Darstellung jedenfalls recht gut zu klappen :)...

Weil wir das Rendering nicht im Kopf machen, sondern die physikalischen Vorgänge in der Natur dies bewirken (wie z.B. hier die indirekte Beleuchtung). Man denkt sich ja nicht „da steht ein Tisch“, und dann generiert das Gehirn eine graphische Vorstellung davon; sondern die Natur schickt dir irgendwelche Photonen auf die Netzhaut, welche dein Gehirn als die Information eines Tisch interpretiert. Vergleiche doch mal die RAW-Bilder einer Kamera mit den Bild, welches dir dein Auge liefert. Das ist der Unterschied, den dein Kopf bewirken könnte.

Wie Coding Cat schon sagte, wir lernen wie die Umgebung auszusehen hat und können entsprechend real anmutende Bilder malen. Wir träumen von der realen Welt und sehen diese Träume als real anmutende Bilder - wir "rendern" auf Basis von zuvor erlebten Sinneseindrücken. Soweit ich weiß geht man bisher davon aus, dass Träume dem Sehen ähnliche Nervenaktivitäten im visuellen Cortex hervorrufen. Entsprechendes passiert glaube ich auch wenn wir uns etwas vor "unserem inneren Auge" vorstellen. Es gibt dazu einige Paper, die auch immer wieder gern für übertriebene Zeitungsartikel sorgen...

Dass ein KNN Träume hat und diese dann anzeigt ist natürlich absurd und steht einfach dem Prinzip von herkömmlichen KNNs entgegen, aber gewisse physikalische Sachverhalte oder Retusche-Methoden eben nicht exakt zu berechnen, sondern von einem entsprechend trainierten KNN erraten zu lassen finde ich nicht abwegig.

Chasing the Whale: Examining the ethics of free-to-play games, Mike Rose, Gamasutra, 09.07.2013
Eine aufschlussreiche Zusammenstellung von Kommentaren darüber was ein Free-To-Play-Geschäftsmodell so alles anrichten kann.

Why mobile apps are slow - "We’re now at Peak JavaScript. It doesn’t get much faster from here."

Roflkopter, was für eine fantastische Abrechnung. Das mit der Garbage Collection hat mir besonders gut gefallen.

Ray Tracing is the Future and ever will be... - Fast alle Slides zum Siggraph Course sind jetzt online.

One reason we see so many clones? Communication, Lee Perry, Gamasutra, 08.08.2013
Naheliegend dennoch ein bisschen erleuchtend.

Blog: Simon schreibt.: Game Art Tricks, Simon Trümpler
Interessante Auseinandersetzungen mit Game Art Tricks.

Ist das echt?
http://www.prsnlz.me/videos/witchcraft- ... otographs/

Wenn ja, wäre das extremst geil.

antisteo hat geschrieben:Ist das echt?
http://www.prsnlz.me/videos/witchcraft- ... otographs/

Wenn ja, wäre das extremst geil.

Was genau ist daran so toll? Irgendwie finde ich das recht unspektakulär, insbesondere da es meist ja triviale und idR rotationssymmetrische Objekte sind. Selbst eine eigenständige Erkennung von "Quader" und "Zylinder" scheint ja nicht vorhanden zu sein.

[none] hat geschrieben:

antisteo hat geschrieben:Ist das echt?
http://www.prsnlz.me/videos/witchcraft- ... otographs/

Wenn ja, wäre das extremst geil.

Was genau ist daran so toll? Irgendwie finde ich das recht unspektakulär, insbesondere da es meist ja triviale und idR rotationssymmetrische Objekte sind. Selbst eine eigenständige Erkennung von "Quader" und "Zylinder" scheint ja nicht vorhanden zu sein.

Es würde einem das Modellieren von 3D-Objekten aber maßgeblich erleichtern. Man knipst einfach einen Gegenstand, rahmt den ein und ab ins Spiel damit.

antisteo hat geschrieben: Es würde einem das Modellieren von 3D-Objekten aber maßgeblich erleichtern. Man knipst einfach einen Gegenstand, rahmt den ein und ab ins Spiel damit.

Daran wird seit Jahren (tm) geforscht. Es funktioniert so mittel gut. Aber i.d.R. brauchst du mehr als eine Perspektive. Daraus kannst du dann eine Punktwolke extrahieren.

Alles was signifikant mehr kann als das Punktkorrespondenzproblem (möglicherweise in ungeahnter Güte) zu lösen würde ich zum heutigen Zeitpunkt tatsächlich als "Witchcraft" abtun wollen.

antisteo hat geschrieben:Man knipst einfach einen Gegenstand, rahmt den ein und ab ins Spiel damit.

Nur mit einer projizierten Fototextur und ohne wirkliche Kontrolle über die Polygonzahl reicht das vielleicht für Bildmontagen, aber nicht für ein Spiel. Als exportiertes Modell für Quick Prototyping oder Retopo-Basis vielleicht noch bedingt zu gebrauchen. Das wäre demnach eher ein schönes Photoshop-Plugin. Sowas wie PatchMatch und generell 3D ist ja sowieso schon in PSD drin.
Trotzdem ein interessanter Workflow; der Kern des Ganzen ist ja dann im Prinzip nur a) die Objektmatrixerstellung rückwärts aus projizierten, als orthogonal anzusehenden Linien bzw. Ellipsen(-halbachsen) sowie b) die Kantenerkennung entlang eines Mauspfades auf einem geeigneten Foto, sollte sich doch sogar nachbauen lassen, ist also tatsächlich als echt einzustufen, um deine Bedenken aus dem Weg zu räumen :-) Ich schätze da wird noch eine Vorzugsrichtung für die Pfadebene angegeben/ermittelt, denn bei 0:29 könnte die Form ja auch nach rechts statt oben gebogen sein.

RazorX hat geschrieben:SIGGRAPH 2013 Course: Physically Based Shading in Theory and Practice

Grad erst dazugekommen, mal reinzulesen. Gleich die ersten Slides auf der Seite zum Thema "Background: Physics and Math of Shading" fand ich großartig! Damit habe selbst ich das Prinzip verstanden, der ich mich Zeit meines Studiums- und Arbeitslebens um Formeln und Paper herumgedrückt habe.