Mir persönlich zu dick aufgetragen, aber ich brauchte einen hübschen Aufmacher für diesen Artikel ;-)
Hier möchte ich Ansätze zum Rendern des Sternenhimmels diskutieren und die Erfahrungen weitergeben, die ich beim Entwickeln meines eigenen Renderers gemacht habe. Sterne darzustellen hört sich einfach an – bis zu einem natürlichen, realistischen und optisch ansprechenden Ergebnis ist es jedoch ein langer Weg (zumal sich diese Attribute zuweilen widersprechen). Wenn man sich dann nicht nur normales Rendering, sondern High-Quality-Rendering – rendern mit hohem Multisampling und der maximalen Bildqualität im Visier – vornimmt, ist der Weg nicht nur lang, sondern auch steinig.
Es handelt sich bei diesem Artikel um einen theoretischen Überriss. Ein Grund dafür ist, dass der Artikel mit allen Details, Erläuterungen und Quellcodes viel zu lang geworden wäre. Ein anderer Grund ist, dass solche Artikel umso schneller veralten und unbrauchbar werden, je konkreter sie sich auf bestimmte APIs und Codeteile beziehen.
tl;dr – wer nicht wissen will, warum er was tut oder nicht tut, springt zur Schritt-für-Schritt-Anleitung in Kapitel 4.
Demos gibt es hier.
Inhaltsverzeichnis
Der erste Teil befasst sich mit trivialen Ansätzen und mit der Suche nach geeignetem Material. Am Ende werde ich erklären, warum die bisherigen Ansätze nicht zu meiner Zufriedenheit funktionieren – wer schnelle Ergebnisse will, kann das also überspringen.
- 1.1 Was machen wir hier überhaupt?
- 1.2 Texel, Pixel, Sprites?
- 1.3 Sterne sammeln
- 1.4 Sterne sind nicht genug
- 1.5 Alles umsonst?
- 2.1 Das Abtasttheorem
- 2.2 Antialiasing für Punkte und Linien
- 3.1 Dithering gegen Banding
- 3.2 Glare
- 3.3 Tonemapping
- 4.1 Ergebnisse
- 4.2 Schritt-für-Schritt-Anleitung
- 4.3 Sternenliste
- 4.4 Hintergrundbild
1.1 Was machen wir hier überhaupt?
Wenn ich davon spreche, den Sternenhimmel zu rendern, beziehe ich mich ausschließlich auf die Sterne ohne Effekte wie Morgengrauen oder Sonnen- und Mondbahn (diese werden nur kurz am Ende angerissen). Dieser Artikel erklärt das Rendern des Sternenhimmels in seiner puren Form – wie er von einem hohen Berg aus oder im Weltraum sichtbar ist. Das macht ihn für Weltraum-Shooter genauso nützlich wie für Flugsimulatoren oder First-Person-Spiele.
Sterne sind nicht nur für Weltraumspiele oder Spiele, die bei Nacht spielen, wichtig. In großen Höhen können sie am helllichten Tag sichtbar sein und die ersten Sterne schimmern schon während der Dämmerung. Gerade dann können sie eine Bereicherung sein – wenn die Sonne gerade untergeht und ein paar einzelne Sterne schwach am Abendhimmel leuchten wirkt die Szene sofort glaubwürdiger und stimmungsvoller.
Schlecht gerenderte Sterne können genau das Gegenteil bewirken: fehlen die Sterne, sieht der Himmel zu leer und unnatürlich aus. Sind die Sterne zu groß, zu klobig oder zu viele, wirkt der Himmel erdrückend und einengend. Sind sie noch dazu so hell wie Laternen und die Farben zu aufdringlich, wirkt das Ganze geradezu lächerlich dilettantisch.
Darum versuche ich hier möglichst nah an der Realität zu bleiben. Sterne können leicht farbig sein, aber auf keinen Fall zu stark (was, wie wir noch sehen werden, eine Frage des Tonemappings ist). Sie dürfen nicht größer als ein paar Pixel sein (weil sie in Wirklichkeit geradezu verschwindend winzig sind). Es muss viele schwach leuchtende und wenige stark strahlende Sterne geben, wie am tatsächlichen Himmel.
Alle vorgestellten Techniken haben gemein, dass sie auf normalisiertem Raum arbeiten. Das bedeutet: sie funktionieren nur richtig, wenn sich der Betrachter am Nullpunkt befindet und sich nicht bewegt (genau wie eine Skybox). Das kann man erreichen, indem man aus der Transformationsmatrix die Einträge löscht, die für die Verschiebung zuständig sind und den Himmels als erstes Objekt und ohne Tiefeninformation rendert. Für den Betrachter sieht es dann aus, als sei der Himmel unendlich weit entfernt (obwohl er ihm eigentlich bloß überall hinfolgt).
Abbildung 1: Ausschnitt des Nachthimmels in Valves Hit-Shooter Half-Life aus dem Jahr 1998. Man kann erkennen, dass man in die Ecke eines Texture-Cubes blickt, auf welche die Sterne zu zu laufen scheinen. Außerdem wirken die Sterne für diese Auflösung zu groß und wenn man genau hinschaut, kann man die Handbewegung des Künstlers nachvollziehen.
1.2 Texel, Pixel, Sprites?
Fast jedes Spiel hat seine eigene Art, Sterne darzustellen. Vor einem Jahrzehnt waren Texture-Cubes sehr populär (siehe Abb. 1) – das rührte daher, dass zu dieser Zeit meist die ganze Umgebung eines Levels (inklusive Bergen, Wolken, der Sonne und dem Mond) durch Texture-Cubes gerendert wurde und sich Sterne schnell als einzelne Texel darauf auftragen ließen. Diese Methode hat einige Nachteile:
Zum einen reichen einzelne Pixel nicht aus um die Sterne zu rendern, weil die Pixel der Map in Richtung ihrer Ecken verzerrt werden. Um das auszugleichen, muss der Texture-Cube viel höher aufgelöst sein als die Anzeige, was einen recht hohen Speicherverbrauch bedeutet, der mit hohem Dynamikumfang noch steigt.
Weiterhin wirken die Sterne umso klobiger, je weiter man die Bildschirmauflösung steigert – denn während alle anderen Kanten immer schärfer werden, bleiben die Sterne so unscharf wie sie der Texture-Cube hergibt. In auf der Quake-Engine basierenden Spielen, die vor einem Jahrzehnt für weitaus niedrigere Auflösungen als sie heute üblich sind ausgelegt wurden, kann man das deutlich erkennen.
Zuletzt können die Sterne vom Künstler nur schwer frei Hand gesetzt werden weil er daran denken muss, in den Ecken weniger (aber dafür größere) Sterne zu platzieren, damit dort durch die perspektivische Verzerrung keine Ballungen entstehen. Außerdem muss der Cube unbedingt gefiltert werden, damit nichts verpixelt oder verwischt.
Das waren Gründe, mit fortschreitender Auflösung von Texture-Cubes abzurücken. Sterne als einzelne Bildschirmpixel wurden populär – man speicherte die Position und Helligkeit der Sterne in einem Vertex-Buffer und renderte ihn als einen Haufen Pixel fester, von der Perspektive unabhängiger Größe am Himmel (siehe Abb. 2). Diese Methode hat sich im Großen und Ganzen bis heute gehalten, weil sie sehr schnell und speicherschonend ist, die Sterne unabhängig von der Auflösung immer recht scharf sind und sie zudem kaum künstlerische Anforderungen stellt, sondern eine Sternliste schnell selbst generiert oder heruntergeladen werden kann. Der Grund, warum diese Entwicklung an die Auflösung gebunden war: Da die Sterne immer einen Pixel groß waren (bzw. vier viertelhelle Pixel beim Einsatz vom Multisampling) strahlten sie bei niedrigen Auflösungen weitaus stärker als bei hohen. Wenn bei 640x480 Pixeln 1000 Sterne zu sehen waren, wurde es eng zwischen den hellen Pixeln und der Vorteil gegenüber Texture-Cubes verflüchtigte sich.
Auch in meinen Renderer hatte ich mich zuerst für Punktlisten entschieden. Eine Liste mit zufälligen Sternen war schnell generiert – und grauenhaft. Obwohl Sterne jeder Helligkeit vorhanden waren, in der Verteilung keine Muster auftauchten und die Anzahl der Sterne realistisch war, wirkte der Himmel sehr unnatürlich.
Abbildung 2: Ausschnitt des Nachthimmels in Bohemia Interactives Taktik-Shooter Operation Flashpoint aus dem Jahr 2001, einem der ersten Spiele mit einem realistischem Nachthimmel an dem man sich sogar orientieren konnte. (Der Schnappschuss wurde Gamma-korrigiert, weil auch das Spiel gammakorrigiert arbeitet.)
1.3 Sterne sammeln
Der Fehler war eben gerade, dass die Sterne zu gleichverteilt waren – sowohl in Helligkeit als auch in Position. Vom Anblick der Sterne sind wir schwache Haufen, helle Einzelgänger und eine Konzentration entlang der Milchstraße gewohnt. Ich hatte sowieso vor, einen realistischen Sternenhimmel einzubauen, also begab ich mich direkt auf die Suche nach Sternlisten.
Meine erste Anlaufstelle war der Yale Catalog of Bright Stars. Es handelt sich um eine Datensammlung der 9110 Sterne des gesamten Himmels, die man mit bloßem Auge erkennen kann. Jedem Stern liegen Beschreibungen zur Position und zur Erscheinung bei und den Katalog gibt es als kostenlosen Download – für diesen Zweck ideal.
Schwierig ist es dann aber doch, die Daten aus dem Katalog zu verwerten. Zum einen müssen alle unwichtigen Daten herausgefiltert werden – Name, Parallaxe, usw. Das ist nicht so schwer, weil das Format dokumentiert ist (die Dokumentation findet sich auf der Download-Seite); allerdings liegen diese Daten dann im falschen Endian vor und müssen erst geflippt werden. Außerdem sind es physikalische Daten – wer fertige Vektoren und Farben erwartet, irrt. Diese müssen erst aus vier Angaben rekonstruiert werden, nämlich der Deklination, der Rektaszension, der scheinbaren Helligkeit und der Spektralklasse.
Die Position eines Sterns als normalisierter dreidimensionaler Vektor ergibt sich aus seiner Deklination und seiner Rektaszension:
Code: Alles auswählen
x = cos(declination) * sin(rightAscension)
y = sin(declination)
z = cos(declination) * -cos(rightAscension)
Hier möchte ich noch eine Optimierungsmöglichkeit ansprechen: Anstatt Position und Farbe in 32-Bit-Floats zu speichern, kann man auch 16-Bit-Halfs verwenden – am einfachsten durch D3DXFLOAT16 und D3DXFloat32to16Array() (falls man D3D zum rendern benutzt). Bei 9110 Sternen im Katalog halbiert man die Größe des Vertex-Buffers so immerhin von 214 auf 107 KiB. Es schont Speicherplatz und kostet nichts – um Präzisionsverluste muss man sich keine Sorgen machen; Halfs können Sterne noch bis zu Auflösungen von rund 4000 Pixeln (bei 90° Blickfeld) pixelgenau auseinander halten.
Abbildung 3: Der aus einem Panorama erzeugte Texture-Cube mit der Milchstraße. Man beachte, wie kontrastreich er ist – die Textur wird erst im Shader abgedunkelt, um volle Bildqualität zu garantieren. Mehr dazu in der Diskussion zum Dithering.
1.4 Sterne sind nicht genug
Mit echten Sternen sieht der Himmel gleich um ein Vielfaches glaubwürdiger aus, wirkt aber dennoch seltsam steril: Wir sehen am Himmel nicht nur die sichtbaren Sterne, sondern vor allem noch Nebel und Sternhaufen (wie die Milchstraße), welche aus so vielen so schwachen Sternen bestehen, dass sie sich nur als Flecken abzeichnen und es nicht in den Bright Star Catalog schaffen. Das Universum ist zwischen den Sternen halt nicht schwarz, sondern milchig grau mit schwach erkennbaren Mustern.
Also musste ein Hintergrundbild her. Ich musste lange suchen, letztendlich habe ich aber eine Panoramaaufnahme der Milchstraße von überragender Qualität (und unter CC3-Lizenz) gefunden. Die kann man nicht direkt verwenden, das sie in einem anderen Koordinatensystem als die Sternenliste vorliegt – Tools wie HDRShop haben aber eine Rotationsfunktion, mit der sich das ändern lässt. (Eine fertig vortransformierte Textur gibt es in Kapitel 4). Die Transformation vom galaktischen Koordinatensystem der Aufnahme ins Äquatoriale der Sternenkataloge geschieht folgendermaßen:
- 60 ° nach links rotieren (Shift/Wrap in HDRShop – keine Rotation um eine Bildschirmachse)
- Horizontal spiegeln
- Sphärische Rotation um die X-Achse: 62,871664 ° (90 ° minus galaktische Deklination)
- Sphärische Rotation um die Y-Achse: 192,859508 ° (galaktische Rektaszension)
Ich habe mich zwar für die Sterne gegen einen Texture-Cube entschieden - für die groben Schattierungen der Milchstraße u.ä. ist er aber perfekt. Da alles sehr niederfrequent ist, reichen schon 256 Pixel Seitenlänge; siehe Abb. 3 – wer höhere Ansprüche hat (z.B. weil noch Planeten, Nebel o.ä. eingezeichnet werden soll) kann natürlich auch höhere Auflösungen nutzen.
Dieser Texture-Cube muss irgendwo aufgetragen werden; ich suchte mir dazu ein Tetraeder aus (man kann es schnell und einfach on-the-fly im Shader erzeugen). Im Shader an sich nimmt man nur die Richtung des Pixels (da sich der Betrachter relativ zum Himmel immer an der Nullposition befindet, ist die Richtung gleich der Position) und nutzt sie direkt, um die Textur zu adressieren. Nach dem samplen wird sie mit einem Richtwert multipliziert, damit man die Helligkeit des Hintergrundbildes mit der der Sterne abstimmen kann. Weil die Map niedrig aufgelöst ist, kann sie ohne anisotropen Filter gesamplet werden.
Abbildung 4: Das Tetraeder mit der Milchstraßentextur von außerhalb gesehen. Da sich der Betrachter immer in der Mitte befindet, erscheint die Textur für ihn unverzerrt. Eigentlich ist der Himmel – wie auch hier – sehr farbenfroh; dass wir ihn nur in schwarz-weiß sehen liegt daran, dass unser Auge bei solchen geringen Helligkeit kaum Farben wahrnehmen kann.
1.5 Alles umsonst?
Mit Sternen und Milchstraße sieht der Himmel schon ganz gut aus. Allerdings nur, so lange er sich nicht bewegt – als ich meine Sterne das erste Mal in Bewegung sah, war ich regelrecht erschrocken: Das Bild begann furchtbar unruhig zu werden. Obwohl die Sternbewegungen minimal sind, sind sie doch groß genug, um alle paar Zehntelsekunden einen Stern von einem Pixel auf den anderen „überschwappen“ zu lassen. Weil das alle Sterne abwechselnd in ähnliche Richtungen tun, wabert das Bild.
Mein erster Gedanke: Antialiasing! Schnell hinzugeschaltet half es aber nicht, es verlagerte das Problem nur. Die Sterne rutschten nicht mehr von Pixel zu Pixel sondern von Subsample zu Subsample, weshalb ihre Helligkeit nun von Frame zu Frame flackerte. Bei langsamen Mausbewegungen grieselte und rauschte das Bild vor sich hin, und das trotz 8× Multisampling … nichts half.
Testweise fügte ich Motion Blur hinzu: Sterne wurden nicht mehr als Punkte, sondern als Linien zwischen ihrer Position in diesem und dem vorherigen Frame gezeichnet – aber auch das funktionierte nicht wie gewollt. Sterne verschwanden wenn sie sich nicht bewegten. Wenn sie sich bewegten, tauchten kleine Lücken zwischen den Linien der einzelnen Frames auf. Schuld war eine kleine, aber folgenschwere Änderung der D3D-API von Version 9 auf 10, nämlich das Entfernen des Renderstates D3DRS_LASTPIXEL, der dafür sorgte, dass der letzte Pixel einer Linie immer gezeichnet wurde, auch, wenn die Linie Nulllänge besaß. Ohne diesen Renderstate waren Linien von Nulllänge unsichtbar und in der Reihe des Motion Blurs fehlte der letzte Pixel.
Abbildung 5: Ausschnitt des Nachthimmels in Cryteks Ego-Shooter Crysis aus dem Jahr 2007. Man kann erkennen, dass alle Sterne mindestens zwei Pixel groß sind und hell leuchtende Sterne eine Halo besitzen; die Sterne werden also definitiv als Sprites gerendert.
2.1 Das Abtasttheorem
Ursache des Flackerns und Waberns war das Nyquist-Shannon-Abtasttheorem, welches besagt, dass ein Eingangssignal mit mindestens der doppelten Frequenz abgetastet werden muss, um es exakt rekonstruieren zu können. In unserem Fall war das Eingangssignal der Stern, der vom Bildschirm abgetastet wurde um ihn in ein Bildsignal umzuwandeln. Die Frequenz, mit welcher der Bildschirm den Stern abtastete, war ein Pixel (eigentlich höher, wegen des Multisamplings, dessen unregelmäßiges Raster machte das Antialiasing aber durch sein Flackern zunichte). Die Folge dieses Theorems ist: Wollen wir den Stern auf dem Bildschirm rekonstruieren, darf er nicht höherfrequent als zwei Bildschirmpixel sein. Weil Punkte nicht nur horizontal oder vertikal, sondern auch diagonal wandern können, müssen wir das sogar auf zwei Mal (Wurzel aus zwei) Pixel erweitern. Sterne müssen im Durchmesser mindestens 2,8 Pixel groß sein um nicht zu flackern! Interessanterweise ist das beim Rendern von Linien mit Antialiasing ein bekanntes Problem und der Grund dafür, dass es dafür eine separate Einstellung neben dem gewöhnlichen Multisampling gibt. Linien werden dann nämlich nach einer Methode gerendert, die das Abtasttheorem besonders stark zu unterdrücken versucht. Diese Technik kann man sich auch beim Rendern der Sterne zu Nutze machen.
In der ursprünglichen Version des Artikels hatte ich Point-Sprites mit einer Punkttextur vorgeschlagen, um die Sterne zu rendern (wie es auch Crysis tut; siehe Abb. 5). Das ist unter Direct3D 9 noch der einfachste Weg (weil diese API Point-Sprite-Funktionalität implementiert hat – im Gegensatz zu Direct3D 10 und später, wo man sie selber per Geometry-Shader emulieren muss) und liefert akzeptable Resultate. Point Sprites haben allerdings zwei Nachteile:
Zum einen wirken sie recht klobig, wenn sie nicht optimal gefiltert werden – zwar weitaus filigraner als z.B. ein Texture-Cube, aber dennoch größer, als sie sein müssten. Dafür muss man garnicht erst den Texturfilter vergessen: Es reicht bereits, eine Karte mit beschnittenem anisotropem Texturfilter zu haben (wie AMDs Radeon HD 5000-Serie), um selbst mit höchsten Texturfiltereinstellungen zu niedrige Mip-Levels und damit klobige Sterne zu erhalten.
Zum anderen sind Point Sprites unabhängig von der Perspektive immer gleich groß. Was erstmal überhaupt nicht verkehrt klingt, äußert sich als deutlicher Nachteil, wenn wir in die Weitwinkelperspektive gehen: Die perspektivische Verzerrung sorgt dafür, dass das Bild in der Mitte gestaucht und an den Außenrändern gezerrt wird. Die Sterndichte ist in der Bildmitte also höher als am Rande. „Echte“ Geometrie würde nun am Rand in die Größe gezerrt werden und die niedrige Dichte durch größere Fläche wettmachen; da Point-Sprites aber immer gleich groß sind, nimmt die sichtbare Sterndichte am Rand ab (siehe Abb. 6 & 7).
Darum habe ich mich entschieden, die Sprites als „echte“ Geometrie zu rendern. Wer keinen Geometry-Shader zur Verfügung hat oder sich nicht die Mühe machen will, kann ruhig gewöhnliche Point-Sprites nutzen – das Ergebnis ist nicht optimal, aber immernoch um Längen besser als bei konventionellen Ansätzen.
„Echte“ Geometrie bedeutet: Man berechnet das Koordinatensystem der Stern-Sprite (die Z-Achse hat man bereits, weil sie die Richtung des Sterns ist; die X-Achse ist ein beliebiger, senkrecht dazu stehender Vektor (der Bewegungsvektor des Sterns bietet sich an); die Y-Achse entspricht dem Kreuzprodukt der beiden anderen Achsen) und führt die Verschiebung der Eckpunkte vor der Multiplikation mit der Transformationsmatrix durch.
Abbildung 6a: Point-Sprites bei Weitwinkelansicht: die Helligkeit ballt sich in der Bildmitte.
Abbildung 6b: „Echte“ Sprites bei Weitwinkelansicht: die Sterne ballen sich weiterhin in der Bildmitte, aber diesmal ist die Helligkeit gleichverteilt. Man kann außerdem sehen, dass Point-Sprites etwas gröbere Sterne produzieren. (Ich musste leider andere Sternfarben nehmen, weil ich von der ursprünglichen Programmversion keinen Schnappschuss mehr hatte.)
2.2 Antialiasing für Punkte und Linien
Es gibt viele Möglichkeiten, effektiv Antialiasing auf Punkte (für Sterne) und Linien (für bewegte Sterne) anzuwenden. Ich habe mich für eine Methode aus GPU Gems 2 entschieden – Fast Prefiltered Lines.
Im Kern geht es darum, dass man eine Lookup-Tabelle (1D-Textur) erzeugt, in der die Intensität eines Punktes abhängig von der Entfernung zur Mitte angegeben ist. Dann rendert man eine Point-Sprite. Im Pixel-Shader rechnet man nun aus, wie weit der Pixel von der Mitte des Punktes (oder von der Linie) entfernt ist und schlägt den entsprechenden Wert in der Textur nach. Das Ergebnis sind wunderbar glatte Punkte und Linien. Da die Sprite erst im Geoshader erzeugt wird ist es sehr einfach, die Entfernung zur Mitte zu bestimmen: Man ordnet der linken unteren Ecke die Koordinate (-1|-1) zu; der rechten oberen Ecke (1|1). Diese Koordinaten übergibt man dem Pixel-Shader als Texturkoordinaten; sie werden für jeden Pixel interpoliert. Die Distanz vom Sternmittelpunkt ist nun ganz einfach die Länge der Koordinate, die im Pixel-Shader ankommt, und kann direkt als Texturkoordinate für die 1D-Lookup-Textur verwendet werden.
Hier ist meine 1D-Textur:
Code: Alles auswählen
static unsigned char const texels[32] = {
255, 253, 250, 246, 241, 234, 226, 216,
203, 189, 173, 156, 138, 120, 102, 85,
70, 56, 43, 32, 24, 18, 14, 11,
8, 6, 4, 3, 2, 1, 0, 0
};
Abbildung 7a: 8×8 Pixel große Stern-Sprite
In diesem Beispiel ist die Sprite 8×8 Pixel groß. Das ist exemplarisch – die „echten“ Sprites sollten in der Größe so gewählt sein, dass sie in der Bildschirmmitte auf die in 2.1 berechneten 2,8 Pixel Seitenlänge kommen um minimal groß und maximal flimmerfrei zu sein.
Leider wird das Ganze etwas komplizierter, wenn Motion Blur ins Spiel kommt. Wenn die Sprite einfach entsprechend der Bewegung des Sterns gestreckt wird, sieht sie so aus:
Wenn sich der Stern acht Frames lang bewegt, sieht sein Motion Blur so aus:
Da sind Lücken zwischen, die wir nicht wollen. Darum teilen wir die Sprite in drei Teile – Anfang, Ende und Bewegungspfad:
Abbildung 7b: 8×44 Pixel große Stern-Sprite
Steht der Stern still, kollabiert der mittlere Teil zu Nulllänge und Vorder- und Rückseite bilden zusammen dasselbe Ergebnis wie zuvor. Bewegt sich der Stern hingegen, haben wir durchgängigen Motion-Blur:
Um zu zeigen, wie das in einer gewöhnlichen Szene aussieht, habe ich die Punkte, die mein Geoshader erzeugt, mal durch eine rote Linie verbunden ohne die Sterne selber zu zeichnen:
Abbildung 8a: Pfad durch die Vertices der Stern-Sprites, wenn sie um die Y-Achse rotieren. (Die Sprites sind hier dicker, als sie sein sollten, damit man die Pfade erkennen kann.)
Nun müssen die Sprites nur noch in die Szene eingewoben werden. Es sollte klar sein, dass man die Helligkeit, die man aus dem Antialiasing-Lookup liest, noch mit der Farbe des Sterns multiplizieren muss. Nicht so offensichtlich ist, dass man additives Blending einstellen muss. Aber man möchte schließlich nicht, dass sich Sterne gegenseitig verdecken können (was zu Flimmern führt, wenn sie gleich weit vom Betrachter entfernt sind), oder z.B. die Milchstraße.
Abbildung 8b: Die rohen Stern-Sprites bei schneller Rotation um die Y-Achse. (Hier wieder mit normaler Dicke.)
3.1 Dithering gegen Banding
Der Bildschirm hat nur eine begrenzte Farbtiefe. Beim Sternenhimmel grenzen wir diese Farbtiefe noch weiter ein: 95% der Pixel (nämlich alle, die zu keinem Stern gehören) werden unter einer Helligkeit von 5% liegen. Das bedeutet, dass für die Darstellung der Milchstraße gerade einmal 12 Helligkeitswerte pro Kanal zur Verfügung stehen! Man kann deshalb – ganz besonders, wenn sich das Bild langsam bewegt – deutlich die Grenzen zwischen den einzelnen Farben erkennen (siehe Abb. 2, 9). Diesen Effekt nennt man Banding. In meinen Beispielen liegt es nicht an der Textur – ich habe für die Milchstraße schließlich extra eine kontraststärkere Version gewählt, die im Shader abgedunkelt und in ein Float-Rendertarget geschrieben wird – sondern einzig und allein an der Farbtiefe des Ausgabegeräts. Da wir die Farbtiefe nicht frei wählen können (mehr als 8 Bits pro Kanal können lediglich ATIs Profi-GPUs wie die FirePro-Serie ausgeben, dann auch nur über spezielle Anschlüsse) müssen wir das Banding von Hand bezwingen. Die beste Methode dafür ist Dithering.
Dithering fügt kleine Fehler in das Bild ein, die sich über mehrere Pixel betrachtet wieder gegenseitig aufheben. Zwar sind viele Dithering-Algorithmen für die Implementierung in Hardware geeignet, für superparallele Architekturen wie heutige GPUs bleiben allerdings nur wenige zur Auswahl. Ich habe mich für gleichverteilten, zufälligen Noise entschieden. Das ist zwar eine der am wenigsten effektiven Methoden, sie lässt sich aber recht einfach implementieren. Es ist wirklich wichtig, dass der Noise gleichverteilt ist, damit möglichst viel Bildinformation erhalten bleibt. Meinen Algorithmus könnt ihr in diesem Thread nachlesen.
In meinem Renderer habe ich Dithering mit einer Stärke von ±1/255 angewendet – das bedeutet gerade mal einen Prozent Abweichung vom ungefilterten Bild (im schlimmsten Fall, durchschnittlich nur die Hälfte), die sich außerdem über mehrere Frames ausgleichen und ab 30 fps quasi unsichtbar sind. Dafür sind absolut keine Farbabstufungen mehr sichtbar (siehe Abb. 9) – insbesondere in Bewegung wirken die Farben weniger abgehackt und das Bild bleibt dennoch gestochen scharf. Meiner Meinung nach wird das Bild durch Dithering sogar noch natürlicher und wärmer, das ist aber Geschmackssache. Weil nicht nur die Milchstraße, sondern auch alles andere, was man rendert, davon profitieren kann, sollte man das Dithering als Nachbearbeitungseffekt auf den Frame anwenden, als allerletztes bevor er zum Bildschirm geschickt wird. (Tatsächlich wird Dithering an Sternen und Milchstraße überflüssig, wenn man Tonemapping mit Eigengrau implementiert. Es gibt aber auch jede Menge Helles, das von Dithering profitiert.)
Abbildung 9: Zwei Screenshots der Plejaden, links ohne und rechts mit Dithering. Unten jeweils eine 4 größere und 6,4× kontraststärkere Version. Dithering kann das Banding vollständig aufheben, obwohl es Pixel nur um höchstens einen Prozent (durchschnittlich halb soviel) verändert und unter Einsatzbedingungen quasi unsichtbar ist.
3.2 Glare
Glare ist der Strahlenkranz um grelle Lichtquellen – oder, besser – die Sichtbehinderung, die durch ihn entsteht. Glare ist das effektivste Werkzeug, um in der Computergrafik Überhelligkeiten zu simulieren und tritt auch an Sternen auf.
Um Glare zu implementieren gibt es tausend Möglichkeiten – von einfachem Aufaddieren downgesampleter Szenen über Bloom mit Gauss-Kernel und Strahlfilter bis hin zu komplexen dynamischen Glare-Modellen. Jedoch ist allen gemein, dass sie Nachbearbeitungseffekte sind und deshalb nicht nur auf die Sterne wirken, sondern auch auf alles andere, was man rendert – darum sollte der Glare immer primär auf die Szene abgestimmt werden und nicht bloß auf die Sterne. Die Methoden dieses Artikels sind problemlos mit Glare kombinierbar: der hohe Antialiasing-Grad verhindert großflächiges Flackern und die Sternenliste ist vollends HDR-fähig.
Für die Schnappschüsse in diesem Artikel habe ich einen relativ aufwändigen Ansatz gewählt; meine Erfahrungen könnt ihr hier nachlesen – für einfachen Sternenhimmel ist das aber ziemlicher Overkill.
Abbildung 10: Blick auf Orion ohne und mit Glare. Mit Glare fällt es deutlich leichter, Helligkeit einzuschätzen und Überhelligkeit zu erkennen.
3.3 Tonemapping
(Streng genommen hätte der Glare auch noch hierher gehört, aber dann wäre es zu viel geworden.)
Sterne und Milchstraße sind äußerst farbenfroh und das Verfahren, wie es bisher hier beschrieben wurde, liefert ebenfalls sehr farbkräftige Bilder. Tatsächlich ist unser Eindruck vom Sternenhimmel aber ein ganz anderer.
In heller Umgebung sehen wir photopisch, können also Farben unterscheiden. Dies entspricht den gängigen Tonemapping-Formeln.
Dämmert es, sehen wir mesopisch – die Farbunterscheidung fällt schwerer und die Sicht wird unschärfer. Das entspricht von der Leuchtdichte her einer Vollmondnacht, in der man gerade noch lesen kann. Die Lichtempfindlichkeit verschiebt sich ins Blaue.
Wird es noch dunkler, sehen wir nurnoch skotopisch, schwarz-weiß. Dabei wird fast nur noch blaues Licht registriert – was tagsüber rot war, sieht nun schwarz aus. Was tagsüber blau aussah, sieht nun weiß aus. (Darum sind Instrumente und Rücklichter rot – sie blenden den Teil unseres Sehapparates, der für Nachtsehen zuständig ist, im Gegensatz zu weißem oder gar blauen Licht kaum.)
Rendern wir Sterne, müssen wir alle drei Bereiche berücksichtigen: Der Mond, Signallichter und die Lichtverschmutzung durch Städte werden gerade noch photopisch wahrgenommen. Sterne u.Ä. werden mesopisch wahrgenommen – wir können ihre Farben, zumindest bei den hellsten Exemplaren, noch ein wenig unterscheiden (z.B. den Mars und Beteigeuze als schwach rot identifizieren). Die Milchstraße und die schwachen Sterne liegen im skotopischen Bereich (deshalb sind sie trotz ihrer Farbenvielfalt milchig und erscheinen weiß leuchtend).
Für uns bedeutet das: Jeder Pixel muss gemäß seiner Leuchtdichte danach kategorisiert werden, in welchem Wahrnehmungsbereich er liegt. Die Leuchtdichten, ab wann was was ist, stehen im Wikipedia-Artikel. Dann wird logarithmiert. Danach wird gemäß der Kategorie entsättigt (innerhalb skotopischen und mesopischen Sehens kann linear interpoliert werden, damit es nicht zu kompliziert wird). Abschließend muss die Farbe nachkorrigiert werden – obwohl wir physisch nur Grau sehen können, rechnen wir der Nacht psychisch einen blauen Farbton zu („Amerikanische Nacht“).
Da kommt noch ein Haufen anderer Effekte drauf: Verlust der Sehschärfe, Eigengrau etc. Das alles würde aber den Rahmen des Artikels sprengen … exzellente Arbeiten zum Thema sind (vor allem, falls man bodenbasiert rendert) Night Rendering und A Physically-Based Night Sky Model.
Auch Tonemapping ist üblicherweise ein Nachbearbeitungseffekt, wirkt also auf die komplette Szene und muss auch entsprechend abgestimmt werden. Wem das zu viel ist und wer lieber klassisch rendern will, der kann aber alle Helligkeitswerte schon beim Laden der Sternenliste und des Hintergrund-Texture-Cubes entsprechend bearbeiten und die so vorbereiteten Daten gewöhnlich rendern.
Abbildung 11: Erneut der Blick auf Orion – links nur mit Dithering und rechts mit Glare, Tonemapping und Eigengrau. Der Sternenhimmel sieht damit wesentlich vertrauter aus.
4.1 Ergebnisse
Für diese Screenshots interpretiert der Tonemapping-Operator Helligkeiten ab 0,3 cd/m² als photopisch. Skotopisches Sehen wird mit der (linearen!) Farbe 0,4R/0,53G/1,55B gefärbt.
Die Schnappschüsse wurden ohne Multisampling aufgenommen. Meine Methode ist ausschließlich GPU-basiert und stellt, abgesehen vom Geoshader, keine hohen Leistungsansprüche: Es gibt weder komplexe Geometrie noch hoch aufgelöste Texturen. Die Framerate der blanken Sterne liegt auf einer Radeon HD 4850 durchgängig bei 400 bis 1000 fps. Mit Tonemapping und Glare werden noch 40 fps auf einer Radeon HD 5770 erreicht (wobei das aber der ganzen Szene zugute kommt und nicht nur eine Anforderung des Sternenhimmels ist).
Abbildung 12: Zeitrafferaufnahme des Himmels (mit Glare) – oben der Himmelsnordpol, in der Mitte der Große Wagen.
Abbildung 13: Schneller schwenk (mit Glare und Tonemapping).
Abbildung 14: Blick auf Orion (mit Glare, Tonemapping und Eigengrau).
Abbildung 15: Der zusätzlich implementierte Mond und die Milchstraße (mit Glare, Tonemapping und Eigengrau).
Demos gibt es hier.
4.2 Schritt-für-Schritt-Anleitung
- Weiter unten Sternenliste und Hintergrundbild herunterladen
- Aus der Bildschirmauflösung und dem Öffnungswinkel den Helligkeitskoeffizienten für die Sternen-Sprites berechnen (wie das geht, steht bei der Sternenliste)
- Aus der Bildschirmauflösung und dem Öffnungswinkel berechnen, wie groß der Radius einer Sprite sein muss, damit sie in der Bildschirmmitte 2,8 Pixel groß ist (tan())
- Sternenliste in einen Vertex-Buffer laden, Hintergrundtextur in einen Texture-Cube; eine 1D-Textur als Helligkeitstabelle gemäß 2.2 erzeugen
Falls kein HDR-Rendering oder kein Tonemapping-Operator zur Verfügung stehen:- Helligkeit der Sterne mit dem Helligkeitskoeffizienten für Sternen-Sprites multiplizieren
- Farben der Sterne und der Hintergrundtextur entsättigen
- vom linearen Farbraum in den gammakorrigierten Farbraum schieben
- Helligkeitstabelle in den gammakorrigierten Farbraum schieben
- Für jeden Stern ein lokales Koordinatensystem berechnen
- Damit eine Sprite der zuvor errechneten Mindestgröße aufspannen
- Die relative Koordinate (zwischen -1 und +1) des Eckpunkts speichern
- Transformationsmatrix des vorherigen und des aktuellen Frames sammeln und jeweils die Verschiebung entfernen
- Tiefenpufferung abschalten
- Texturadressierung für die Helligkeitstabelle auf Clamping schalten
- Ein Tetraeder, einen Würfel, eine Kugel oder eine ähnliche primitive Form bauen und rendern (oder beides im Vertex-Shader kombinieren), dabei von innen den Hintergrund-Texture-Cube auftragen
- Additives Blending einschalten
- Alle Sterne aus dem Vertex-Buffer rendern
Falls ein Geometry-Shader zur Verfügung steht:- Für jeden Stern ein lokales Koordinatensystem berechnen (derzeitige und letzte Transformationsmatrix für Motion-Blur nutzen)
- Damit eine dreiteilige Sprite (sechs Dreiecke) der zuvor errechneten Mindestgröße aufspannen
- Die Eckpunkte transformieren
- Die relativen Koordinaten der Eckpunkte (zwischen -1 und +1) in einem Texturregister an den Pixel-Shader übergeben
- Die Helligkeit des Sterns in einem Texturregister an den Pixel-Shader übergeben
- Eckpunkt transformieren
- Relative Koordinate und Farbe an Pixel-Shader weiterreichen
- Im Pixel-Shader die Länge der ankommenden Koordinaten ausrechnen und damit die Helligkeitstabelle adressieren
- Helligkeit mit der ankommenden Sternhelligkeit multiplizieren
- Die besten Effekte sind die, die nicht auffallen. Nicht ins Kitschige abrutschen – eine strahlende, bunte Milchstraße quer über den Himmel kann super aussehen – aber auch hoffnungslos übertrieben und aufgedrängt. (Das tun meine Screenshots hier zwar auch, aber sonst ist ja niemand dazu zu begeistern ;) )
- Im Vollbildmodus in einem dunklen Raum wirkt alles ganz anders als auf einer hellen Website!
- Wir mussten die Sterne wegen dem Abtasttheorem rund drei Pixel groß machen. Das ist gigantisch, auch wenn man es nicht merkt weil wir Menschen die Größe der Gestirne immer falsch einschätzen. Zum Vergleich: Die Sonne hat einen scheinbaren Durchmesser von 0,54°, bei einer Auflösung von 1280×1024 Pixeln wäre sie also nur 8x8 Pixel groß; da liegt nicht viel zwischen.
4.3 Sternenliste
Hier meine Sternenliste – die Helligkeiten sind gemäß dieses Threads berechnet; die Farben sind über die Farbtemperatur der Spektralklasse angenähert (die .txt-Dateiendung ignorieren – die muss ich nutzen, weil das Board keine beliebigen Dateitypen unterstützt): Layout:
Code: Alles auswählen
class snorm2; // 16-bit signed normalized value (two's complement, little endian)
class half; // 16-bit floating-point number (IEEE 754-2008 binary16)
// or otherwise
typedef short snorm2, half;
struct Star {
snorm2 x, y, z; // declination and right ascension of 0 at -1,0,0; polaris at 0,1,0
half r, g, b; // cd÷m² for 45° fov at 1920 pixels × 256 (to avoid denormalized numbers)
};
assert(fileSize == 9110 * sizeof(Star));
Code: Alles auswählen
::D3D11_INPUT_ELEMENT_DESC const starElements[] = {
{ "DIRXY", 0, ::DXGI_FORMAT_R16G16_SNORM, 0, D3D11_APPEND_ALIGNED_ELEMENT, ::D3D11_INPUT_PER_VERTEX_DATA, 0, },
{ "DIRZ" , 0, ::DXGI_FORMAT_R16_SNORM, 0, D3D11_APPEND_ALIGNED_ELEMENT, ::D3D11_INPUT_PER_VERTEX_DATA, 0, },
{ "LUMR" , 0, ::DXGI_FORMAT_R16_FLOAT, 0, D3D11_APPEND_ALIGNED_ELEMENT, ::D3D11_INPUT_PER_VERTEX_DATA, 0, },
{ "LUMGB", 0, ::DXGI_FORMAT_R16G16_FLOAT, 0, D3D11_APPEND_ALIGNED_ELEMENT, ::D3D11_INPUT_PER_VERTEX_DATA, 0, },
};
Code: Alles auswählen
float const viewFactor = tan(fov);
float const resolutionFactor = resolution / 1920.0f;
float const luminanceScale = 1.0f / 256.0f / (viewFactor * viewFactor) * (resolutionFactor * resolutionFactor);
4.4 Hintergrundbild
Für die Textur, die ich hier anbiete, habe ich diese Fotomontage, die unter Creative-Commons-3-Lizenz steht, vom European Southern Observatory / Serge Brunier, verwendet. Neben der Konvertierung vom galaktischen ins äquatoriale Koordinatensystem (wie in Kapitel 1.4 beschrieben) musste ich noch diese Korrekturen durchführen:
- Sphärische Rotation um die Y-Achse: 50,76 °
- Sphärische Rotation um die Z-Achse: 1,5 °
- Sphärische Rotation um die Y-Achse: -50,76 °
Ich hoffe, ich konnte denen, die Sterne in ihren Renderer einbauen möchten, mit diesem Artikel einen guten Einstieg in die Thematik und einen detaillierten Überblick über die vielen Fallstricke geben.
Falls es noch irgendwelche Fragen, Verbesserungsvorschläge, Lob oder Kritik gibt, scheut euch nicht es hier zu posten :)
Ich danke Jörg, Stephan Theisgen und eXile für ihre Hilfe.
Zusätzliche Schlagwörter: Milky Way, Galaxy, Star Rendering, Starfield Rendering, High-Quality Rendering, Sterne rendern