Hardwareempfehlung Dual GPU System

Hier kann über allgemeine Themen diskutiert werden, die sonst in kein Forum passen.
Insbesondere über Szene, Games, Kultur, Weltgeschehen, Persönliches, Recht, Hard- und Software.
Antworten
Benutzeravatar
Jonathan
Establishment
Beiträge: 1959
Registriert: 04.08.2004, 20:06
Kontaktdaten:

Hardwareempfehlung Dual GPU System

Beitrag von Jonathan »

Moinsen,

wir haben einen Rechner, der mit einer RTX 2080 Ti bestückt ist, der nun (hauptsächlich für das Trainieren von Neuronalen Netzen) etwas mehr Wums braucht. Er soll jetzt um eine 3080 Ti erweitert werden, die im Gegensatz zur 3090 zwar nur halb so viel Speicher hat, aber um einiges günstiger ist und wir müssen ohnehin eher viele kleine als ein großes Netz trainieren. Die 2080 und 3080 sollen dann also parallel betrieben werden.

Das Gehäuse sollte ausreichend groß sein, aber ein neues Mainboard wird wohl nötig werden. Soweit ich das sehe, sollte es mindestens zwei 16x PCIe 3.0 Anschlüsse haben. 4.0 gibts auch, die allermeisten Artikel sagen aber, man bräuchte das nicht wirklich und es würde ohnehin nur für AMD Systeme Sinn machen, weil Intel das noch gar nicht richtig unterstützt. Die meisten Artikel sind allerdings auch für Gamer geschrieben, trainiert man Netzwerke ist der Datendurchsatz also vlt. doch wichtiger und man sollte 4.0 nehmen.

Die CPU ist momentan nicht das Problem, ist aber Sockel 1150 (Intel) und dafür scheint es keine passenden Dual-GPU Mainboards zu geben. Ich war bisher immer irgendwie Intel Fan, hab also einfach mal geguckt, was ein ordentlicher Prozessor wäre (die Grafikkarte kostet ja schon ~1650, auch wenn die CPU nicht super wichtig ist wäre es da ja albern die billigste einzubauen), mir scheint der i9-10900K könnte ok sein (viel Leistung aber noch vor dem Extrembereich wo Leistung überproportional teuer wird). Der hat Sockel 1200.

Also schnappe ich mir Geizhals.de (mag ich immer wegen der guten Filter), und suche nach Sockel 1200 Mainboards mit mindestens zwei PCIe x16 'elektrisch' (denn 'mechanisch' heißt scheinbar, dass die Leiste zwar lang genug ist, aber nicht alle Pins belegt sind). Da finde ich dann einzig das Supermicro Supero C9Z490-PGW (hab den Hersteller noch nie gehört) in zwei Varianten für knapp 500€.

Jetzt meine Frage: Sollte das so sein? War irgendwas an meinen bisherigen Überlegungen falsch? Ich dachte eigentlich, ich hätte eine gängige CPU ausgewählt, und auch wenn Dual-GPU jetzt eher selten sind, sollte es doch mehr als ein einziges Mainboard dafür geben, oder? Ich hatte jetzt nur nach einer Intel CPU geguckt, weil ich mich damit minimal besser auskenne, sollte ich vielleicht doch eher eine AMD CPU nehmen? Oder anders gesagt: Wenn ich eine 2080 Ti und eine 3080 Ti in einem System verwenden will, wie sollte der Rest der Hardware am besten aussehen?
Lieber dumm fragen, als dumm bleiben!
Benutzeravatar
Schrompf
Moderator
Beiträge: 4514
Registriert: 25.02.2009, 23:44
Benutzertext: Lernt nur selten dazu
Echter Name: Thomas Ziegenhagen
Wohnort: Dresden
Kontaktdaten:

Re: Hardwareempfehlung Dual GPU System

Beitrag von Schrompf »

Keine Ahnung, was den GPU-Betrieb angeht, aber das reine Intel vs. AMD-Ding haben wir in der Firma mal aus Eigennutz gebenchmarkt mit unserer Serveranwendung. Und es stellte sich heraus, dass so ein i9-10irgendwas mit 8+8 Kernen mit Mühe und Not im SingleCore-Betrieb mit AMD mithalten konnte, indem der auf >5GHz übertaktete. Sobald Du mehr als einen Core belastet hast, brach die Taktfrequenz ein und bei Volllast (16 HW-Threads für ein paar Sekunden ausgelastet) gurkte das Ding noch bei 2GHz rum und schlich hinter nem Epyc hinterher. AMD Ryzen hat in vergleichbarer Preisklasse die doppelte Anzahl Kerne und jeder einzelne davon rennt Kreise um einen Intel. Aktuell also: jederzeit AMD, egal für welchen Zweck.

Keine Ahnung, wie's mit den aktuellen Intels aussieht, aber deren Kombination aus wenigen Performance-Cores und vielen Efficiency-Cores ist eh für Desktop-Betrieb gedacht und war für uns als Server-CPU wertlos.
Häuptling von Dreamworlds. Baut an was Neuem. Hilft nebenbei nur höchst selten an der Open Asset Import Library mit.
Matthias Gubisch
Establishment
Beiträge: 380
Registriert: 01.03.2009, 19:09

Re: Hardwareempfehlung Dual GPU System

Beitrag von Matthias Gubisch »

Ich kann erst später mehr dazu schreiben bin grad auf dem Sprung aber vorneweg mal eine Frage
Können die GPUs relativ unabhängig arbeiten oder müssen die sich viele Daten teilen/synchronisieren?
Bevor man den Kopf schüttelt, sollte man sich vergewissern einen zu haben
Benutzeravatar
Jonathan
Establishment
Beiträge: 1959
Registriert: 04.08.2004, 20:06
Kontaktdaten:

Re: Hardwareempfehlung Dual GPU System

Beitrag von Jonathan »

Matthias Gubisch hat geschrieben: 20.02.2022, 12:20 Ich kann erst später mehr dazu schreiben bin grad auf dem Sprung aber vorneweg mal eine Frage
Können die GPUs relativ unabhängig arbeiten oder müssen die sich viele Daten teilen/synchronisieren?
Sollte unabhängig sein. Die Idee ist es eher 2 Netzwerke gleichzeitig auf 2 verschiedenen Karten trainieren zu können anstatt ein großes auf 2 Karten zu verteilen. Das sollte es vermutlich viel einfacher machen.
Lieber dumm fragen, als dumm bleiben!
Matthias Gubisch
Establishment
Beiträge: 380
Registriert: 01.03.2009, 19:09

Re: Hardwareempfehlung Dual GPU System

Beitrag von Matthias Gubisch »

Also erstmal vorneweg, ich kenn mich bei den aktuellen Intel Prozessoren leider nicht so gut aus, drum gilt alles was ich schreiben für AMD Prozessoren.

Aber wie Schrompf schon gesagt hat: wenn aktuell eine neue CPU dann AMD, Der Vorteil der besseren SingleCore Performance von Intel ist seit demRyzen 3000 auch Geschichte, bei parallelen Workloads hat AMD schon länger die Nase vorne.

Bezüglich PCI-Express Version: Deine 2080 kann nur PCIe 3.0. Ich weis ehrlich gesagt nicht inwieweit die CPUs verschiedenen Speeds per Slot fahren können. Dass müsste man mal ergoogeln, ich stand noch nie vor der Frage.
AMD supported PCIe4 ab den Ryzen 3000, und offiziell ab dem X570 Chipsatz, allerdings gibt es für die meisten hochwertigeren X470 Boards Bios Updates die das ebenfalls supporten, von daher würde sich die Frage mit einem aktuellem AMD Prozessor und passendem Mainboard von selber klären.

Bezüglich den echten PCIe 16 Slots. Soweit ich weis hat ein Ryzen 3000 16 und ein Ryzen 5000 24 PCIe Lanes dediziert für Grafik, 4 für den MotherBoard Chipsatz und noch ein paar die sich die andernen Komponenten teilen müssen.
Für alles was darüber hinausgeht muss also extra Hardware auf dem Mainboard verbaut werden, was die Sache komplex und teuer macht.
Diese Boards kosten hier auch um die 500€. Ein Beispiel wäre die CrossHair Serie von ASUS. Hier sind deine Überlegungen also leider richtig. Leider stimmt für diese Boards die obige Aussage dass es quasi nur vom Prozessor abhängt welche PCIe Version unterstüzt wird nicht mehr ganz, womit man wieder beim X570 Chipsatz landet.
Da Intel bei PCIe 4.0 generell hinterher hinkt kann es auch durchaus sein dass es noch nicht so viele Boards gibt die deine gewünschte Configuration unterstützen.
Ob du so ein Board brauchst, da wäre es mal interessant zu profilen wie hoch die PCIe Last tatsächlich ist. Nsight kann das ganz gut, zumindest für Grafikanwendungen, würde mich aber wundern wenn das für CUDA Anwendungen nicht genauso ginge.

Dass die GPUs relativ unabhängig arbeiten können ist sehr gut, so somit musst du nicht auf SLI/NV-Link Kompatibilität der Karten achten. Hier gibt es nämlich leider auch einige Einschränkungen welche Karten wie zusammen laufen. Der Sync über den NV-Link ist aber in der Regel deutlich schneller weil er keinen Umweg über die CPU machen muss.


Ich hoffe das ist einigermaßen Verständlich erklärt. Ansonsten einfach nochmal Nachfragen ;)
Bevor man den Kopf schüttelt, sollte man sich vergewissern einen zu haben
Benutzeravatar
Jonathan
Establishment
Beiträge: 1959
Registriert: 04.08.2004, 20:06
Kontaktdaten:

Re: Hardwareempfehlung Dual GPU System

Beitrag von Jonathan »

Ok, vielen Dank für die Infos. Dann werde ich mal nach AMD Prozessoren schauen und vielleicht mal 2 Varianten zusammenstellen, eine mit PCIe 4.0 und eine mit 3.0. Je nach Preisunterschied würde ich dann ggf. die 4.0er Variante wählen, aktuell ist ja das Problem, dass man eigentlich nur ein Grafikkartenupgrade vornehmen wollte, aber den halben PC neu kaufen muss. Aber falls man in Zukunft doch noch ein weiteres GPU Upgrade möchte (z.B. die 2080 durch eine weitere 3080 ersetzen oder so) wäre es ja vlt. nett, wenn man nicht wieder alles andere mit tauschen muss. Und bei den aktuellen GPU Preisen ist ein 200€ teureres Mainboard ja auch nicht mehr die größte Sorge.

Aber nur um nochmal sicher zu gehen: Ich brauche auf jeden Fall die vollen 16er PCIe's, ja? D.h. entweder ein Mainboard mit 2x 16x 3.0 oder 2x 16x 4.0?
Lieber dumm fragen, als dumm bleiben!
Matthias Gubisch
Establishment
Beiträge: 380
Registriert: 01.03.2009, 19:09

Re: Hardwareempfehlung Dual GPU System

Beitrag von Matthias Gubisch »

Also bezüglich PCIe 3.0 vs 4.0:
Wenn du auf AMD gehst ist die Frage weniger relevant weil auch ältere Boards mit X470 Chipsatz zumindest per Bios Update PCIe 4.0 können. Und empfehlen würd ich in deinem Fall eh den X570 und Prozessor je nach Leistunswunsch. Bis auf die Threadripper CPUs passen auch alle Ryzen auf den gleichen Sockel.

Nein du brauchst nicht zwingend 2x16 lanes
Für die Funktion tut das erstmal nix zur Sache.
Für die Performance kommts halt drauf an wo dein Bottleneck ist, bzw wieviel/wie oft du Daten an die GPU sendest, bzw von ihr liest.
Die Karte mit weniger Lanes wird halt entsprechend langsamer gefüttert.
Überspitzt gesagt: wenn du einmal den VRAM füllst und die Karte dann 10 Min vor sich hinrechnet, wirst du den Unterschied in der Gesamtbetrachtung kaum sehen.
Wenn du den VRAM mehrmals pro Sekunde komplett neu befüllen willst führt kein Weg am Vollausbau vorbei weil.
Im Prinzip geht es ja darum die Daten schneller auf die GPU zu bekommen als diese sie bearbeiten kann, damit man möglichst wenig Leerlauf hat.
Bevor man den Kopf schüttelt, sollte man sich vergewissern einen zu haben
udok
Beiträge: 18
Registriert: 01.02.2022, 17:34

Re: Hardwareempfehlung Dual GPU System

Beitrag von udok »

Schau dir auch die aktuelle Intel Alder-Lake CPU an.

Die Alder Lake verwenden den neuen Socket 1700, der unterstützt PCIe 5.
Inzwischen gibt es auch Mainboards, die 2-3 GPUs unterstützen: https://geizhals.at/?cat=mbp4_1700&xf=1 ... 7E317_Z690

Gruss,
Udo
Matthias Gubisch
Establishment
Beiträge: 380
Registriert: 01.03.2009, 19:09

Re: Hardwareempfehlung Dual GPU System

Beitrag von Matthias Gubisch »

Aber es gibt dort keine (zumindest sagt das der Filter) die 2x16 pcie 5.0 elektrisch haben
8x 5.0 ist zwar theoretisch genausoschnell wie 16x 4.0
Hilft nur nix wenn es die GPUs nicht hergeben.
Da muss man wohl noch bis zu den RTX 4000 bzw zu RX 7000 warten ;)

Aber anscheinend war mein Stand nicht ganz aktuell und bei pcie hat intel mit 5.0 wohl wieder vorgelegt. Bei amd soll das mit den ryzen 7000 un dem Sockel am5 kommen.

Meine Empfehlung bleibt trotzdem noch eine AMD CPU ;)
Und PCIe lanes je nach Anforderungen der Anwendung.
Bevor man den Kopf schüttelt, sollte man sich vergewissern einen zu haben
udok
Beiträge: 18
Registriert: 01.02.2022, 17:34

Re: Hardwareempfehlung Dual GPU System

Beitrag von udok »

Nicht nur bei PCIe, auch bei der CPU ist Intel aktuell vor AMD.

Hier z.B.:
https://www.youtube.com/watch?v=5vbd3PeTkxY&t=522s

und hier:
https://www.youtube.com/watch?v=p6E01UI7Knw&t=113s

Interessant wird es ab dem ersten Drittel vom Video...
Wenn AMD die nächste Zen Generation rausbringt, dann spielen sie vielleicht wieder mit.
Benutzeravatar
Schrompf
Moderator
Beiträge: 4514
Registriert: 25.02.2009, 23:44
Benutzertext: Lernt nur selten dazu
Echter Name: Thomas Ziegenhagen
Wohnort: Dresden
Kontaktdaten:

Re: Hardwareempfehlung Dual GPU System

Beitrag von Schrompf »

udok hat geschrieben: 23.02.2022, 14:19 Nicht nur bei PCIe, auch bei der CPU ist Intel aktuell vor AMD.
Dass unsere Messergebnisse ne deutlich andere Sprache sprechen, hatte ich ja schon geschrieben.

PCIe-Standard ist herzlich wurscht, glaube ich. Die theoretischen Bandbreiten da dürften für Deine Zwecke irrelevant sein, weil Machine Learning nach meinem Wissen ne Menge Rechenzeit und nur gelegentlich mal ein Transfer sind. Aber da bin ich kein Experte.
Häuptling von Dreamworlds. Baut an was Neuem. Hilft nebenbei nur höchst selten an der Open Asset Import Library mit.
Benutzeravatar
Jonathan
Establishment
Beiträge: 1959
Registriert: 04.08.2004, 20:06
Kontaktdaten:

Re: Hardwareempfehlung Dual GPU System

Beitrag von Jonathan »

Hm, ich werde nochmal einen Kollegen fragen, aber auf den ersten Blick scheint PCIe schon echt schnell zu sein. 3.0 schafft mit 16 Lanes schon ~ 16 GB/s und wenn man jetzt mal von sehr großen Datensätzen ausgeht bleibt ja auch irgendwie die Frage, wo die Daten so schnell her kommen sollen. Von einer SSD jedenfalls nicht in dieser Geschwindigkeit und wenn man jetzt mal sagt, dass der RAM 10-20 mal so groß ist (was bei 12 GB VRAM schon echt viel wäre), dann hat man den ja trotzdem in deutlich weniger als einer halben Stunde übertragen. Und Daten on-the-fly erzeugen (also z.B. durch Augmentierung) würde man erstens vielleicht ohnehin auf der Grafikkarte implementieren und zweitens frage ich mich auch da, ob bei CPU seitiger Berechnung PCIe zum Flaschenhals wird, oder ob die CPU die Daten gar nicht so schnell generieren wie übertragen kann.

Das hieße dann, dass ggf. ein 3.0 Board mit 1x16 und 1x8 (was auch immer noch 8 GB/s sein sollten) vermutlich tatsächlich vollkommen ausreichen würde.
Lieber dumm fragen, als dumm bleiben!
Antworten