Skip to main content

Deadline - Event Plugins

We hebben een aantal custom Event Plugins op onze renderfarm; dit zijn vooral quality of life improvements om te zorgen dat de farm goed runt. Hier een overzicht van de huidige plugins en hun functie.

EnergyCostCalculator
Deze plugin berekent na een job de geschatte energiekosten.

Dat doet hij met een simpele berekening: de rendertijd van alle tasks van een job × de kosten per renderuur.
Die kosten kun je instellen in Tools > Configure Event Plugins > EnergyCostCalculator.
Het totaal komt in Extra Info 0, de kosten per frame in Extra Info 1. Zet die kolommen aan in de Monitor om ze te zien.
Wordt een job gesuspend of failt hij? Dan krijgt hij de kosten van de frames die al klaar waren. Met Scripts > CalculateEnergyCosts kun je het ook met de hand uitrekenen voor oudere jobs.
Het is niet erg als een job duur is, want de renderfarm is er om gebruikt te worden; maar het is wel goed om als artist bewust te zijn dat renders niet gratis zijn.
Origineel geschreven door Mervin.

ErrorTriage
Deze plugin kijkt bij elke error van een job wat er aan de hand is, zodat mensen snel zien wat er mis is met hun job, en een kapotte job niet eindeloos door blijft renderen.

-Krijgen meerdere PC's precies dezelfde error (framenummers en paden tellen niet mee)? Dan ligt het aan je scene en wordt de job op failed gezet. Fix je scene en submit opnieuw.
-Ligt het aan de PC (bijvoorbeeld "unable to find Houdini on the machine")? Dan wordt alleen die PC geblokt voor jouw job; de rest rendert gewoon door.
-Loopt een PC vol qua geheugen? Dan wordt die PC uit je job gehaald. Gebeurt dat op 3 PC's, dan is je job te zwaar en halveert hij zelf het aantal tasks per PC (10 → 5 → 3 → 2 → 1).

Wat hij gedaan heeft zie je vooraan in het job comment, met [ErrorTriage] ervoor.
Origineel geschreven door Robbert.

FrameValidator
Deze plugin checkt na een job of al je frames er echt zijn.

Een frame is "fout" als het bestand mist, of als het veel kleiner is dan de frames eromheen (bijvoorbeeld een half weggeschreven EXR). Fades en dergelijke merkt hij niet aan als fout.
Foute frames worden één keer automatisch opnieuw gerenderd. Bij grote tasks, zoals simulaties of een hele sequence in één task, meldt hij ze alleen, want opnieuw renderen zou dan uren kosten.
Mist alleen je laatste frame, maar staat er wel een bestand één frame vóór je eerste frame? Dan nummert je scene de output één frame te laag. Dat meldt hij, maar dat lost opnieuw renderen niet op; check je time offset.
De foute frames staan vooraan in het job comment, met [FrameValidator] ervoor. Movies (.mov, .mp4) worden overgeslagen.
Origineel geschreven door Robbert.

HealthCheck
Elke render-PC checkt zichzelf 4× per dag (8, 12, 16 en 20 uur) op dingen die renders stuk kunnen maken: environment variables, pipeline-versie, of Nuke/Houdini/Maya/Blender er staan, de GPU, de netwerkschijven, vrije schijfruimte en hoe lang de PC al niet herstart is.

Is alles goed, dan hoor je er niks van. Is er iets mis, dan komt het vooraan in het Worker comment, met [HealthCheck datum tijd] ervoor, en het verdwijnt weer zodra het opgelost is.
Nu meteen checken? Selecteer Workers, rechtermuisknop > Scripts > HealthCheckNow.
Dit is vooral handig voor ons beheerders; als artist hoef je er niks mee, maar zie je een [HealthCheck]-comment bij een PC, dan weet je waarom die raar doet.
Origineel geschreven door Robbert.

LicenseLimiter
Sommige submitters, zoals onze Nuke submitter, sturen mee hoeveel render licenties een job mag gebruiken.

Sommige van onze nodes (bijvoorbeeld ReduceNoise van NeatVideo) hebben maar een bepaald aantal floating licenses, als je alle machines op onze farm frames met die node laat renderen krijg je foutmeldingen. Deze plugin zet bij het submitten de Machine Limit van de job op dat getal, zodat er niet meer machines een job renderen dan dat we licenties hebben.
Had je zelf al een strengere Machine Limit ingesteld, dan blijft die staan. Jobs zonder dit getal worden niet aangepast.
Origineel geschreven door Mervin.

LocalActivityOptOut
Hiermee kun je een PC tijdelijk uit de renderfarm halen, bijvoorbeeld als je er caches op draait.

Vul iets in bij de Worker Extra Info "No rendering - Until morning" of "No rendering - Permanent", bijvoorbeeld je naam of een reden. Zolang daar iets staat, pakt die PC geen jobs meer op.
"Until morning" wordt elke dag na 9:00 automatisch leeggemaakt; "Permanent" blijft staan tot iemand het weghaalt. Leegmaken = de PC rendert weer mee.
Gebruik dit eerlijk; we willen zoveel mogelijk machines mee laten draaien.
Origineel geschreven door Mervin.

NightlyWorkerRestart
Elke avond vanaf 21:00 krijgt elke Worker een herstart.

Een Worker die idle is herstart meteen; een Worker die aan het renderen is herstart pas als zijn huidige task klaar is, dus je render gaat niet verloren. Workers die offline of vastgelopen (stalled) zijn worden weer opgestart.
Zo pakken de PC's updates van de pipeline op en rendert de farm 's nachts op volle kracht.
Alleen PC's die aan staan en waarop de Deadline Launcher draait zijn bereikbaar.
Origineel geschreven door Robbert.

NukeCleanup
Nuke schrijft elk frame eerst naar een tijdelijk .tmp-bestand (zoiets als -935512534559029538.tmp) en hernoemt het als het frame klaar is. Wordt een render onderbroken, dan blijven die bestanden in je render folder staan.
Deze plugin ruimt ze na een Nuke job op. Hij haalt alleen bestanden met Nukes eigen naamgeving weg, en alleen als ze al 30 minuten niet meer aangeraakt zijn. Bestanden van een render die nog bezig is laat hij dus staan.
Dit is onze aangepaste, veiligere versie van de standaard NukeCleanup plugin van Deadline.
Origineel geschreven door Robbert.