Upload e download dei file su Super Renders Farm

Introduzione

Spostare i file del progetto da e verso una render farm è la parte del workflow che più spesso va storta. Un rendering fallisce non perché il motore si comporti male, ma perché un percorso di texture non si è risolto sul nodo remoto, un progetto è stato caricato come ZIP che la farm non decomprime mai, oppure una connessione domestica lenta si è bloccata a metà upload dopo venti minuti.

Super Renders Farm supporta tre modi per spostare i file di progetto (l'interfaccia web, la SuperRenders Client App e l'accesso S3 con Cyberduck o l'AWS CLI) e tre modi per recuperare l'output renderizzato. Nessuno dei tre è "il migliore" in astratto; ciascuno ha il proprio punto di forza definito dalle dimensioni del file, dalla velocità di rete e dalla frequenza di ri-invio dello stesso progetto.

Questa guida fornisce un albero decisionale per scegliere il metodo più adatto al job, istruzioni dettagliate per ciascuno e un riferimento per gli errori di upload che vediamo più spesso nel supporto.

Albero decisionale: quale metodo di upload usare?

I tre metodi non sono intercambiabili. Usare questo breve albero decisionale la prima volta che si invia un progetto, poi cambiare man mano che il workflow si stabilizza.

Usare l'interfaccia web se:

• Le dimensioni totali del progetto sono inferiori a circa 2 GB
• Si inviano job occasionalmente (poche volte al mese) piuttosto che continuamente
• Si desidera zero installazione — solo un browser

Usare la Client App se:

• Si inviano job almeno settimanalmente e si vogliono meno passaggi manuali
• Il progetto è più grande di circa 2 GB
• Si desidera che l'upload riprenda automaticamente in caso di disconnessione
• Si desidera che i frame completati vengano scaricati automaticamente in una cartella locale man mano che finiscono

Usare l'accesso S3 (Cyberduck o l'AWS CLI) se:

• Si lavora già con un client S3 e lo si preferisce al browser o alla Client App
• Si desidera scriptare i caricamenti verso il proprio SRF Space, o i download da esso; l'AWS CLI viene eseguita da un terminale o da uno script pianificato
• Si è a proprio agio nel gestire un access key (trattarlo come una password)

Una piccola avvertenza si applica a ogni percorso: la farm non estrae gli archivi (.zip, .rar, .7z, .tar, .tar.gz). La farm necessita di una cartella di progetto non compressa (il file di scena più tutti gli asset referenziati nella struttura di directory corretta) in modo che il render manager possa risolvere i percorsi degli asset. Ne parliamo nella sezione Errori di upload comuni di seguito.

Metodo 1: Upload tramite interfaccia web

L'upload web è il percorso più semplice e quello che raccomandiamo per i primi invii e i progetti piccoli.

Istruzioni dettagliate:

1. Accedere all'account su superrendersfarm.com e aprire il pannello di controllo del rendering.
2. Fare clic su New Job (o Submit Project, a seconda della landing del motore da cui si è arrivati).
3. Trascinare la cartella del progetto nell'area di upload, oppure fare clic su Choose Folder e selezionarla.
4. Attendere il completamento della barra di avanzamento dell'upload. Il browser mostra il progresso per singolo file per i progetti con molti asset.
5. Una volta completato l'upload, configurare le impostazioni di rendering (intervallo di frame, formato di output, priorità) e inviare il job.

Limiti pratici. I browser limitano le singole sessioni di upload, quindi il percorso web diventa lento sopra circa 2 GB e inaffidabile sopra circa 5 GB su connessioni residenziali. Se il tab del browser viene chiuso durante l'upload, il trasferimento si interrompe — non c'è ripresa dal lato browser. Per i progetti in quel range, passare alla Client App.

Cosa viene caricato. Il trascinamento della cartella preserva esattamente la struttura della cartella. Se la scena referenzia texture in \textures\ e \proxies\, quelle sottocartelle devono trovarsi all'interno della cartella del progetto top-level trascinata, con gli stessi nomi. I riferimenti mancanti sulla farm quasi sempre risalgono a una di queste sottocartelle che si trova fuori dalla root di upload.

Metodo 2: SuperRenders Client App

La Client App è il percorso su cui la maggior parte degli studi di produzione alla fine si stabilisce. Gestisce la ripresa in caso di disconnessione, i controlli di integrità e lo scaricamento automatico dei frame completati — nessuno dei quali è supportato dal percorso browser.

Istruzioni dettagliate:

1. Scaricare la Client App dalla pagina Download e installarla sulla workstation.
2. Accedere con le credenziali dell'account Super Renders Farm.
3. Fare clic su New Project e selezionare la cartella del progetto. L'app esegue una scansione alla ricerca del file di scena e degli asset referenziati.
4. Esaminare la lista dei file — l'app mostra i riferimenti mancanti prima che inizi l'upload, in modo da poterli correggere localmente anziché dopo un rendering fallito.
5. Fare clic su Upload. Il progresso viene mostrato per file, e l'upload riprende automaticamente in caso di disconnessione.
6. Dopo il completamento dell'upload, configurare le impostazioni di rendering all'interno dell'app e inviare.

Download automatico. La Client App gestisce anche il viaggio di ritorno. Una volta abilitata una cartella di output locale, i frame completati vengono scaricati sulla workstation man mano che ogni frame termina — non è necessario aspettare che l'intero job sia completato prima di recuperare qualcosa.

Nota plugin v1 vs v2. Gli studi che usano versioni precedenti della Client App dovrebbero consultare il riferimento strumenti e Client App per i percorsi di installazione attuali, la compatibilità delle versioni dei plugin e il piano di migrazione quando Spaces (il nostro livello di trasferimento di nuova generazione) sostituirà la Client App. Quel documento tratta in modo approfondito l'integrazione del plugin per DCC, l'invio end-to-end e i passaggi di troubleshooting — questa pagina tratta solo la superficie di upload e download.

Metodo 3: accesso S3 (Cyberduck o l'AWS CLI)

L'accesso S3 consente di spostare i file tra la propria workstation e il proprio SRF Space con un client S3 standard, senza il browser o la Client App. I file caricati in questo modo compaiono nel proprio SRF Space e possono essere usati per un job come qualsiasi altro upload. L'accesso S3 sposta solo i file: il job va comunque inviato dalla dashboard web, dalla Client App o da un plugin DCC.

Passaggi:

1. Nel proprio account, aprire Cloud Direct Connect e generare l'access key (nel portale è chiamato account FTP). Copiare Access Key ID, Secret Access Key e Remote Directory.
2. Cyberduck: scegliere Open Connection, selezionare il protocollo Amazon S3 e inserire l'Access Key ID e la Secret Access Key. Espandere More Options e inserire la propria Remote Directory in Path, quindi connettersi.
3. AWS CLI: eseguire aws configure, inserire l'Access Key ID e la Secret Access Key, impostare la regione su ap-southeast-1 e lasciare vuoto il formato di output. Copiare quindi la cartella di progetto non compressa nella propria Remote Directory, ad esempio aws s3 cp ./my-project s3://<Remote Directory>/my-project --recursive.
4. Inviare il job dalla dashboard web, dalla Client App o da un plugin DCC, scegliendo i file caricati.

Recuperare l'output via S3. I frame completati vengono scritti nella cartella SuperRendersOutput/<job ID>/ all'interno del proprio SRF Space, quindi è possibile recuperarli con lo stesso client, ad esempio aws s3 sync s3://<Remote Directory>/SuperRendersOutput/<job ID>/ ./frames/.

Da sapere. L'account dispone di un unico access key, che non scade. Trattarlo come una password: tenerlo fuori da script e repository condivisi. Se occorre farlo modificare, contattare il supporto. I file temporanei e di sistema (*.tmp, *.temp, *.partial, *.swap, *.lnk, *.ini, *.db) e qualsiasi cartella rendertemp/ non vengono passati ai nodi di rendering, quindi tenere i dati di scena fuori dai file con questi nomi.

Usare Cyberduck con il protocollo Amazon S3 oppure l'AWS CLI; FileZilla e i client FTP/SFTP non si collegheranno.

Confronto: metodi a colpo d'occhio

Abbinare il metodo alla forma del progetto. Un'immagine da 200 MB va benissimo nel browser; un'animazione da 60 GB con fluidi in cache dovrebbe passare attraverso il Client App, oppure tramite l'accesso S3 se la propria pipeline scripta già i trasferimenti.

Errori di upload comuni

Questi sono gli errori che vediamo più spesso nel supporto e cosa controllare per primo.

"Ho caricato un .zip, .rar o .7z e il job non trova la scena."

È possibile caricare file .zip, .rar o .7z, ma la farm non li estrae, quindi nulla all'interno di un archivio viene renderizzato (l'uploader web avvisa che il file non verrà decompresso automaticamente). Lo stesso vale per .tar e .tar.gz. Estrarre la cartella della scena e caricare i file non compressi. Se si sta lavorando da un file ZIP consegnato da un collega, decomprimerlo prima localmente, poi caricare la cartella risultante.

"Missing texture: D:\projects\..."

La scena referenzia un percorso assoluto sulla macchina locale che non esiste sui worker node della farm. Questa è la singola causa più comune dei job falliti, e si manifesta sia che si carichi tramite interfaccia web sia tramite Client App. Correggerla localmente usando percorsi relativi (la maggior parte dei DCC ha un comando "make paths relative" o "consolidate assets" — File → Reference Editor → Make Relative in Maya, File → Archive in 3ds Max, File → Pack External Data in Blender). La Client App esegue una pre-scansione dei percorsi assoluti e li segnala prima che l'upload inizi, il che evita un giro a vuoto.

"Upload timed out."

Comune su connessioni residenziali, specialmente su Wi-Fi con file superiori a 1 GB. Il percorso browser non riprende — passare alla Client App, che si riprende dalle disconnessioni transitorie. Controllare anche la velocità di upload locale (la maggior parte degli ISP limita l'upload residenziale a 10–50 Mbps); un progetto da 20 GB su una linea da 10 Mbps richiede circa cinque ore di trasferimento continuo.

"Invalid project structure."

La cartella caricata non contiene un file di scena che la farm riconosce (.max, .ma/.mb, .c4d, .blend, .hip/.hiplc, .aep). Causa comune: trascinare solo la cartella delle texture invece della root completa del progetto. Ricaricare da un livello superiore in modo che il file di scena sia incluso.

"Asset paths point outside the project folder."

La scena referenzia asset che si trovano sopra la root del progetto (ad esempio, una cartella \Studio Library\ condivisa un livello sopra \Progetto_X\). I worker node possono vedere solo ciò che è all'interno della cartella caricata. O consolidare quegli asset nella cartella del progetto localmente prima del caricamento (la maggior parte dei DCC ha un comando "collect all assets"), oppure caricare la cartella superiore in modo che tutti i percorsi referenziati si risolvano.

Download dell'output renderizzato

Esistono tre percorsi per recuperare i frame completati: download manuale dal pannello di controllo, streaming automatico tramite Client App, oppure un recupero via S3 dalla cartella SuperRendersOutput/<job ID>/ nel proprio SRF Space.

Download manuale tramite pannello di controllo. Quando un job è completato, il pannello di controllo elenca ogni frame di output e offre il download per singolo frame e per l'intero job. Per i job di animazione, il pannello di controllo comprime l'output (questa è una comodità di download — non un formato di invio) in modo da poter scaricare l'intera sequenza in un unico trasferimento. Per le immagini fisse o le sequenze brevi, il download per singolo frame mantiene gestibile il numero di file.

Download automatico tramite Client App. Con la Client App installata e una cartella di output locale configurata, i frame completati vengono scaricati man mano che ogni frame termina. Non è necessario aspettare che il job completo sia terminato — è possibile esaminare il frame 1 mentre i frame da 240 a 480 sono ancora in rendering. Questo è particolarmente utile per i job di animazione lunghi dove i cicli di revisione si sovrappongono al rendering stesso.

Recupero via S3 con Cyberduck o l'AWS CLI. Se si usa l'accesso S3 (Cloud Direct Connect), i frame completati vengono scritti nella cartella SuperRendersOutput/<job ID>/ all'interno del proprio SRF Space. Recuperarli con lo stesso client usato per il caricamento, ad esempio aws s3 sync s3://<Remote Directory>/SuperRendersOutput/<job ID>/ ./frames/. La configurazione è descritta nel Metodo 3 qui sopra.

Conservazione. I file di output restano disponibili per il download dopo il completamento del job; non esiste una finestra di eliminazione automatica fissa, ed eliminiamo un progetto quando lo si richiede. Per l'archiviazione a lungo termine, scaricare sulla memoria dello studio piuttosto che fare affidamento sulla farm come livello di backup.

FAQ

Q: Perché Super Renders Farm non estrae i file ZIP? A: Il render manager ha bisogno di attraversare la cartella del progetto per risolvere i percorsi degli asset: i file di scena referenziano texture, proxy, cache e plugin tramite percorsi relativi o assoluti. La farm non decomprime archivi di alcun formato, quindi caricare il progetto come cartella non compressa, che è ciò che produce di default il comando "collect all assets" di ogni DCC.

Q: Qual è il progetto più grande che posso caricare? A: Non c'è un limite superiore imposto. Abbiamo gestito progetti di animazione di diverse centinaia di gigabyte con simulazioni in cache. Per i progetti di grandi dimensioni utilizzare la Client App: gli upload del browser si bloccano sui trasferimenti lunghi, e la Client App riprende da dove si era interrotta.

Q: Come faccio a caricare se la mia connessione è inaffidabile? A: Usare la SuperRenders Client App. Riprende in caso di disconnessione, quindi una connessione Wi-Fi interrotta non fa ricominciare il trasferimento da zero. Il percorso di upload del browser non riprende: se il tab si chiude a metà upload, il trasferimento si interrompe.

Q: Per quanto tempo rimangono i frame renderizzati sulla farm? A: I file di output restano disponibili per il download dopo il completamento del job; non esiste una finestra di eliminazione automatica fissa, ed eliminiamo un progetto quando lo si richiede. Per l'archiviazione, scaricare i job completati sulla memoria dello studio piuttosto che trattare la farm come backup a lungo termine.

Q: Come faccio a ricevere automaticamente i frame completati sulla mia workstation? A: Usare la SuperRenders Client App con una cartella di output configurata. I frame vengono scaricati man mano che ognuno termina, in modo da poter esaminare i frame iniziali mentre i frame successivi sono ancora in rendering. Il percorso di download manuale del pannello di controllo va bene per i job occasionali, ma per il lavoro di animazione il download automatico della Client App riduce molto l'attesa.

Q: La mia scena referenzia texture su un'unità di rete. Verranno caricate? A: Solo se i percorsi dell'unità di rete si trovano all'interno della cartella del progetto caricata. I worker node non possono raggiungere direttamente le condivisioni di rete dello studio. Eseguire prima localmente il comando "collect all assets" o "consolidate references" del DCC — questo copia tutti i file referenziati nella cartella del progetto e riscrive i percorsi come relativi — poi caricare la cartella consolidata. La maggior parte dei ticket di job falliti che vediamo risale al fatto che questo passaggio è stato saltato.

Formati e limiti di dimensione, nel dettaglio: perché la farm richiede il progetto non compresso e quale percorso di caricamento usare quando un progetto supera ~2 GB sono trattati nella guida dedicata: Formati di caricamento e limiti di dimensione.