Récupérer les images, les héberger, refaire les liens

A LIRE AVANT DE POSTER

Modérateurs: Aya, gigi, DanCarter

Re: Récupérer les images, les héberger, refaire les liens

Messagede Charlie_41 » Mer 11 Avr 2018 13:50

Super ! Et encore merci pour tout ce travail !
Charlie_41
 
Messages: 10
Inscription: Mar 3 Avr 2018 15:37
Localisation: 28360

Re: Récupérer les images, les héberger, refaire les liens

Messagede CanYakaGéro » Jeu 12 Avr 2018 18:51

A priori toutes les url n'ont pas été modifiées. Je dois regarder qu'elles en sont les raisons et y remédier ce soir.
CanYakaGéro
 
Messages: 93
Inscription: Sam 20 Jan 2018 12:22

Re: Récupérer les images, les héberger, refaire les liens

Messagede zoar » Jeu 12 Avr 2018 22:01

Bonjour CanYakaGéro

où est-ce que ça en est au niveau de votre script ?
J'ai appris seulement aujourd'hui pour la fermeture de hostingpics et là c'est la panique, car du coup je cherche aussi à récupérer mes images, et j'aimerais appliquer votre méthode à savoir : les aspirer depuis hostingpics avec votre script, lequel si j'ai bien compris me les mettrait automatiquement dans un répertoire du FTP de mon forum (qu'on peut paramétrer c'est ça ?)

ensuite j'imagine qu'avec quelques requêtes SQL bien senties ça devrait être possible de remplacer dans les posts les occurrences à hostingpics par PHPBB-services (mon serveur d'hébergement) mais il y a pas mal de serveurs hostingpics différents apparemment, img11, img15 j'espère que ça ne posera pas de problèmes. Votre script gère t'il l'étape d'après à savoir aussi le remplacement des liens dans les posts par les nouvelles url ?

Merci d'avance :D et merci pour tout ce boulot
zoar
 
Messages: 31
Inscription: Mar 23 Avr 2013 13:52

Re: Récupérer les images, les héberger, refaire les liens

Messagede CanYakaGéro » Jeu 12 Avr 2018 22:19

Hello

Le script en est à sa phase finale. Je fais tout pour le finir cette semaine mais à priori quelques bugs encore de mon côté. Sachant qu'après cela serait bien que le script soit mis en phase de test sur plusieurs forums pour que je le corrige si nécessaire.

Quel est votre forum?
CanYakaGéro
 
Messages: 93
Inscription: Sam 20 Jan 2018 12:22

Re: Récupérer les images, les héberger, refaire les liens

Messagede zoar » Jeu 12 Avr 2018 22:24

https://www.les-ailes-immortelles.net/forum/

mais en fait votre script n'aurait pas été moins lourd et plus simple à faire s'il avait consiste juste à "aspirer" les images de hostingpics (en allant les chercher dans chaque topic) et en les récupérant en local,
sans rien faire d'autre ?
ensuite, à la main, on met les images dans le bon dossier par FTP
puis on applique les requêtes SQL nécéssaires ça doit être faisable ainsi non ?
parceque là si j'ai bien compris (mais j'ai lu vos posts en diagonale) votre script fait beaucoup plus que ça non ? il va carrément mettre les images en upload aussi ? ça multiplie pas la charge par rapport au serveur ça ?
zoar
 
Messages: 31
Inscription: Mar 23 Avr 2013 13:52

Re: Récupérer les images, les héberger, refaire les liens

Messagede CanYakaGéro » Jeu 12 Avr 2018 23:56

Super, votre forum semble être en 3.1.9 et mon extension nécessite a minima 3.1.6 :wink:

Alors, pour répondre à votre question, voilà comment agit l'extension :
  • analyse de tous les messages pour y repérer le terme *hostingpics.net*
  • enregistrement, dans une table créée pour cela, de tous les ID des messages trouvés
  • analyse, pour chaque message trouvé, de tous les liens vers hostingpics
  • enregistrement, dans une autre table spécialement créée, de tous les liens
  • récupération de tous les liens vers hostingpics et si le lien est fonctionnel (au cas où une image n'existerait plus), enregistrement dans un dossier choisi par l'utilisateur de l'extension

Rien n'est surchargé, car l'extension travaille par paliers. S'il y a 100 000 messages, tous les messages ne seront pas analysés d'un coup mais par paquets de 5, de 50, de 200 (au choix de l'utilisateur).

Que j'enregistre les images sur le serveur ou en local reviendra au même. Sauf qu'en local, je devrai créer un fichier archive (ZIP ou autre) pour que l'utilisateur ne se retrouve pas avec 100 000 images chargés sur son ordinateur.
CanYakaGéro
 
Messages: 93
Inscription: Sam 20 Jan 2018 12:22

Re: Récupérer les images, les héberger, refaire les liens

Messagede zoar » Ven 13 Avr 2018 00:21

Je vois, ça a l'air bien sympa comme script, pour l'histoire du choix (en local sous forme de zip, ou directement en ligne sur le serveur, comment ça va se passer au juste ; On vous demande à l'avance ?
et d'ailleurs pour le répertoire de destination (au cas où on l'envoie directement sur le serveur) c'est facile à changer, ou bien il faut vous le signifier et vous allez l'indiquer dans le code ?

en tout cas c'est super, vous pensez avoir fini d'ici 8 jours ?
hostingpics ils vont tenir ouverts encore longtemps ? ça fait déjà 3 mois et demi la fermeture apparemment (j'ai l'impression que j'ai du bol d'avoir vu cette histoire de fermeture, quelqu'un de mon forum m'a prévenu aujourd'hui d'ailleurs, autrement j'aurais pu passer à côté car cela faisait pas mal de mois que je n'utilisais plus hostingpics, j'aimais beaucoup le service à une époque mais certains bugs à répétition m'avaient découragé vers 2015-2016, des images qui ne s'affichaient plus sur des serveurs entiers (comme img14 de mémoire) ; Depuis je met tout sur servimg.com mais je sens qu'un jour il va se passer la même chose

ce qui m'amène à cette question : Est-ce que votre script sera éventuellement adaptable à d'autres sites (au cas où un jour on doive le réutiliser pour chopper les images d'un autre hébergeur en péril par exemple ? c'est juste quelques parties du code à changer ou c'est beaucoup plus complexe ?
zoar
 
Messages: 31
Inscription: Mar 23 Avr 2013 13:52

Re: Récupérer les images, les héberger, refaire les liens

Messagede CanYakaGéro » Ven 13 Avr 2018 00:36

Je ne propose pas la version ZIP car je ne sais pas gérer cette fonctionnalité.

J'ai également appris "par hasard" cette fermeture. Pour la petite histoire, je gère un forum pour le compte d'une asso (bénévolement). Un jour, sur un groupe facebook, une personne pose une question, je le renvoie à ce forum en question. La personne y poste sa demande mais je trouve bizarre qu'elle n'y mette pas de photo (car nécessaire). Je lui fais donc remarquer qu'il a "oublié les photos" mais il me dit qu'il n'a pas pu en mettre. Alors je teste et cela ne fonctionne pas. Curieux, je viens sur HostingPics et je vois le message signalant l'arrêt des services.

Comme il est de ma "responsabilité" qu'il ne se perde rien sur le forum que je gère, je décide direct de créer un script pour récupérer les images du forum. Mais bon, je décide aussi de le partager avec d'autres qui pourraient se trouver en difficulté. Voilà le pourquoi de ma présence ici.

Quant à la question de savoir si le script fonctionnera avec d'autres sites, la réponse est : NON. Pour la simple et bonne raison que les requêtes ne seront pas les mêmes, étant donné que les champs dans les tables ne sont pas les mêmes. Mais il reste adaptable après réécriture.

Pour e qui est d'être utilisable un jour pour un autre hébergeur d'images, je dirais que ce n'est pas possible car les codes ne seront pas les mêmes. Mais il est vrai que je pourrais éventuellement développer quelque chose dans ce style. Au moins, si une personne décide de ne plus utiliser un hébergeur d'images, il pourrait récupérer ses images sans souci ^_^

Néanmoins, j'ai pensé à faire le même script pour WordPress et autres sites, si cela m'est demandé. A ce jour, je n'ai pas de demande alors je ne le fais pas.

Un membre ici a un forum qui ne prend pas en charge les extensions alors je vais lui faire cela sous forme d'un MOD (ancêtre des extensions). Là ce sera pareil, je n'aurai qu'à prendre la page de l'extension et à la mettre en forme pour qu'il n'y ait pas de bogue sur son MOD.

Pour le délai de *livraison* de mon extension, je viens de le passer en revue et n'ayant qu'un forum en référence il me sera impossible de voir tous les éventuels dysfonctionnements. Alors je pense que je vais le "lancer" pour des tests. Alors si vous voulez le tester je pourrai vous le filer, ou vous me passez une copie de votre table phpbb_posts pour que j'y effectue les tests et que je vérifie que tout est bien modifié et surtout fonctionnel.

Le must du must serait d'avoir quelqu'un qui a un forum/site et qui saurait me dire combien d'images il a hébergées sur hostingpics pour que je puisse vérifier que le nombre d'images que je récupère correspond bien.
CanYakaGéro
 
Messages: 93
Inscription: Sam 20 Jan 2018 12:22

Re: Récupérer les images, les héberger, refaire les liens

Messagede CanYakaGéro » Ven 13 Avr 2018 02:48

Re,

Je viens de tester le script sur le forum où je fais la maintenance.

Tous les liens ne sont pas modifiés. A priori certaines images ne sont pas copiées. Je dois donc étudier les messages avant/après lancement du script pour repérer où cela n'a pas pris et en comprendre les raisons. Puis apporter les améliorations nécessaires.

Bonne nuit :wink:
CanYakaGéro
 
Messages: 93
Inscription: Sam 20 Jan 2018 12:22

Re: Récupérer les images, les héberger, refaire les liens

Messagede khoufou » Ven 13 Avr 2018 07:04

Bonjour,
Je lis ici des commentaires relatifs à un script qui permettrait de scanner la base de donnée d'un forum pour récupérer les url relatifs à HostingPics et la modifier en fonction de l'url du nouvel hébergeur.
Cela nous intéresse énormément (forum ddchampo) car nous avons tenté de mettre au point un mécanisme similaire et nous galérons).
Il semblerait que ce script soit au point, mais je ne trouve aucun endroit où le télécharger.
Pouvez-vous m'éclairer ?
Merci d'avance.
khoufou
 
Messages: 4
Inscription: Lun 22 Jan 2018 19:23

PrécédenteSuivante

Retourner vers Les règles du forum

Qui est en ligne

Utilisateurs parcourant ce forum: Aucun utilisateur enregistré et 2 invités

cron