jeudi 26 juin 2008

Mode opératoire pour copier notre site CMS aiki.tendo sur une clef USB

Dans un de mes premiers posts (ici), j'avais mentionné une petite merveille 'uniform server for Joomla'. Je l'utilise encore pour tester les extensions Joomla. Par contre, le contenu de cet environnement de test ne reflètait plus du tout celui du site réel. Les installations/désinstallations successives des extensions et plugins, les changements dans l'agencement des menus avaient rendu obligatoire (et salutaire) une re-synchronisation avec le site en ligne. Il fallait donc recopier le site sur notre environnement local.

Etapes.
  • Avec l'outil d'administration phpmyadmin de chez Free (http://sql.free.fr/phpMyAdmin/), on exporte l'intégralité de la base (paramètres par défaut, format compatibilité mysql4)
  • Faire une copie du fichier 'configuration.php' joomla de l"environnement local dans un répertoire extérieur.
  • Supprimer le répertoire local 'tendoryu'.
  • Copier le répertoire 'tendoryu' 'synchronisé' de notre poste Linux sur la clef USB. (300mo)
  • Copier finalement le fichier 'configuration.php' préalablement copié de tout à l'heure.
A partir de ce stade, on ne travaille que sur la partie locale de la clef (sous Windows)
Sur le site en exploitation, les vidéos sont stockées sur le site 'Youtube.com'. Pour obtenir une portabilité du site, il faut modifier tous les liens vers les fichiers videos Youtube, vers des fichiers locaux. Pour obtenir les vidéos Youtube du site, il suffit de se connecter avec son propre compte Youtube et à l'aide de l'extension Firefox 'DownloadHelper' sauvegarder en local les videos, une par une. (màj 01/08/2008: en ligne de commande sur système ubuntu, on peut utiliser youtube-dl mode operatoire ici)

  • Copier les videos *.flv dans le sous-répertoire "tendoryu/images/Stories/videos"
  • Lancer les services locaux de la clef (demarrer_serveur.exe)
  • Dézipper le fichier SQL dans un répertoire de travail.
  • Lancer le script Perl (listing plus bas) "migre-Aikitendo2Uniform.pl"
    comme suit:

    perl migre-Aikitendo2Uniform.pl aiki_tendo.sql > aiki_tendo-local.sql

  • A l'aide de l'outil local 'phpmyadmin', effacer toutes les tables 'mysql' de la base Joomla.
  • En ligne de commande lancer l'importation de la base.
    (éviter de la faire avec phpmyadmin, çà plante grave. lol).

    \Apps\Tendoryu\udrive\usr\local\mysql\bin\mysql -uroot -pxxx joomla \
    < aiki_tendo-local.sql

Voilà, voilà. Ne reste plus qu'à visualiser le travail en surfant sur le site en local.
Dernière manipulation dans la console d'administration Joomla:
  • Désactiver les plugins des statistiques qui font appel à des services internet.
    A savoir:
    - PhpmyVisites Tracker
    - JoomlaWatch
    - GoogleAnalytics Tracking module
    - Visitor map
    - Ultimate Social bookmarking plugin

Remarques:
* Les vidéos devraient être disponibles sans accès internet.
* Les cartes 'googlemaps' restent inaccessibles par contre si on n'a pas d'accès internet. Sic.


Voici le script Perl 'migre-Aikitendo2Uniform.pl':

#!/bin/perl -w
my @regextab=();
sub LireConfigRegexFile() {
my ($r,$s);
foreach ( <DATA> ) {
chomp;
next if ( /^#/ );
next if ( /^$/ );
($r,$s)=split( / / );
$r=quotemeta($r);
push @regextab, [$r, $s];
}
close DATA;
}
sub ChercherEtRemplacer() {
my ($chaine) =@_;
foreach my $a (@regextab) {
while ( $chaine =~ m/$a->[0]/) {
# On remplace le motif trouvéans la chaine
$chaine="$`" . $a->[1] . "$'" ;
}
}
return $chaine;
}
&LireConfigRegexFile();
while (<>) {
print &ChercherEtRemplacer($_);
}
exit;
__DATA__
http://fr.youtube.com/watch?v=ZTYejei-1rk Shimizu-Kenji-aikidowolf-01.flv
http://fr.youtube.com/watch?v=WwBugmzyCx4 Shimizu_Sensei_Ozoir_La_Ferriere_France_16_03_2008_01_.flv
http://fr.youtube.com/watch?v=QP_z3pAGsfk Shimizu_Sensei_Ozoir_La_Ferriere_France_16_03_2008_02_.flv
http://fr.youtube.com/watch?v=TTBUzwIabYU Shimizu_Sensei_Ozoir_La_Ferriere_France_03-18-2008.flv
http://fr.youtube.com/watch?v=mS1qoA5IMp4 Aikido-Kenji-Shimizu-Sensei-coso55-01.flv
http://fr.youtube.com/watch?v=kQaGeO6ppe8 20080520-000.mp4
http://fr.youtube.com/watch?v=F2YVdJ-8J6k aikido-Tendoryu-Pascal-Olivier--Cyril-Hamon-training-01.flv
http://fr.youtube.com/watch?v=d-_fi9ZFn4Y aikido-Tendoryu-Pascal-Olivier--training-20080531-01.flv
http://fr.youtube.com/watch?v=pEUdCAKjgN8 aikido-Tendoryu-Pascal-Olivier--training-20080531-02.flv
http://fr.youtube.com/watch?v=oSxEwLPbNuM aikido-Tendoryu-Pascal-Olivier--training-20080531-03.flv
http://fr.youtube.com/watch?v=c2lWIeRyKlM aikido-Tendoryu-Pascal-Olivier--training-20080531-04.flv
http://fr.youtube.com/watch?v=FyfRxotg4wc aikido-Tendoryu-Pascal-Olivier--training-20080531-05.flv
http://fr.youtube.com/watch?v=S-7lSTW3q-A aikido-Tendoryu-Pascal-Olivier--training-20080531-06.flv
http://fr.youtube.com/watch?v=_-ttLywxAf0 aikido-Tendoryu-Pascal-Olivier--training-20080531-08.flv
http://fr.youtube.com/watch?v=4lWHhElN5Zg aikido-Tendoryu-Pascal-Olivier--training-20080531-07.flv
http://fr.youtube.com/watch?v=l-SZbXQU3ls Aikido_tendoryu_Pascal_Olivier_training_011.flv

http://aiki.tendo.free.fr/ http://localhost/
http://aiki.tendo.free.fr http://localhost
/mnt/164/sda/1/d/aiki.tendo/tendoryu/attachments/ W:\\www\\tendoryu\\attachments\\
/mnt/164/sda/1/d/aiki.tendo/ W:\\www\\tendoryu\\


Remarque:
Le language Perl est très efficace pour 'jouer' avec les fichiers de type texte. Le script fonctionne sur Windows, comme sur Linux. Portabilité respectée.
On peut sans doute mieux faire, mais c'est suffisant pour moi. ('quick and dirty script')

L'environnement complet (photos et videos incluses) occupe 370 mega-octets.
Une petite clef USB de 512mo suffit.
Jusqu'à quand?

lundi 23 juin 2008

Website is back online...

Les administrateurs de chez Free ont travaillé d'arrache-pied pour remettre en place les sites personnels du serveur '130'. Dimanche après-midi, l'accès à notre site était donc revenu à la normale, après restauration (ou migration) des fichiers sur un autre serveur (le '164'). Les admins ont très certainement réalisés les manipulations de leur domicile par télé-travail. A moins que chez Free, ils travaillent sept jours sur sept. Je remercie l'équipe Yohan (cellule d'admins) en tout cas. Service impeccable pour un service gratuit aux particuliers.

jeudi 19 juin 2008

Site Web indisponible...

En se connectant sur le site aiki.tendo.free.fr hier soir après 22h00, j'ai eu le message de Free.fr peu convaincant:
Erreur 503 - Service indisponible
J'ai laissé passer la nuit. Il est vrai que la gestion d'un hébergement de sites web impose parfois une inaccessibilité temporaire. C'est compréhensible.
Ce matin, toujours rien. Alors j'ai écrit un post sur le forum de Free 'proxad.free.services.pagesperso' sur le newsgroup 'news.free.fr' du FAI Free:

////////////////////////////////////
Sujet: Erreur 503 - Service indisponible (page personnelle)
Corps:
Compte: aiki.tendo.free.fr
Site: http://aiki.tendo.free.fr

Je n'ai pas pu me connecter sur le site depuis hier-soir vers 22h00.
Ce matin, la situation est identique. (à 10h00)

- L'accès FTP est également impossible. (login incorrect)
- Je n'ai eu aucun courriel me signalant un blocage administratif des admins YOHAN.
- L'accès à la base d'administration phpmyadmin est normale. La base est cohérente.
- L'accès 'phpmyvisites' de Free est possible.

Hypothèses:

1- Blocage volontaire d'accès au site par les admins de chez Free. Suite failles sécurité, phishings,...
(mauvaise nouvelle pour moi)

2- Incident matériel sur le serveur.
point de montage: /mnt/130/sda/1/d/aiki.tendo (info à l'install Joomla 1.5 en mars dernier)

3- Migration en cours de sites par les admins de Free.

4- Arrêt du serveur où le site est hébergé.
Le compte a été créé, il y a très très longtemps et a été très peu utilisé depuis quelques années.
Le serveur pourrait être 'déclassé' ou 'réformé'. Pas impossible.

5- Autres...



Historique:
Le site hébergeait quelques pages statiques HTML depuis plusieurs années.
En février, il a été décidé de 'moderniser' le site en migrant vers le CMS Joomla 1.5.
Le développement s'est stabilisé il y a un mois environ.
Quelques rares composants joomla sont mises à jour de temps en temps. (1 à 2 fois/mois). Aucun développement spécifique.
Les accès sont strictement limités à deux admins joomla.
Pas de forums, pas de commentaires pour les articles, pas d'inscription libre.
(failles potentiellement limitées).
Possibilité d'envoi emails par formulaire sous Joomla. (protection par captcha). (a priori personne ne l'a utilisé).
La fréquence des visites est très faible (voir phpmyvisites pour les admins de Free). 20 visites/jour, 4 visiteurs uniques/jour.
Pas d'hébergement de videos ou de fichiers volumineux.
Le site est régulièrement visité par des pratiquants d'aikidoka étrangers à toute heure. (fuseau horaire)

Voilà, voilà. Je pense avoir été exhaustif.
Aucun incident n'a été constaté depuis la mise en place du nouveau site en février dernier.

Si un admin YOHAN peut s'intéresser quelques minutes à cet incident.

Merci par avance.

Cordialement
////////////////////////////////////

La réponse n'a pas tardé. Deux minutes plus tard, on m'explique que le serveur numéroté '130' est tombé en panne à 22:05 la veille.

perso130 , 1/3 HS...
En reparation.
(etais deja en cours de migration pour prevenir la casse, mais... )

Les administrateurs de Free travaillent au rétablissement du service.

Sic. Il faut attendre. Patience et zen attitude...

mardi 17 juin 2008

Le poids de la vidéo...

"Les images valent mieux qu'un long discours".

Une séquence animée est encore meilleure pour l'internaute visiteur.
Par contre, c'est un peu le cauchemar pour le gestionnaire du site Web.
En effet, la taille des vidéos devient très vite importante si la qualité d'image est, un petit soit peu, correcte. Un DVD n'occupe pas moins de 4 giga-octets; un film DIVX pèse 700 mega-octets, un clip: une trentaine de mega-octets.
Le visiteur devra faire voeux de patience pour pouvoir télécharger le film sur son ordinateur et enfin le visualiser. Les connections rapides comme l'ADSL deviennent alors vivement conseillées.
Autre problème, l'hébergeur du site limite bien souvent la place disque. Et bien souvent, sur les sites payants, le volume du traffic est limité pour les premières offres d'hébergement.

Avec les contraintes citées çi-dessus, j'ai opté pour un hébergement externe des vidéos chez youtube.fr . Les vidéos 'uploadées' sont par contre 'retravaillées' après transfert par Youtube.
La qualité est généralement bien moindre que celle de la vidéo originale. Mais bon, il faut bien faire un compromis entre la taille de la vidéo et la qualité. Bref, ne pas faire trop attendre l'internaute qui veut 'consommer' la vidéo rapidement. Une attente excessive et il passera son chemin.

La solution 'youtube' est donc un bon compromis pour les clips vidéos de quelques minutes. Par contre, faire partager un court-métrage ou un film DVD est impossible avec Youtube. J'ai donc cherché une solution de partage de fichiers.

Les critères:
  • gros volume
  • accès facile
  • pas de quotas d'upload, ni de download
  • possibilité de partage de fichiers et/ou répertoires via un navigateur web
  • gratuité... (important!!)
Pas facile? En cherchant on trouve Adrive.com qui correspond parfaitement à notre attente.
50 Go de disque par compte. gratuitement. Bigre, c'est fort!

Essayé et adopté. Cà fonctionne parfaitement.
Il ne reste qu'à mettre en place le système en production. Les vidéos des séances d'aïkido seront prochainement téléchargeables directement des articles du site http://aiki.tendo.free.fr en complément des clips 'youtube'.

astalavista.