[RéSolu] Base de données, D'une boutique à une autre ... Options

[yhugo]

Bonjour tous,

Je travaille sur la migration de la boutique en ligne de mon employeur vers la solution osCommerce (version osCSS). Tout ce passe bien.

Cependant le nerf de la guerre c'est bien sûr la récupération de toutes les données de la boutique actuelle et de les faire entrer dans la base MySql utilisée par osCo., et cela pour nous éviter deux semaines assez chiantes.

Dans la boutique actuelle, tournant sous clicshop pour ceux que ça intéresse, j'ai la possibilité d'exporter la base de données sous 3 formats :

1- Fichier texte délimité par TAB
2- Microsoft Access 97
3- Microsoft Access 2000

Bon j'ai choisi le 3 ième, car je voulais voir comment les tables étaient construites afin de les comparées à celles de osCo. ... Et c'est très différent évidemment !

Puis toujours dans Access j'ai renommé certains champs correspondand à ceux dans la base osCo... car en fait je n'ai pas besoin de toutes les infos de l'ancienne bd, surtout les noms des produits, les cétgories, les prix, les modèles, descriptions, etc ...

Ensuite, j'ai sauvegardé le tout en CSV puis j'ai essayé une importation avec Excel Import ...

Par contre rien ne se passe, bien ça semble upLoader, mais quand je vais voir le résultat, rien ... absolument rien ! Aumoins si j'avais un message d'erreur, ça me metterait sur une piste, mais là rien !


Est-ce un bug d'Excel Import ou quelquechose que je n'ai pas pigé ? Ou une lacune dans ma méthode ?

Ma connaissance des base de données est très superficielle ... Mais ne serait-ce pas plus simple si je pouvais à l'aide de commandes SQL envoyer des donnés des tables directement dans les bons champs ?

Merci d'avance de votre aide ...



yhugo

Ce message a été modifié par yhugo - 15 Aug 2006, 14:27.

[thematrixisme]

disons que ca ne va pas être facile de faire le datamapping entre deux boutiques de conception aussi différentes.

est-ce que tu veux exporter uniquement les clients/commandes/produits? ou encore d'autres choses?

de toute facon, tu dois exporter en tab delimited. ensuite tu dois faire le mapping champ par champ avec la DB oscommerce... et attention, il faut que les "types" de données correspondent aussi. une fois cela fait, tu peux soit créer un petit script PHP qui va lire ton fichier et créer des requetes SQL à la volée, ou essayer une importation depuis un fichier tab-delimited... mais dans ce dernier cas, il faut que ton fichier soit 'parfait', c'est à dire qu'il corresponde totalement à la DB osC

de toute facon, c'est un gros boulot

[yhugo]

est-ce que tu veux exporter uniquement les clients/commandes/produits? ou encore d'autres choses?

En fait, si je pouvais récupérer les noms des produits, les cétgories, les prix, les modèles, descriptions; Je serait déjà très heureux !

Est-ce que je pourrais y aller tables par table : Par exemple, prendre la table osc_products et faire une réplique de sa structure pour les données de l'ancienne bd qui tourne pour clicshop, en laissant vide les champs qui n'existait pas dans la précédente bd ?

Je sais pas si je l'exprime clairement ?


Merci



yhugo

[thematrixisme]

oui tu peux. mais attention que la table products est liées aux autre tables;

regarde bien le schéma de DB... tu verras que tu dois créer des products to catégories et products_description, etc...

[yhugo]

Merci de ton aide thematrixisme ...

Je vais m'attaquer à ça lundi ... et je vais sûrement resolliciter de l'aide ... mais c'est dans ce genre de
défis qu'on apprend le plus ... ou qu'on suppli le plus, c'est selon




yhugo

[thematrixisme]

oui, tu as bien raison.

n'oublies jamais de toujours commencer par un petit dessin sur feuille, ca solutionne beaucoup de problèmes

[yhugo]

Bon lundi à tous,

salut thematrixisme,

Les tables que je pense devoir convertir :

- osc_products
- osc_products_attributes
- osc_products_description
- osc_products_to_categories

Est-ce que j'en oublie ?

Dans le cas d'une importation dans phpMyAdmin, que ce passe-t'il avec les id des produits ? Se convertissent-ils en s'ajoutant à la suite de ceux qui existent déjà ? Ou y'a-t'il danger que le products_id de départ écrase celui de destination ?

Avant de commencer l'importation suis-je mieux d'être sage et de faire un backUp de ma base osCSS ?

Ah, que de manque de confiance en soi


Merci !



yhugo

[thematrixisme]

Est-ce que j'en oublie ?

oui

- osc_products
- osc_products_attributes
- osc_products_description
- osc_products_to_categories
- osc_products_options
- osc_products_options_values_to_products_options
- osc_products_options_values

Se convertissent-ils en s'ajoutant à la suite de ceux qui existent déjà ? Ou y'a-t'il danger que le products_id de départ écrase celui de destination ?

non impossible. puisque ce sont des nouvelles tables que tu créées, le id sera le même que celui d'origine, il ne sera pas augementé, et n'écrasera pas le précédent.

Avant de commencer l'importation suis-je mieux d'être sage et de faire un backUp de ma base osCSS ?

ca c'est sûr!

je ne sais pas pourquoi, j'ai l'impression que tu n'as pas tout bien saisi au changement... relis bien le post... il est question de nouvelles tables pas de mises à jours de table existantes...

[yhugo]

je ne sais pas pourquoi, j'ai l'impression que tu n'as pas tout bien saisi au changement... relis bien le post... il est question de nouvelles tables pas de mises à jours de table existantes...

T'as raison je ne l'avais pas saisi celle-là


Je viens d'avoir une idée ... je sais pas si ça peut marcher ... je m'explique :

Bon les données dont j'ai besoin sont dans une base de données que j'ai exporté dans Access2000 ... mais je veux ces données dans ma structure osCss ...

Donc dans ma bdd Acess je pourrais importer les tables de ma bdd osCss relatives à osc_products (est-ce que'une importation en xml pose problème de MySql à Access, je l'ai essayé ça semble parfait ?) ...

Donc dans ma bdd Access j'aurais les tables suivantes :

- osc_products
- osc_products_attributes
- osc_products_description
- osc_products_to_categories
- osc_products_options
- osc_products_options_values_to_products_options
- osc_products_options_values

En principe il ne me reste plus qu'à les remplir avec les données qui correspondent en les copiant-collant d'une tables à l'autre ...

et finalement exporter de Access vers phpMyadmin les tables ...


Mais il y a quelquechose qui m'embête ... les noms des produits français-anglais dans la bdd Access sont en deux colonnes, soit une où il y a le nom du produits en français et l'autre champs où le nom du produits en anglais...


Tandis que les noms des produits dans osCss sont tous dans la même colonne et une autre colonne détermine si le nom est en fraçais ou en anglais par la valeur 1, pour français ou la valeur 2 pour anglais ... Donc il y a deux rangées par produits ... Je ne vois pas comment je pourrais fixer ça sans le faire manuellement ?


Merci



yhugo

[yhugo]

Mais il y a quelquechose qui m'embête ... les noms des produits français-anglais dans la bdd Access sont en deux colonnes, soit une où il y a le nom du produits en français et l'autre champs où le nom du produits en anglais...

Tandis que les noms des produits dans osCss sont tous dans la même colonne et une autre colonne détermine si le nom est en fraçais ou en anglais par la valeur 1, pour français ou la valeur 2 pour anglais ... Donc il y a deux rangées par produits ... Je ne vois pas comment je pourrais fixer ça sans le faire manuellement ?

Finalement ça je crois l'avoir réglé mon problème cité ci-haut ... en fait c'était un peu bête de ma part : je n'ai que répété les products_id ... Donc dans la table osc_products_description, j'ai mît les 1000 produits en français avec le language_id à 1 ... et ensuite les 1000 en anglais avec le language_id à 2 ...

-----------------------------

Maintenant j'ai maquillé mes tables Access comme celles d'osCo, mais comment je fais pour les importer ... quelle est la technique ... j'ai fouillé dans le forum, mais j'ai rien trouvé de clair ni de précis pour me permettre de comprendre ?!

Dois-je exporter en .csv ou en .txt ? Avant d'importer mes tables est-ce que je supprime celles qui seront remplacées dans osCo ? Est-ce que je dois absolument passer par des contributions du type Exel Import et EasyPopulate ? Serais-ce mieux si je le faisais directement en SQL avec quelquechose comme MyODBC ?


J'ai réessayé exel import, toujours rien, je me sens un peu niais ...



Merci



yhugo

[Zzzzz]

Bonjour,

Si ca peut aider.
Moi je passe par Mysql directement en faisant un import de fichiers .sql pour les differentes tables:
ex:

CODE

Pour la table products:
insert `products` values (products_id_1, products_quantity_1, ..., products_ordered_1);
.
.
insert `products` values (products_id_1000, products_quantity_1000, ..., products_ordered_1000);


Pour la table products_attributes:
insert `products_attributes` (products_attributes_id_1, products_id_1, ..., products_attributes_units_price_1);
.
.
insert `products_attributes` (products_attributes_id_1000, products_id_1000, ..., products_attributes_units_price_1000);

et idem pour les autres tables

Tu peux ainsi creer un script sur Access qui te sort un fichier .sql pour chaque table (ou pour toute les tables).

[sumfvm]

http://www.oscommerce.com/community/contributions,500

Easy populate pour l'import-export de données vers ou d'OSC pourrait peut-être vous aider...

[thematrixisme]

Maintenant j'ai maquillé mes tables Access comme celles d'osCo, mais comment je fais pour les importer ... quelle est la technique ... j'ai fouillé dans le forum, mais j'ai rien trouvé de clair ni de précis pour me permettre de comprendre ?!

Importer depuis osc -> access : tu exportes tes tables depuis phpmyadmin et ensuite tu fais une requete SQL directement dans access avec ton fichier exporté.

Importer depuis access -> osc : il doit exister dans access une technique pour exporter au format SQL? sinon tu exportes en excel/CSV et tu utilises easypopulate ou directement phpmyadmin.

c'est un peu plus clair pour toi?

[qwerty]

bonjour,
le plus simple et le plus rapide c'est effectivement d'installer easypopulate ensuite de recuperer un fichier csv de ta base actuel et de faire un copier coller des colonnes correspondante vias excell dans le fichier de easypopulate en faisans bien attention d'assigner une reference unique pour chaque produit dans la colonne v_products_model la premiere colonne du fichier easypopulate

maintenant je sais pas si easypopulate fonctionne avec oscss sans modification.

Bon en me relisant je suis vraiment pas doué pour expliquer moi
mais j'ai de mon mieux

[yhugo]

Bon avec l'aide de quelques uns d'entre-vous j'ai avancé considérablement, plusieurs tables sont maintenant importées dans osCo. Merci !

-----------------------------------------------

Mais j'ai un petit noeud au niveau de la table osc_products_description !

J'ai 1229 produits (français / anglais) donc 2458 rangés ... Ce n'est pourtant pas si lourd, la table est 242 Ko

Cette table est exportée de Access vers le format .txt avec des TAB pour séparateur de champs et rien comme délimiteur de texte, puis en UTF-8 ...

Alors par l'entremise de phpMyAdmin (hébergeur godaddy.com), je tente d'importer mon fichier .txt ... Rien upload ! C'est archi long, conséquense : phpMyadmin se déconnecte à la suite de ce délais !

J'ai aussi essayer avec le logiciel MySQL-Front (un logiciel efficace néanmoins) et ça galère tout autant ...

Je me suis dit que si ce fichier de 242 Ko était trop lourd j'allais donc importer mes données par tranches de 100 !

Les 100 premières entrées ça va ... mais quand j'en ajoute 100 autres 2 rangées me manques ... j'ai décidé de ne pas faire confiance à cette méthode non plus !



Voilà où j'en suis ... Quelqu'un aurait un indice ?


Merci




yhugo

[thematrixisme]

2 rangées me manques

que veux-tu dire par là? quand tu découpes ton fichier SQL (il existe des outils pour le faire correctement) fais attention à couper à la bonne ligne et pas en plein milieu d'une insertion... ca peut paraitre bête mais on se trompe vite;

ce qui est plus étonnant c'est de ne pas arriver à récupérer une DB qui ne fait "que" 250ko.... et en local as-tu essayé?

[yhugo]

Bonjour,

ce qui est plus étonnant c'est de ne pas arriver à récupérer une DB qui ne fait "que" 250ko.... et en local as-tu essayé?

Ouais, je ne m'y connais pas encore beaucoup en base de données, mais 250 Ko ça m'a semblé pas beaucoup à moi aussi ... Je me disais que c'étais peut-être l'hébergeur qui était en cause ?

que veux-tu dire par là? quand tu découpes ton fichier SQL (il existe des outils pour le faire correctement) fais attention à couper à la bonne ligne et pas en plein milieu d'une insertion... ca peut paraitre bête mais on se trompe vite;

Quels sont ces outils dont tu parles ? Je découpais simplement par copier / coller ... en respectant la forme et les TABS, mêmes quand les cellules étaient vides

Lorsqu'on a une erreur de syntaxe lors d'une importation de fichier avec phpMyadmin, comment fait-on pour savoir comment réécrire correctement les informations erronées ? Où puis-je trouver des références précises sur le genre de syntaxe à adopter ?

Exemple: J'ai tenté d'importer seulement 10 entrées de la tables osc_priducts_description ... et j'ai eu un rapport d'erreur de syntaxe ... j'ai ensuite enlevé les infos du champs products_description, puis ça a marché ... donc l'erreur venait de ce champs, mais était-ce dû au formatage du texte ? Des caractères qui ne devraient pas s'y trouvé ? Comment savoir ? Les caractères tels que &# ou autres sont-ils acceptés ?

Merci encore




yhugo

[thematrixisme]

Quels sont ces outils dont tu parles ? Je découpais simplement par copier / coller ... en respectant la forme et les TABS, mêmes quand les cellules étaient vides

ca ca m'inquiète vraiment... tu ne dois couper qu'après une insertion totale, c'est à dire après un ";"

mais par contre il est fort probable que tu aies des problèmes de guillement dans tes descriptions et/ou de caractères europééns...

le mieux c'est de faire des tests... et au besoin rajouter des anti-slash devant tes guillemets...

[yhugo]

ca ca m'inquiète vraiment... tu ne dois couper qu'après une insertion totale, c'est à dire après un ";"

mais par contre il est fort probable que tu aies des problèmes de guillement dans tes descriptions et/ou de caractères europééns...

le mieux c'est de faire des tests... et au besoin rajouter des anti-slash devant tes guillemets...

Moi aussi je m'inquiète parfois ...

Pour qu'on se comprenne bien ... Comment dois-je séparer mes données dans mon fichier .txt ? Parce qu'en ce moment j'utilise les TABS pour les champs et des espaces entre les données ...

Voilà à quoi ressemble mon fichier osc_products_description

Donc dois-je utiliser plutôt les ; et les " ?

Et concernant mes erreurs de syntax, je devrais donc vérifier toutes les caractères ... Puisqu'il le faut ... des caractères tels que &, ½, m³, je les soupçonne de complicité ...

Merci


yhugo

[yhugo]

Exemple ...

Voilà que j'ai fait un test en local avec les 10 premières entrées :

CODE

1    1    Dairy Starter cultures    by T.M. Cogan & J.P. Accolas, 277 pg, 1995
Éditeur : Wiley-Interscience (décembre 1995)
Format : Relié - 290 pages Dimensions (en cm) : 2 x 15 x 23.  Version anglaise        0            
2    1    Table d'égouttage à 4 goulottes, 26 x 60 x 30'', 14ga            0            
3    1    Coton à fromage synthétique 11"x36" 50 f    Aussi disponible: 100 et 500 feuilles.        0            
4    1    coton à fromage synthétique 55x510 verges/ rouleau            0            
5    1    FRESCO-130 congelé 500g    Mélange homofermentaire.  Phage controlé. Fromage Cottage.        0            
6    1    CH-1 lyophilisé 50u    Yogourt thermophile, CH-1  lyophilisé 50u.Saveur forte  viscosité lente yogourt YO-FLEX.  Aussi disponible: 200u et congelé 500g        0            
7    1    CR-319  congelé 500g    Mésophile saveur controlée  CR-319 congelé 500g. continental , cheddar  cheese types.        0            
8    1    DSG-2000-10  congelé 500g    EXACT mésophile. Saveur moyenne texture normale   concept rotation des phages
Application :  Lait de beurre, crème sure,fromage frais et autres ferments de produit laitier.        0            
9    1    DSG-2000-40  congelé 500g    EXACT mésophile. Saveur moyenne texture normale   concept rotation des phages
Application: lait de beurre, crème sure, fromage frais et autres produits pour lait fermentés.        0            
10    1    L.CASEI-01  lyophilisé 5x25g    NU-TRISH  souche unique.  Souche unique L.casei subsp  paracasei. Application:  produit de lait fermenté avec probiotiques.  Aussi disponible: 10x250g et congelé 500g.        0            

Et voilà ce que j'ai comme erreur ...



Dès la première ligne ... c'est encourageant



yhugo

[fissiaux]

C'est un peu normal, car ton fichier ne contient pas des requetes SQL mais des enregistrements de données de type CSV.

Perso, je ne sais pas si on peut faire un rechargement avec ce type de données.

[yhugo]

C'est un peu normal, car ton fichier ne contient pas des requetes SQL mais des enregistrements de données de type CSV.

Perso, je ne sais pas si on peut faire un rechargement avec ce type de données.

Ah ben là je ne comprend plus rien ?


Comment devrais-je faire alors ? De quelle façon intègre-t-on ces requêtes dans un fichier tel que le mien ?




merci




yhugo

[fissiaux]

Perso, je ne sais pas si on peut faire un rechargement avec ce type de données.

Quand je disais cela, je pensais chargement par phpmyadmin, pas par excel import.

[yhugo]

... j'ai procédé avec phpmyadmin et non avec Exel Import ?!


Merci d'avoir rajouté une brique à l'édifice de ma confusion

[yhugo]

J'ai tout refait à la main ... le plus simple parfois c'est faire table rase et recommencer.