Auteur Sujet: [résolu] Optimisation dictionnaire  (Lu 12237 fois)

0 Membres et 1 Invité sur ce sujet

Hors ligne h4ckr0

  • Membre Junior
  • *
  • Messages: 35
  • +4/-1
[résolu] Optimisation dictionnaire
« le: 17 juin 2013 à 01:39:49 »
Bonjour !

Alors voilà je suis à la recherche d'un script permettant d'optimiser son dictionnaire, en supprimant les doublons et etc...
Vous allez tout de suite me dire, un script ? Meuh t'es fou ! Et me citer :
cat dico | sort | uniq > dico_opti.txtLe soucis c'est que j'ai un dico plutôt ( assez ) énorme et ne peu le faire car cela surcharge mon dossier tmp et par conséquent mon disque dur, je parle d'un dico de 160 GO hein... Du coup si vous avez une solution je suis toute ouïe ...

J'ai aussi penser pendent 10 secondes à l'idée de couper le fichier en morceau avec :
split -b 10G dicomais c'est pas très malin car je trouverais les doublons que dans des "morceau" sachant que j'ai racoler une centaine de dico bout à bout...

PS : Je n'ai pas le temps de coder un script moi même car je suis en épreuve de bac, je commence dans 12h30 :D
PSS : J'ai essayer de coder un truc vite fait mais le soucis c'est que dans mon dico à un moment j'ai un caractère qui est considérer comme la fin du fichier et fait planter mon prog ...
« Modifié: 17 juin 2013 à 21:12:13 par h4ckr0 »

Hors ligne platon-y

  • Membre sérieux
  • ***
  • Messages: 358
  • +19/-4
  • *CCCP*
    • hackoibon
Re : Optimisation dictionnaire
« Réponse #1 le: 17 juin 2013 à 12:24:08 »
mon dico est enorme, aussi, j'ai juste couper celui ci en plusieur morceau et puis ben si on pouvait allez plus viteon serait a autre chose je pense, s'est normal que sa prenne du temps, on ma conseiller aupparavant pour avoir plus de puissance d'accoupler ma carte graphique a mon cpu... s'est tous se que je peut dire pour le moment
https://pctamalou.fr/hackoibon/
Comment peut-on accepter la liberté sans libération?
Je sais juste que "rebelle" plus "lion" donne le mot "rébellion"

Hors ligne h4ckr0

  • Membre Junior
  • *
  • Messages: 35
  • +4/-1
Re : Optimisation dictionnaire
« Réponse #2 le: 17 juin 2013 à 12:51:12 »
En faites ce n'est pas une question de vitesse mais d'impossibilité, ayant une SSD de 256 GO, qui est vraiment bien plein, je ne peu pas faire de
cat dico | sort | uniq > dico_opticar cat écrit dans /tmp/ et sature totalement mon SSD, l'opération s'arrête donc avec un message d'erreur type :
Pas assez d'espace disque pour continuer l'opération ( dans le genre hein je me souviens plus )

J'ai penser à un script lisant le dico mot par mot, écrirait ce mot dans un autre dico et se servirait du nouveau dico pour vérifier si le mot est déjà présent, me permettant ainsi de faire l'opération sur un disque dur externe et de ne pas saturer ma ram, car 160 GO de ram, j'ai pas vraiment ça :D

Hors ligne h4ckr0

  • Membre Junior
  • *
  • Messages: 35
  • +4/-1
Re : Optimisation dictionnaire
« Réponse #3 le: 17 juin 2013 à 21:11:43 »
En faites, après avoir réfléchi à peine plus longtemps j'ai juste eu à monter mon disque dur externe dans le dossier tmp comme ça la place pour le traitement n'est plus un soucis !

Hors ligne platon-y

  • Membre sérieux
  • ***
  • Messages: 358
  • +19/-4
  • *CCCP*
    • hackoibon
Re : [résolu] Optimisation dictionnaire
« Réponse #4 le: 18 juin 2013 à 01:36:56 »
la vitesse est forcement importante au fait que celle ci détermine le nombre de cle par seconde qui va être déchiffrer, a ce stade, je ne répond plus vraiment, c'est en somme toute logique ni plus - ni moins
ton dictionnaire peut bien faire deux TO, que si tu déchiffre une cle avec 500 KO (le fichier tmp, et ton proccesseur sert a quoi) par seconde sa servira a rien, sa mettra du temps, et sur un DD externe par usb, va savoir....    ::) je m'ennuie
« Modifié: 18 juin 2013 à 01:39:54 par platon y »
https://pctamalou.fr/hackoibon/
Comment peut-on accepter la liberté sans libération?
Je sais juste que "rebelle" plus "lion" donne le mot "rébellion"

Hors ligne h4ckr0

  • Membre Junior
  • *
  • Messages: 35
  • +4/-1
Re : [résolu] Optimisation dictionnaire
« Réponse #5 le: 18 juin 2013 à 12:09:53 »
A mon avis tu m'as pas compris, je n'ai pas parler une seule de fois de déchiffrer une clé, mais juste d'optimiser mon dictionnaire, chose que je ne pouvais pas faire car mon dossier /tmp/ était saturer par :
cat Dico | sort | uniq > Dico-opti.txtpuise que il reste 5 GO sur mon SSD, je me répète je n'ai pas parler une seule fois de déchiffrage, donc je ne vois pas pourquoi tu m'en parlais :/
Et après avoir allouer mon DDE au dossier tmp, a commande à écrit pour plus de 10 GO de fichier, c'était donc a cause de la non place de mon SSD que je ne pouvais pas optimiser mon dictionnaire.

Et bien sur que la vitesse à une importance pour le déchiffrage, elle est même maîtresse, je couple mon aussi mon processeur et ma carte graphique pour le déchiffrage, je pense qu'on a pas du bien se comprendre à un moment donner :/

PS : Mon dico est passer de 160 GO à 140 GO j'ai donc bien résolu mon soucis

Hors ligne platon-y

  • Membre sérieux
  • ***
  • Messages: 358
  • +19/-4
  • *CCCP*
    • hackoibon
Re : Re : Optimisation dictionnaire
« Réponse #6 le: 19 juin 2013 à 01:36:54 »
je pense avoir bien lu le titre, je doutais sur l'utilisation du dictionnaire, :)
évidemment je prend 140 giga pour le fun  ???
ouaih

En faites, après avoir réfléchi à peine plus longtemps j'ai juste eu à monter mon disque dur externe dans le dossier tmp comme ça la place pour le traitement n'est plus un soucis !
sauf si sa traite autre qu'un dictionnaire  :o
https://pctamalou.fr/hackoibon/
Comment peut-on accepter la liberté sans libération?
Je sais juste que "rebelle" plus "lion" donne le mot "rébellion"