• ouille@jlai.lu
    link
    fedilink
    Français
    arrow-up
    4
    ·
    edit-2
    3 months ago

    Les premiers tests sont assez incroyables. Avec le modèle Mistral 7B, sur CPU, la réponse est quasiment aussi rapide que ChatGpt. Un peu moins bonne (qualité). Mais surtout, la dernière version que Mistral 7B essayée à partir de python/transformer, tournait sur le GPU et plantait parfois. La pas de soucis (je n’ai pas fait beaucoup de tests non plus). Sur quelques tests techniques, Mistral 7B se plante allègrement, Mistral 8x7B donne un résultat concis et juste (un peu lent), Mistral 70B rame je n’ai pas attendu le résultat. Clairement à essayer, très simple d’emploi, et à mon avis peut remplacer chatgpt pour des fonctionnalités basiques. Bon par contre je vais tester sur des machines un peu plus basiques avant de conclure.

    • Climatix@jlai.luOPM
      link
      fedilink
      Français
      arrow-up
      3
      ·
      3 months ago

      Oui c’est incroyable, je suis en train de le tester et c’est vraiment bien fichu !

      • TGhost [She/Her]@lemmy.ml
        link
        fedilink
        Français
        arrow-up
        3
        ·
        3 months ago

        Il s’execute a priori direct sur “garuda linux” pour la version AppImage,
        Reste plus qu’a DL les modeles et faire joujou lol,

  • innermeerkat@jlai.lu
    link
    fedilink
    Français
    arrow-up
    3
    ·
    3 months ago

    Merci pour le partage. Ça donne quoi en terme de perfs et de résultats par rapport à gpt4 ? Et on sait quelles sont les données sources ?

  • coindetable@jlai.lu
    link
    fedilink
    Français
    arrow-up
    2
    ·
    3 months ago

    Je suis assez déçu de ne pas voir le surpport des GPU AMD, après j’imagine que ce doit être déja assez de boulot de bosser sur CUDA