Le ChatGPT d’OpenAI continue de faire les gros titres, mais son hégémonie en tant qu’un des chatbots les plus intelligents et les plus performants du moment pourrait être menacée. ChatGPT et une autre IA ont été testés pour voir laquelle des deux est la plus capable de traiter des données. Le résultat est surprenant : c’est la Hyena qui l’emporte.
Quel est le secret de la Hyena ? Tout d’abord, il est important de comprendre ce que la Hyena a réalisé ou vise à réaliser, et c’est précisément ce qui est important lorsque l’on considère la nouvelle IA. Derrière elle se trouvent des personnes qui ont une grande expérience dans le domaine de l’IA.
La Hyena peut être considérée comme une IA capable de faire tout ce que ChatGPT peut faire, mais avec un temps d’apprentissage plus court et, en outre, avec une capacité de traitement des données plus élevée. Oui, ce sont les points forts de cette IA qui pourrait révolutionner tout le paysage actuel de l’intelligence artificielle.
Pour tester la capacité de traitement de la Hyena et en tirer des enseignements, nous l’avons amenée à recueillir des informations provenant de différentes sources. Le test s’appelle The Pile car il s’agit d’une collection de textes d’un poids de 825 gb, soit plus de 250 000 livres qui ont été soumis à cette IA.
Hyena est la nouvelle IA qui veut établir la norme dans ce secteur.
Les performances de Hyena sont impressionnantes, puisqu’il obtient les mêmes résultats que ChatGPT avec moins d’entraînement et de traitement. La complexité informatique de l’opération d’attention dans Hyena est beaucoup plus faible que dans les modèles plus anciens tels que ChatGPT, ce qui signifie que le programme a besoin de moins de puissance informatique pour répondre à des défis de plus en plus complexes, ce qui le rend beaucoup plus efficace et pratique par rapport aux modèles plus anciens.
Lors d’un test mené par une équipe de scientifiques de l’université de Stanford et de l’institut canadien MILA, Hyena a obtenu un score équivalent à celui de ChatGPT sur The Pile, une collection de textes de 825 gigaoctets. Il est toutefois intéressant de noter qu’elle l’a fait avec 20 % d’opérations informatiques en moins. Pour d’autres tâches, Hyena a obtenu des résultats égaux ou proches de ceux d’une version de GPT, bien qu’elle ait été entraînée sur moins de la moitié des données.
Mais, plus surprenant encore, lorsque l’équipe de Poli a augmenté les exigences imposées à Hyena (davantage de données ont été demandées et le compromis a augmenté avec le temps), le programme s’est avéré plus performant. Avec 2048 tokens, que l’on peut assimiler à des mots, Hyena met moins de temps que ChatGPT à effectuer une tâche linguistique, mais lorsqu’il atteint 64 000 tokens, les auteurs notent que “Hyena’s speedups reach 100x”, c’est-à-dire une amélioration des performances d’un facteur 100.
