De Silicon Valley AI accelerator publiceert zeven open source GPT-modellen die 100% gratis en transparant zijn.
Het AI-bedrijf Cerebras uit Silicon Valley heeft zeven open source GPT-modellen uitgebracht om een alternatief te bieden voor de strikt gecontroleerde propriëtaire systemen die momenteel beschikbaar zijn.
De royaltyvrije open source GPT-modellen, inclusief de gewichten en het trainingsrecept, zijn vrijgegeven onder de zeer permissieve Apache 2.0-licentie door Cerebras, een in Silicon Valley gevestigd AI-infrastructuurbedrijf voor AI-toepassingen.
Tot op zekere hoogte zijn de zeven GPT-modellen een proof of concept voor de AI-supercomputer Andromeda van Cerebras.
Dankzij de infrastructuur van Cerebras kunnen klanten zoals Jasper AI Copywriter snel hun eigen aangepaste taalmodellen trainen.
Cerebras GPT-modellen en transparantie
Cerebras noemt de concentratie van eigendom van AI-technologie in de handen van een paar grote bedrijven als reden waarom ze zeven open source GPT-modellen hebben gemaakt.
OpenAI, Meta en Deepmind houden veel van de informatie over hun systemen privé en streng gecontroleerd, waardoor innovatie wordt beperkt tot wat de drie bedrijven besluiten dat de anderen met hun gegevens mogen doen.
Is een gesloten systeem het beste voor AI-innovatie? Of is open source de toekomst?
Als gevolg hiervan worden deze zeven modellen beschikbaar gesteld op Hugging Face en GitHub om verder onderzoek aan te moedigen door middel van open toegang tot AI-technologie.
Deze modellen werden getraind met de Cerebras AI supercomputer Andromeda, een proces dat slechts een paar weken in beslag nam.
Cerebras-GPT is volledig open en transparant, in tegenstelling tot de nieuwste GPT-modellen van OpenAI (GPT-4), Deepmind en Meta OPT.
OpenAI en Deepmind Chinchilla bieden geen licenties om de modellen te gebruiken. Meta OPT biedt alleen een niet-commerciële licentie.
OpenAI’s GPT-4 heeft absoluut geen transparantie over hun trainingsgegevens. Hebben ze Common Crawl-gegevens gebruikt? Hebben ze het internet afgestruind en hun eigen dataset gemaakt?
OpenAI houdt deze informatie (en andere) geheim, wat in contrast staat met de Cerebras-GPT benadering, die volledig transparant is.
Wat volgt is allemaal open en transparant:
- De architectuur van het model
- Trainingsgegevens
- Modelgewichten
- Controlepunten
- Optimale schijfstatus voor berekening (ja)
- Licentie: Apache 2.0-licentie
De zeven versies zijn verkrijgbaar in 111M, 256M, 590M, 1,3B, 2,7B, 6,7B en 13B modellen.
Open source AI
De Mozilla Foundation, maker van de Firefox open source software, heeft een bedrijf genaamd Mozilla.ai gelanceerd om open source aanbevelingssystemen en TPM’s te ontwikkelen die betrouwbaar zijn en privacy respecteren.
Databricks heeft onlangs ook een open source GPT-kloon uitgebracht, Dolly genaamd, met als doel “de magie van ChatGPT” te democratiseren.
Naast deze zeven GPT-modellen van Cerebras heeft een ander bedrijf, genaamd Nomic AI, GPT4All uitgebracht, een open source GPT die op een laptop kan draaien.
De open source AI-beweging staat nog in de kinderschoenen, maar wint terrein.
GPT-technologie zorgt voor enorme veranderingen in veel industrieën en het is mogelijk, zelfs onvermijdelijk, dat open source bijdragen het spel zullen veranderen in de industrieën die deze veranderingen aansturen.
Als de open-sourcebeweging in dit tempo doorgaat, kunnen we aan de vooravond staan van een grote verschuiving in AI-innovatie, weg van de concentratie in de handen van een paar grote bedrijven.
Jérémy est un professionnel spécialisé dans l’optimisation des résultats de recherche d’un site internet. Grâce à ses connaissances et à l’utilisation d’outils efficaces, il élabore des stratégies de mots-clés, de liens, de contenu et de référencement local et vidéo afin d’améliorer la visibilité du site sur les moteurs de recherche. En tant que consultant SEO, il utilise également son expertise pour suivre les tendances et mettre en place des stratégies pour faire remonter un site internet dans les résultats de recherche
