Meta i Microsoft zaprezentowali nową generację modelu językowego

Na stronie internetowej uwzględniono wagi poszczególnych modeli i kod początkowy dla wstępnie wytrenowanych i dopracowanych wersji (parametry 7B, 13B i 70B).

Dostęp do modeli Llama 2 można również uzyskać za pośrednictwem Microsoft Azure i Windows, Amazon Web Services i Hugging Face. Jak podają firmy, szeroka dostępność modeli to krok w stronę budowania modeli sztucznej inteligencji na miarę dzisiejszych czasów. Jest to szczególnie ważne w przypadku modeli takich jak Llama 2, które są rozwijane w przestrzeni generatywnej, gdzie technologia rozwija się wyjątkowo szybko dzięki prawdziwym, jakościowym przełomom.

- Meta ma długą historię open sourcingu naszej infrastruktury i sztucznej inteligencji — od PyTorch, wiodącej platformy uczenia maszynowego, przez modele takie jak Segment Anything, ImageBind i Dino, po podstawową infrastrukturę w ramach projektu Open Compute. Takie działanie pomogło nam tworzyć lepsze produkty i napędzać rozwój całej branży - napisał w swoim poście Mark Zuckerberg, szef Meta.

Na razie testy i badania

Dalej wyjaśnia, że otwarte oprogramowanie napędza innowacje, ponieważ udostępnia nowe technologie znacznie większej liczbie programistów. Poprawia również bezpieczeństwo – gdy oprogramowanie jest ogólnodostępne, więcej osób może je przeanalizować, aby zidentyfikować i naprawić potencjalne problemy. - Uważam, że gdyby ekosystem był bardziej otwarty, pozwoliłoby to na szybszy postęp. Z tego względu udostępniamy Llama 2 na zasadzie open source - zaznacza Zuckerberg.

Obecnie do użytku oddano wstępnie wytrenowane i dopracowane modele z parametrami 7B, 13B i 70B. Llama 2 została przeszkolona na 40 proc. więcej danych niż Llama 1 i ma dodatkowe ulepszenia w swojej budowie. W przypadku precyzyjnie dopracowanych modeli zebraliśmy ponad 1 milion adnotacji i zastosowaliśmy nadzorowane dostrajanie i uczenie wzmacniające z wykorzystaniem informacji zwrotnych od ludzi (RLHF), uzyskując świetne wyniki w zakresie bezpieczeństwa i jakości.

Modele można pobrać bezpośrednio lub – w ramach partnerstwa Meta z firmą Microsoft – uzyskać do nich dostęp za pośrednictwem platformy Azure. Istnieje również zoptymalizowana wersja, którą można uruchomić lokalnie w systemie Windows.