https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
Google "We Have No Moat, And Neither Does OpenAI"
Leaked Internal Google Document Claims Open Source AI Will Outcompete Google and OpenAI
www.semianalysis.com
위 문서는 아주 최근에 유출된 문서로, 공개 Discord 서버에서 재출판 허가를 받은 익명의 개인이 공유한 내용으로, Google 내부의 연구원에서 시작되었다고 합니다.
대충의 내용은 우연히 공개된 메타의 LLaMA에 의해 공개된 LLM이 OpenSource 개발자들에 의해 엄청 빠르게 발전하고있어서, 앞으로 Google도 Open AI도 아니고, OpenSource세력이 주도권을 가져가고 있다는 내용입니다.
주요예시.
- 휴대폰에서 LLM 구동 : 픽셀 6 폰에서 초당 5 토큰을 뽑아내는데 성공했습니다
- 확장 가능한 개인화 AI: 노트북 수준의 하드웨어에서 하루만에 파인튜닝을 해낼 수 있습니다
- 출시 책임소지: 이그림 모델의 경우 아무 제약없는 모델이 출시되어 사람들에게 그냥 막 배포되고 있는게 현실
- Multimodality: 현재 최고수준급의 ScienceQA SOTA 모달 모델은 한시간 만에 학습이 가능한 수준
오픈 소스 모델들은 더 빠르고 더 특정분야에 용이하며, 개인용으로 더 적합하고, 뛰어난 가성비로 몇 주만에 100달러를 들여 13B 모델을 찍어내는 등 이제 소형 모델 개발에 투자해야 한다고 함
타임라인
- 2023년 2월 24일 - 메타의 LLaMA 공개
- 2023년 3월 3일 - LLaMA 유출 (파인튜닝이 적용되지 않았으며, RLHF도 없었음)
- 2023년 3월 12일 - Andreenko Raspberry Pi에서 작동하는 모델 구현
- 2023년 3월 13일 - stanford releases LLaMA에 명령 튜닝을 추가한 Alpaca를 출시
(low rank fine-tuning"단일 RTX 4090에서 몇 시간 안에" 이 훈련을 수행)
- 2023년 3월 18일 - Georgi Gerganov 4비트 양자화를 사용하여 MacBook CPU에서 LLaMA를 실행
- 2023년 3월 19일 -13B 모델이 Bard와 "패리티" 달성
- 2023년 3월 25일 - GPT4All 공개 (Training Cost: $100)
- 2023년 3월 28일 - Open Source GPT-3 공개
- 2023년 3월 28일 - 1시간 내 다중 모드 교육
- 2023년 4월 3일 - Berkeley는 Koala 출시 (13B 개방형 모델과 ChatGPT의 차이를 구분할 수 없는 수준)
- 2023년 4월 15일 - ChatGPT 수준의 오픈 소스 RLHF 공개