9월 다섯번째 주 AI 뉴스 🌝
September 26, 2023
구독자 여러분, 행복한 한가위 보내세요! 🌾
안녕하세요 BetaAI 뉴스레터 구독자 여러분 😊
벌써 9월의 마지막주 뉴스레터가 발송되었습니다. 추석연휴를 앞두고 구독자분들의 안녕을 바라는 마음을 담아 작은 편지를 덧붙입니다. 이제 창문을 열면 제법 선선해진 바람도 불어오고, 산책을 잘 안나가던 저도 산책이나 갈까라는 생각이 드는 계절이 왔습니다. BetaAI는 9월초에 시즌3 프로젝트를 시작하고 이제 프로젝트의 막바지 단계에 이르렀습니다. 조만간 저희의 애증(?)이 담긴 프로젝트들을 하나씩 소개해 드릴게요. 뉴스레터는 BetaAI의 든든한 매니저, 승오님(정BTC)께서 정성을 담아 매주 작성해주고 계십니다. 어떤분들이 저희 뉴스레터를 구독하고 계시는지, 유용하게 읽고 계신지 궁금하네요. 모쪼록 구독자분들의 건강과 안녕을 바랍니다. 늘 고맙습니다! 💛
- BetaAI 모아나 드림
이번주 AI 뉴스 📰
아마존, OpenAI 경쟁사 Anthropic에 최대 4조 원 투자 예정
아마존의 AI 투자: 아마존이 AI 스타트업 Anthropic에 최대 4조 원을 투자할 계획이라고 발표함.
Anthropic의 특별성: Anthropic의 챗봇은 원칙에 따라 안전하고 신뢰성 있게 동작하며, 긴 비즈니스나 법률 문서를 처리하는 데 적합함.
다른 기업과의 관계: 구글도 Anthropic에 투자하고 있으며, 아마존 투자에도 불구하고 협력을 계속할 예정임.
YouTube, 창작자를 위한 다양한 AI 도구 발표: YouTube는 'Made on YouTube' 행사에서 AI로 생성된 사진과 비디오 배경, 주제 추천, 음악 검색 기능 등을 공개함.
창작자의 콘텐츠 제작 방식 변화: 새로운 'Dream Screen' 기능을 통해 창작자는 AI를 활용해 배경을 생성하고 자신의 존재하는 콘텐츠를 새롭게 편집할 수 있게 될 것.
AI가 추진하는 콘텐츠의 미래: AI의 도입으로 창작자들은 콘텐츠 주제나 구조에 대한 새로운 인사이트를 얻을 것이며, AI가 생성한 콘텐츠는 점점 일반화될 것으로 예상됨.
MIT 교수, AI 기업의 'AI 치킨 게임' 중단이 시급 주장
AI 발전 중단 촉구 실패: Max Tegmark는 AI 시스템 개발 중단을 위한 공개 서한을 주최했으나 경쟁이 치열해 실패함.
정부 개입 필요성: AI의 무제어 발전을 막기 위해 정부의 개입이 필요하다고 경고함.
안전 기준 도입 시급: 글로벌 안전 기준에 도달할 때까지 AI 모델 개발은 중단되어야 한다고 주장.
이번주 AI 논문 📝
MetaMath: 대형 언어 모델을 위한 수학 문제 부트스트래핑 방법론
수학 추론에 특화된 모델: MetaMath는 수학적 추론에 특화된 언어 모델을 제안함. 새로운 데이터셋
MetaMathQA: 여러 관점에서 수학 문제를 재작성하여 MetaMathQA 데이터셋을 생성.
성능 향상 증거: MetaMath는 여러 대형 언어 모델을 큰 차이로 능가하며, 특히 MetaMath-70B 모델은 GPT-3.5-Turbo보다 더 높은 정확도를 보임.
RMT: 기억력 있는 네트워크와 비전 트랜스포머의 결합
RetNet과 Transformer 결합: RMT는 자연어 처리에 좋은 RetNet과 이미지 처리에 좋은 Transformer를 합침.
공간 정보 개선: RMT는 이미지 안의 각 부분(토큰)이 어떻게 연결되는지 더 정확하게 파악함.
높은 성능: RMT는 다양한 이미지 처리 작업에서 높은 정확도를 보여줌.
LLM-Grounder: 대형 언어 모델을 에이전트로 활용한 개방형 어휘 3D 시각적 기반화 기법
제로샷 3D 시각적 기반화: LLM-Grounder는 레이블 없는 데이터만을 사용하여 3D 환경에서 객체를 식별할 수 있음.
자연어 쿼리의 복잡성 해결: 복잡한 자연어 쿼리를 의미론적 구성 요소로 분해하여 시각적으로 기반을 잡음.
로보틱스에의 적용성: 본 논문의 방법론은 로보틱스 분야에서의 3D 시각-언어 작업에 효과적이라는 것을 입증.
이번주 AI 프로덕트 📦
GPT 엔지니어: 코드 생성을 위한 개발자 친화적 AI 플랫폼
간단한 가치 창출: 명령어만 입력하면 코드베이스를 자동으로 생성, 사용자가 원하는 형태의 코드를 쉽게 얻을 수 있음.
유연한 AI 단계 추가:
steps.py를 통해 새로운 "AI 단계"를 쉽게 추가할 수 있어, 고도화된 사용자 경험을 점진적으로 구축 가능.빠른 인수인계: AI와 인간 간의 빠른 업무 인수인계가 가능하며, 모든 계산은 "이어서 가능(resumable)"하고 파일 시스템에 저장됨.
LongLoRA: 긴 문맥 대형 언어 모델의 효율적인 파인튜닝 솔루션
효율적인 문맥 확장: LongLoRA는 제한된 계산 비용으로 대형 언어 모델의 문맥 크기를 효율적으로 확장할 수 있음.
스파스 로컬 주의 기반: 중요한 데이터 포인트에만 집중하여 계산 비용을 줄이는 '스파스 로컬 주의' 방식을 사용합니다. 이로써 빠르게 모델을 조정할 수 있으며, 필요한 경우에는 전체 데이터에 대한 주의도 가능합니다.
다양한 모델과 호환: LongLoRA는 기존의 다양한 기술과 호환되며, 특히 FlashAttention-2와 같은 기술과도 잘 작동함.
By BetaAI
© 2023