8월 첫째 주 AI 뉴스
August 14, 2023
이번주 AI 뉴스 📰
openAI, GPT-5 상표 등록 신청서를 제출
GPT-5를 "언어 모델 사용을 위한 컴퓨터 소프트웨어 다운로드"로 서술, 이전 GPT-4 와 3.5 신청서와 동일함.
현재 USPTO (미국특허청) 에서 심사 진행중
AI 챗봇의 가드레일을 우회하는 방법 발견
카네기 멜론 대학교와 AI 안전 센터의 연구자들이 모든 대형 언어 모델의 가드레일을 성공적으로 우회하는 방법을 발견
모든 챗봇 ( chatGPT 와 Bard 포함) 에서 작동
가드레일 방지를 위해 모든 챗봇은 오픈소스로 만들어져야 한다고 주장.
OpenAI, 비밀리에 오픈소스 모델 개발중?
Open AI는 Microsoft와 Meta의 공동 개발된 오픈 소스 모델 Llama 2와 경쟁하기 위한 새로운 오픈 소스 모델인 G3PO를 개발 중.
OpenAI는 경쟁력을 유지하기 위해 오픈 소스 모델의 중요성을 인지하고 있으며, G3PO를 출시할 계획.
이번주 AI 논문 📰
PanGu-Coder2: 코드와 순위 피드백을 위한 대형 언어 모델 향상
대형 언어 모델들이 코드 생성 작업에 놀라운 성능을 보이며 급속히 발전하고 있음.
이 논문에서는 RRTF 프레임워크 (*피드백을 기반으로 반응 순위 매기는 방식)를 제안하며, 이를 통해 코드를 위한 대형 언어 모델을 효과적이고 효율적으로 향상시킬 수 있음.
PanGu-Coder2가 OpenAI HumanEval, CoderEval, LeetCode 벤치마크에서 모든 이전 Code LLM들을 일관되게 초과하는 성능을 보임.
적응할 것인가, 적응하지 않을 것인가? 실시간 상황 적응의 필요성
실시간 온라인 도메인 적응의 목표는 배포 중에 발생하는 예측할 수 없는 도메인 변경 사항을 처리하는 것임.
본 논문에서는 하드웨어를 고려한 역전파 조정 에이전트와 전용 도메인 이동 감지기를 포함한 실시간 도메인 적응을 위한 HAMLET 프레임워크를 제안함.
이 방식 덕분에 단일 소비자 등급 GPU에서 초당 29프레임 이상으로 의미론적 분할을 수행하면서 동시에 적응할 수 있게 됨.
당신의 EMA를 어떻게 확장할 것인가
훈련 동적 특성의 보존은 배치 크기와 실행 시간 사이의 균형을 잡는 데 중요한 역할을 수행함.
지수 이동 평균(EMA) 모델은 강인성 향상, 의사 라벨링의 안정화, 그리고 자기 감독 학습에 대한 학습 신호 제공 등을 통해 기계 학습에 있어 중요한 도구임.
본 연구에서는, 모델 EMA가 존재하는 상황에서의 최적화를 위한 새로운 스케일링 규칙을 제안하고, 이 규칙이 다양한 학습 환경에서 유효함을 입증함.
이번주 AI 프로덕트 📦
CodeGeeX2: 더욱 강력한 다언어 코드 생성 모델
CodeGeeX2는 ChatGLM2를 기반으로 다언어 코드 생성 성능이 향상됨.
중영문 입력, 큰 시퀀스 길이, 빠른 추론 속도를 지원하며, 6GB 메모리로 실행 가능함.
CodeGeeX 플러그인과 결합하여, 중영문 대화로 프로그래밍 문제를 해결하는 AI 도우미로 사용 가능함.
llama2-webui
llama2-webui"는 gradio UI를 통해 Linux, Windows, Mac에서 GPU 또는 CPU로 Llama 2를 로컬에서 실행할 수 있음.
이는 8비트, 4비트로 Llama-2-7B/13B/70B를 지원하며, 6GB VRAM의 GPU 추론과 CPU 추론 또한 가능함.
By BetaAI
© 2023