diff --git a/_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md b/_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md index 1fc3ca1..514c162 100644 --- a/_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md +++ b/_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md @@ -3,6 +3,8 @@ layout: post title: "From Local to Global: A Graph RAG Approach to Query-Focused Summarization" date: 2024-04-24 18:38:11 paper_author: "Microsoft Research" +description: >- + Graph RAG는 LLM으로 엔티티 지식 그래프와 커뮤니티 요약을 미리 만들어 전역 질문에 맵-리듀스로 답합니다. 기존 RAG보다 포괄성과 다양성에서 앞섰고, 루트 레벨 요약은 원문 요약보다 토큰을 97% 덜 씁니다. 색인 구축과 평가를 정리합니다. categories: ["Paper Reviews", "Retrieval-Augmented-Generation"] tags: ["GraphRAG", "Query-Focused-Summarization", "Community-Based-Summarization", "Entity-and-Relationship-Extraction", "Map-Reduce-Summarization", "Modularity-Based-Retrieval", "Community-Detection", "Leiden-Algorithm-for-Text", "Multi-Level-Community-Indexing", "Global-Context-Understanding", "Retrieval-Augmented-Generation", "Knowledge-Graph"] cover: /assets/images/retrieval-augmented-generation.jpg diff --git a/_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md b/_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md index 3807ec4..a519819 100644 --- a/_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md +++ b/_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md @@ -3,6 +3,8 @@ layout: post title: "Llama 2: Open Foundation and Fine-Tuned Chat Models" date: 2023-07-18 14:31:57 paper_author: "Meta AI" +description: >- + Llama 2는 7B~70B 규모로 2조 토큰을 사전학습하고 SFT와 RLHF, 고스트 어텐션(GAtt)으로 대화 모델 Llama 2-Chat을 만들었습니다. 350명 이상의 레드팀이 안전성을 시험했습니다. 학습 과정과 안전성 강화 방법을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Reinforcement-Learning-with-Human-Feedback", "Ghost-Attention", "Rejection-Sampling-Fine-Tuning", "Grouped-Query-Attention", "Proximal-Policy-Optimization", "Red-Teaming", "Safety-Alignment", "System-Message-for-Multi-Turn-Consistency", "Safety-Context-Distillation", "Alignment", "Llama", "Efficient-Attention"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md b/_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md index e452df2..03e1cc1 100644 --- a/_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md +++ b/_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md @@ -3,6 +3,8 @@ layout: post title: "LLaMA: Open and Efficient Foundation Language Models" date: 2023-02-27 17:11:15 paper_author: "Meta AI" +description: >- + LLaMA는 공개 데이터만으로 7B~65B 모델을 1.4T 토큰까지 학습해, 13B 모델이 GPT-3(175B)를 앞서고 65B 모델이 PaLM-540B와 견줄 성능을 냈습니다. 데이터 구성, 아키텍처 개선과 학습 효율화 방법을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Rotary-Positional-Embeddings", "SwiGLU-Activation-Function", "Scaling-Laws", "Economical-Training", "Computation-Communication-Overlap", "Public-Dataset-Only-Training", "RMSNorm", "Efficient-Attention", "CommonCrawl-Quality-Filtering", "Llama"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md b/_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md index 7656a0c..2faaa6b 100644 --- a/_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md +++ b/_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md @@ -3,6 +3,8 @@ layout: post title: "DeepSeek LLM: Scaling Open-Source Language Models with Longtermism" date: 2024-01-05 18:59:13 paper_author: "DeepSeek AI" +description: >- + DeepSeek LLM은 비임베딩 FLOPs/토큰으로 모델 규모를 나타내 스케일링 법칙을 다시 세우고 2조 토큰으로 7B·67B 모델을 학습했습니다. 67B는 코드·수학·추론에서 LLaMA-2 70B를 앞섰습니다. 스케일링 분석과 학습 과정을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Compute-Optimal-Scaling", "Non-Embedding-FLOPs-per-Token", "Multi-Step-Learning-Rate-Scheduler", "Optimal-Model-Data-Scaling-Allocation", "Direct-Preference-Optimization", "Grouped-Query-Attention", "Scaling-Laws", "Economical-Training", "Depth-Over-Width-Scaling", "DeepSeek"] cover: /assets/images/language-models.jpg @@ -13,13 +15,13 @@ use_math: true 오픈소스 대규모 언어 모델(LLMs)의 발전이 가속화되면서, 모델 스케일링에 대한 명확한 이해의 필요성이 대두되었습니다. 기존 연구들은 스케일링 법칙에 대해 서로 다른 결론을 제시했으며, 하이퍼파라미터 설정에 대한 상세한 설명이 부족했습니다. 특히 AGI 발전의 초기 단계에서 효율적인 모델 스케일링 전략의 수립이 중요한 과제로 대두되었습니다. 이러한 배경에서 DeepSeek LLM 연구는 장기적 관점에서 오픈소스 언어 모델의 체계적인 발전을 위한 포괄적인 프레임워크를 제시하고자 시작되었습니다. ### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까? -이 연구는 세 가지 주요 혁신을 제시합니다. 첫째, 비임베딩 FLOPs/토큰(M)이라는 새로운 모델 규모 표현 방식을 도입하여 계산 비용을 더 정확하게 추정할 수 있게 했습니다. 둘째, 컴퓨트 예산 증가에 따른 최적의 모델/데이터 스케일링 할당 전략을 도출했으며, 약 52.43%를 모델 스케일링에, 47.57%를 데이터 스케일링에 할당하는 것이 최적임을 발견했습니다. 셋째, 다단계 학습률 스케줄러를 도입하여 연속 학습에서의 재사용성을 향상시켰습니다. +이 연구는 세 가지 주요 혁신을 제시합니다. 첫째, 비임베딩 FLOPs/토큰(M)이라는 새로운 모델 규모 표현 방식을 도입하여 계산 비용을 더 정확하게 추정할 수 있게 했습니다. 둘째, 컴퓨트 예산 증가에 따른 최적의 모델/데이터 스케일링 할당 전략을 도출했으며, 최적 모델 규모는 컴퓨트 예산의 0.5243제곱, 최적 데이터 규모는 0.4757제곱에 비례한다는 것을 발견했습니다. 셋째, 다단계 학습률 스케줄러를 도입하여 연속 학습에서의 재사용성을 향상시켰습니다. ### 제안된 방법은 어떻게 구현되었습니까? DeepSeek LLM은 7B와 67B 두 가지 규모로 구현되었으며, LLaMA 아키텍처를 기반으로 하되 몇 가지 중요한 수정을 도입했습니다. 67B 모델의 경우 Grouped-Query Attention(GQA)을 채택하여 추론 효율성을 개선했으며, 네트워크 깊이를 확장하는 전략을 채택했습니다. 학습 데이터는 약 2조 개의 토큰으로 구성되었으며, 중복 제거, 필터링, 리믹싱의 세 단계로 처리되었습니다. 모델은 지도 학습 미세조정(SFT)과 직접 선호도 최적화(DPO)를 통해 정제되었습니다. ### 이 연구의 결과가 가지는 의미는 무엇입니까? -이 연구의 결과는 오픈소스 LLM 개발에 있어 몇 가지 중요한 시사점을 제공합니다. 첫째, DeepSeek LLM 67B는 코드, 수학, 추론 영역에서 LLaMA-2 70B를 능가했으며, GPT-3.5보다 우수한 성능을 보여 오픈소스 모델의 잠재력을 입증했습니다. 둘째, 제시된 스케일링 법칙은 데이터셋 품질이 최적의 모델/데이터 스케일링 전략에 미치는 영향을 밝혀냈습니다. 셋째, 홀드아웃 평가를 통해 모델의 실제 성능과 일반화 능력을 검증했으며, 이는 향후 LLM 개발에 있어 중요한 지표가 될 것입니다. +이 연구의 결과는 오픈소스 LLM 개발에 있어 몇 가지 중요한 시사점을 제공합니다. 첫째, DeepSeek LLM 67B는 코드, 수학, 추론 영역에서 LLaMA-2 70B를 능가했으며, 대화 모델인 DeepSeek LLM 67B Chat은 GPT-3.5보다 우수한 성능을 보여 오픈소스 모델의 잠재력을 입증했습니다. 둘째, 제시된 스케일링 법칙은 데이터셋 품질이 최적의 모델/데이터 스케일링 전략에 미치는 영향을 밝혀냈습니다. 셋째, 홀드아웃 평가를 통해 모델의 실제 성능과 일반화 능력을 검증했으며, 이는 향후 LLM 개발에 있어 중요한 지표가 될 것입니다. - - - ## DeepSeek LLM: 장기적 관점으로 오픈소스 언어 모델 확장하기 diff --git a/_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md b/_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md index de127cf..a843922 100644 --- a/_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md +++ b/_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md @@ -4,6 +4,8 @@ title: "DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Expert seo_title: "DeepSeekMoE: Ultimate Expert Specialization in MoE" # only; the paper title runs past a results list date: 2024-01-11 17:31:42 paper_author: "DeepSeek AI" +description: >- + DeepSeekMoE는 세밀한 전문가 분할과 공유 전문가 분리로 MoE의 지식 혼재와 중복 문제를 줄입니다. 16B 모델은 LLaMA2 7B의 약 40% 계산량으로 대등한 성능을 냈고 145B까지 확장했습니다. 구조와 부하 균형 기법을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Fine-Grained-Expert-Segmentation", "Shared-Expert-Isolation", "Mixture-of-Experts", "Parameter-Efficient-Language-Model-Scaling", "Economical-Training", "Multi-Level-Load-Balancing", "Efficient-Inference", "DeepSeek"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-02-14-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md b/_posts/2025-02-14-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md index 97e613a..a75fda5 100644 --- a/_posts/2025-02-14-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md +++ b/_posts/2025-02-14-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md @@ -4,6 +4,8 @@ title: "DeepSeek-Coder: When the Large Language Model Meets Programming - The Ri seo_title: "DeepSeek-Coder: The Rise of Code Intelligence" # <title> only; the paper title runs past a results list date: 2024-01-25 14:17:53 paper_author: "DeepSeek AI" +description: >- + DeepSeek-Coder는 87개 프로그래밍 언어의 2조 토큰을 저장소 단위로 구성하고 FIM과 16K 컨텍스트로 1.3B~33B 코드 모델을 학습했습니다. Instruct 33B는 GPT-3.5 Turbo를 앞섰습니다. 데이터 구축과 학습 전략을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Repository-Level-Data-Construction", "Fill-in-the-Middle-Code-Completion", "Cross-File-Code-Completion", "Long-Context-Adaptation", "Repository-Level-Deduplication", "Dependency-Aware-Training", "Project-Level-Code-Understanding", "Cross-File-Dependency-Analysis", "Topological-Sorting-for-Code-Learning", "LeetCode-Competition-Benchmark", "DeepSeek"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-02-14-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md b/_posts/2025-02-14-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md index f1a5c2e..14da948 100644 --- a/_posts/2025-02-14-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md +++ b/_posts/2025-02-14-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md @@ -3,6 +3,8 @@ layout: post title: "RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval" date: 2024-01-31 18:30:21 paper_author: "Stanford University" +description: >- + RAPTOR는 텍스트 청크를 재귀적으로 임베딩·클러스터링·요약해 여러 추상화 수준의 트리를 만들고 검색에 씁니다. GPT-4와 결합해 QuALITY에서 정확도를 절대 20% 높였습니다. 트리 구축과 축소된 트리 검색 방식을 정리합니다. categories: ["Paper Reviews", "Retrieval-Augmented-Generation"] tags: ["Tree-Organized-Retrieval", "Hierarchical-Summarization", "Collapsed-Tree-Retrieval", "Dependency-Aware-Tree-Traversal", "Multi-Level-Abstraction-Retrieval", "Gaussian-Mixture-Model-Clustering", "Semantic-Similarity-Clustering", "Contextual-Flexibility-Retrieval", "Retrieval-Augmented-Generation"] cover: /assets/images/retrieval-augmented-generation.jpg @@ -13,7 +15,7 @@ use_math: true 대규모 언어 모델(LLMs)은 인상적인 성능을 보이고 있지만, 특정 도메인의 전문 지식 부족과 지식의 시의성 문제라는 한계에 직면해 있습니다. 기존의 검색 증강 접근방식은 텍스트를 짧은 청크로 분할하여 검색하는 방식을 사용하지만, 이는 문서의 전체적인 맥락과 계층적 의미 구조를 효과적으로 포착하지 못한다는 한계가 있습니다. 특히 복잡한 다단계 추론이 필요한 과제에서 이러한 한계가 두드러집니다. 이 연구는 이러한 문제를 해결하기 위해 문서의 계층적 의미 구조를 효과적으로 활용할 수 있는 새로운 검색 증강 방법론을 개발하고자 시작되었습니다. ### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까? -RAPTOR(Recursive Abstraction Processing Through Tree-based Organization and Retrieval)는 텍스트의 계층적 의미 구조를 포착하고 활용하는 혁신적인 트리 기반 검색 시스템을 제시합니다. 이 시스템은 텍스트 청크를 재귀적으로 임베딩하고, 클러스터링하며, 요약하는 과정을 통해 다양한 추상화 수준의 정보를 포함하는 트리 구조를 구축합니다. 특히 의미적 유사성을 기반으로 한 클러스터링과 재귀적 요약을 통해, 문서 전체에 걸친 정보를 효과적으로 통합하고 활용할 수 있는 구조를 제공합니다. +RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval)는 텍스트의 계층적 의미 구조를 포착하고 활용하는 혁신적인 트리 기반 검색 시스템을 제시합니다. 이 시스템은 텍스트 청크를 재귀적으로 임베딩하고, 클러스터링하며, 요약하는 과정을 통해 다양한 추상화 수준의 정보를 포함하는 트리 구조를 구축합니다. 특히 의미적 유사성을 기반으로 한 클러스터링과 재귀적 요약을 통해, 문서 전체에 걸친 정보를 효과적으로 통합하고 활용할 수 있는 구조를 제공합니다. ### 제안된 방법은 어떻게 구현되었습니까? RAPTOR의 구현은 크게 트리 구축과 검색 메커니즘 두 단계로 나뉩니다. 트리 구축 단계에서는 텍스트를 100 토큰 길이의 청크로 분할한 후, SBERT를 사용하여 임베딩합니다. 이후 가우시안 혼합 모델(GMM)을 사용한 클러스터링과 GPT-3.5-turbo를 활용한 요약 생성을 통해 계층적 트리 구조를 구축합니다. 검색 단계에서는 트리 순회와 축소된 트리라는 두 가지 방식을 제공하며, 실험 결과 축소된 트리 방식이 더 우수한 성능을 보였습니다. 시스템의 확장성 분석 결과, 트리 구축 비용과 시간이 문서 길이에 대해 선형적으로 증가하는 것으로 나타났습니다. diff --git a/_posts/2025-02-27-mistral-7b.md b/_posts/2025-02-27-mistral-7b.md index 3ca9e90..de29ac9 100644 --- a/_posts/2025-02-27-mistral-7b.md +++ b/_posts/2025-02-27-mistral-7b.md @@ -3,6 +3,8 @@ layout: post title: "Mistral 7B" date: 2023-10-10 17:54:58 paper_author: "Mistral AI" +description: >- + Mistral 7B는 그룹 쿼리 어텐션과 슬라이딩 윈도우 어텐션으로 모든 벤치마크에서 Llama 2 13B를, 추론·수학·코드에서 Llama 1 34B를 앞섭니다. 롤링 버퍼 캐시와 청킹을 포함한 아키텍처와 평가 결과를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Grouped-Query-Attention", "Sliding-Window-Attention", "Rolling-Buffer-Cache", "Prefill-and-Chunking", "Self-Reflection-Content-Moderation", "System-Prompt-Guardrails", "Token-Efficient-Knowledge-Compression", "Performance-Training-Inference-Tradeoff", "Scaling-Laws", "Efficient-Attention"] cover: /assets/images/language-models.jpg @@ -13,7 +15,7 @@ use_math: true 자연어 처리 분야에서 언어 모델의 성능 향상은 주로 모델 크기 증가에 의존해왔습니다. 그러나 이러한 규모 확장은 계산 비용과 추론 지연 시간을 증가시켜 실제 환경에서의 배포에 장벽을 만듭니다. 연구자들은 높은 성능과 효율성을 동시에 제공하는 균형 잡힌 모델의 필요성을 인식했습니다. 기존의 대규모 언어 모델들은 뛰어난 성능을 보여주지만, 실시간 애플리케이션이나 제한된 리소스 환경에서 활용하기 어렵다는 한계가 있었습니다. 이러한 배경에서 연구팀은 모델 크기를 줄이면서도 성능을 유지하거나 향상시킬 수 있는 효율적인 아키텍처 설계에 초점을 맞추게 되었습니다. ### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까? -Mistral 7B는 7억 개의 매개변수를 가진 언어 모델로, 두 가지 핵심 기술적 혁신을 통해 효율성과 성능을 모두 향상시켰습니다. 첫째, 그룹 쿼리 어텐션(Grouped-Query Attention, GQA)을 도입하여 추론 속도를 가속화하고 디코딩 과정에서의 메모리 요구사항을 줄였습니다. 이는 더 높은 배치 크기와 처리량을 가능하게 합니다. 둘째, 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA)을 구현하여 감소된 계산 비용으로 더 긴 시퀀스를 효과적으로 처리할 수 있게 했습니다. 특히 SWA는 각 토큰이 이전 레이어에서 최대 W개의 토큰만 참조할 수 있게 하여 계산 복잡성을 줄이면서도 정보 흐름을 유지합니다. 또한 롤링 버퍼 캐시를 도입하여 캐시 크기를 제한함으로써 메모리 효율성을 크게 향상시켰습니다. +Mistral 7B는 70억 개의 매개변수를 가진 언어 모델로, 두 가지 핵심 기술적 혁신을 통해 효율성과 성능을 모두 향상시켰습니다. 첫째, 그룹 쿼리 어텐션(Grouped-Query Attention, GQA)을 도입하여 추론 속도를 가속화하고 디코딩 과정에서의 메모리 요구사항을 줄였습니다. 이는 더 높은 배치 크기와 처리량을 가능하게 합니다. 둘째, 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA)을 구현하여 감소된 계산 비용으로 더 긴 시퀀스를 효과적으로 처리할 수 있게 했습니다. 특히 SWA는 각 토큰이 이전 레이어에서 최대 W개의 토큰만 참조할 수 있게 하여 계산 복잡성을 줄이면서도 정보 흐름을 유지합니다. 또한 롤링 버퍼 캐시를 도입하여 캐시 크기를 제한함으로써 메모리 효율성을 크게 향상시켰습니다. ### 제안된 방법은 어떻게 구현되었습니까? Mistral 7B는 트랜스포머 아키텍처를 기반으로 하며, 4096 차원의 임베딩, 32개의 레이어, 32개의 어텐션 헤드, 8개의 KV 헤드, 4096의 윈도우 크기, 8192의 컨텍스트 길이, 32000의 어휘 크기를 가진 모델로 구현되었습니다. 슬라이딩 윈도우 어텐션에서는 윈도우 크기 $$W=4096$$을 사용하여 이론적으로 마지막 레이어에서 약 131K 토큰의 어텐션 범위를 가능하게 합니다. 롤링 버퍼 캐시는 캐시 크기를 $$W$$로 고정하고, 타임스텝 $$i$$의 키와 값을 캐시의 위치 $$i\ mod\ W$$에 저장하는 방식으로 구현되었습니다. 또한 긴 프롬프트 처리를 위해 청킹 기법을 도입하여 프롬프트를 작은 청크로 나누어 처리함으로써 메모리 효율성을 높였습니다. 모델은 Apache 2.0 라이선스로 공개되었으며, [vLLM 추론 서버](https://docs.vllm.ai/en/latest/)와 [SkyPilot](https://docs.skypilot.co/en/latest/)을 사용하여 로컬 환경이나 클라우드 플랫폼에 쉽게 배포할 수 있도록 구현되었습니다. @@ -27,7 +29,7 @@ Mistral 7B는 기존의 최고 성능 13B 모델(Llama 2)을 모든 평가 벤 자연어 처리(NLP) 분야에서 언어 모델의 성능 향상은 종종 모델 크기의 증가를 수반합니다. 그러나 이러한 규모 확장은 계산 비용과 추론 지연 시간을 증가시켜 실제 환경에서의 배포에 장벽을 만듭니다. 이러한 맥락에서 높은 성능과 효율성을 모두 제공하는 균형 잡힌 모델의 필요성이 매우 중요해지고 있습니다. -Mistral 7B는 이러한 도전에 대응하여 개발된 7억 개의 매개변수를 가진 언어 모델로, 신중한 설계를 통해 높은 성능과 효율적인 추론을 동시에 제공합니다. 이 모델은 기존의 최고 성능 13B 모델(Llama 2)을 모든 평가 벤치마크에서 능가하며, 최고의 34B 모델(Llama 1)도 추론, 수학, 코드 생성 분야에서 뛰어넘는 성과를 보여줍니다. 또한 Mistral 7B는 비코드 관련 벤치마크에서의 성능을 희생하지 않으면서도 Code-Llama 7B의 코딩 성능에 근접하는 결과를 보여줍니다. +Mistral 7B는 이러한 도전에 대응하여 개발된 70억 개의 매개변수를 가진 언어 모델로, 신중한 설계를 통해 높은 성능과 효율적인 추론을 동시에 제공합니다. 이 모델은 기존의 최고 성능 13B 모델(Llama 2)을 모든 평가 벤치마크에서 능가하며, 최고의 34B 모델(Llama 1)도 추론, 수학, 코드 생성 분야에서 뛰어넘는 성과를 보여줍니다. 또한 Mistral 7B는 비코드 관련 벤치마크에서의 성능을 희생하지 않으면서도 Code-Llama 7B의 코딩 성능에 근접하는 결과를 보여줍니다. Mistral 7B의 핵심 기술적 혁신은 그룹 쿼리 어텐션(Grouped-Query Attention, GQA)과 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA)의 활용에 있습니다. GQA는 추론 속도를 크게 가속화하고 디코딩 과정에서의 메모리 요구사항을 줄여, 더 높은 배치 크기와 처리량을 가능하게 합니다. 이는 실시간 애플리케이션에서 중요한 요소입니다. 또한 SWA는 감소된 계산 비용으로 더 긴 시퀀스를 효과적으로 처리하도록 설계되어, 대규모 언어 모델(LLM)의 일반적인 한계를 완화합니다. 이러한 어텐션 메커니즘들은 Mistral 7B의 향상된 성능과 효율성에 집합적으로 기여합니다. diff --git a/_posts/2025-02-28-deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models.md b/_posts/2025-02-28-deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models.md index 47a1e0d..0cd6e43 100644 --- a/_posts/2025-02-28-deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models.md +++ b/_posts/2025-02-28-deepseekmath-pushing-the-limits-of-mathematical-reasoning-in-open-language-models.md @@ -3,6 +3,8 @@ layout: post title: "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models" date: 2024-02-05 18:55:32 paper_author: "DeepSeek AI" +description: >- + DeepSeekMath는 Common Crawl에서 1,200억 개 수학 토큰을 모으고 GRPO로 강화 학습해, 7B 모델로 MATH 정확도 51.7%를 기록했습니다. 데이터 선택 파이프라인과 비평 모델 없이 동작하는 GRPO의 원리를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["DeepSeekMath-Corpus", "Group-Relative-Policy-Optimization", "Iterative-Reinforcement-Learning", "Code-Training-Benefits-Mathematical-Reasoning", "Supervised-Fine-Tuning", "Rejection-Sampling-Fine-Tuning", "Direct-Preference-Optimization", "Reasoning-Models", "DeepSeek"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-04-04-mixtral-of-experts.md b/_posts/2025-04-04-mixtral-of-experts.md index 09fd3b0..3cf86eb 100644 --- a/_posts/2025-04-04-mixtral-of-experts.md +++ b/_posts/2025-04-04-mixtral-of-experts.md @@ -4,6 +4,8 @@ title: "Mixtral of Experts" subtitle: "Mixtral of Experts: 전문가 혼합 모델의 새로운 지평" date: 2024-01-08 18:47:34 paper_author: "Mistral AI" +description: >- + Mixtral 8x7B는 층마다 8개 전문가 중 2개를 고르는 희소 전문가 혼합 모델로, 총 47B 중 13B만 활성화하고도 대부분의 벤치마크에서 Llama 2 70B와 GPT-3.5에 맞먹습니다. 라우팅 구조와 학습 과정을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Mixture-of-Experts", "Dynamic-Expert-Routing", "Two-Expert-Token-Processing", "Efficient-Inference", "Routing-Network-Token-Selection", "Expert-Selection-Locality-Analysis", "Multilingual-Performance-Scaling", "Long-Context-Retrieval-Optimization", "Instruction-Fine-Tuning", "Direct-Preference-Optimization"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-10-03-gemma-3-technical-report.md b/_posts/2025-10-03-gemma-3-technical-report.md index fa91932..2000c08 100644 --- a/_posts/2025-10-03-gemma-3-technical-report.md +++ b/_posts/2025-10-03-gemma-3-technical-report.md @@ -3,6 +3,8 @@ layout: post title: "Gemma 3 Technical Report" date: 2025-03-25 15:52:34 paper_author: "Google DeepMind" +description: >- + Gemma 3는 로컬 어텐션 5개마다 글로벌 어텐션 1개를 두어 128K 컨텍스트의 메모리 부담을 줄였고, Chatbot Arena에서 Elo 1,338점으로 전체 9위에 올랐습니다. 멀티모달 처리와 지식 증류 기반 학습 방법을 정리합니다. categories: ["Paper Reviews", "Multimodal-Learning"] tags: ["Interleaved-Local-Global-Attention", "Long-Context-Adaptation", "Pan-and-Scan-Image-Processing", "Vision-Encoder-Token-Condensation", "Multimodal-Knowledge-Distillation", "RoPE-Positional-Embedding-Extension", "Grouped-Query-Attention", "Quantization-Aware-Training", "Sliding-Window-Attention", "Efficient-Attention", "Multimodal-Models", "Quantization"] cover: /assets/images/multimodal-learning.jpg diff --git a/_posts/2025-10-03-kimi-k2--open-agentic-intelligence.md b/_posts/2025-10-03-kimi-k2--open-agentic-intelligence.md index 13e8c9f..cb0077e 100644 --- a/_posts/2025-10-03-kimi-k2--open-agentic-intelligence.md +++ b/_posts/2025-10-03-kimi-k2--open-agentic-intelligence.md @@ -4,6 +4,8 @@ title: "Kimi K2: Open Agentic Intelligence" subtitle: "Kimi K2: 오픈 에이전틱 인텔리전스" date: 2025-07-28 05:35:43 paper_author: "Moonshot AI" +description: >- + Kimi K2는 활성 32B, 총 1조 매개변수의 MoE 모델로, MuonClip 옵티마이저로 15.5조 토큰을 손실 스파이크 없이 학습했고 SWE-Bench Verified에서 65.8점을 얻었습니다. 에이전틱 데이터 합성과 강화학습 과정을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["MuonClip-Optimizer", "QK-Clip-Attention-Stabilization", "Agentic-Data-Synthesis", "Multi-Stage-Reinforcement-Learning-with-Self-Critique", "Mixture-of-Experts-Sparsity-Scaling-Law", "Synthetic-Data-Rephrasing-for-Token-Efficiency", "Reinforcement-Learning-with-Verifiable-Rewards", "Agentic-Intelligence-Framework", "Computational-Efficiency-in-Large-Language-Models", "Mixture-of-Experts", "Agentic-AI"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-10-05-deepseek-v2--a-strong--economical--and-efficient-mixture-of-experts-language-model.md b/_posts/2025-10-05-deepseek-v2--a-strong--economical--and-efficient-mixture-of-experts-language-model.md index 0dae233..0acd287 100644 --- a/_posts/2025-10-05-deepseek-v2--a-strong--economical--and-efficient-mixture-of-experts-language-model.md +++ b/_posts/2025-10-05-deepseek-v2--a-strong--economical--and-efficient-mixture-of-experts-language-model.md @@ -4,6 +4,8 @@ title: "DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Lang subtitle: "DeepSeek-V2: 강력하고 경제적이며 효율적인 Mixture-of-Experts 언어 모델" date: 2024-05-07 15:56:43 paper_author: "DeepSeek AI" +description: >- + DeepSeek-V2는 MLA와 DeepSeekMoE를 결합한 236B 규모 MoE 모델로, 토큰당 21B만 활성화하며 DeepSeek 67B 대비 KV 캐시를 93.3% 줄이고 생성 처리량을 5.76배 높였습니다. 두 아키텍처의 설계와 학습 과정을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Multi-Head-Latent-Attention", "DeepSeekMoE", "Low-Rank-Key-Value-Joint-Compression", "Decoupled-Rotary-Position-Embedding", "Device-Limited-Routing", "Auxiliary-Loss-for-Load-Balance", "Token-Dropping-Strategy", "Mixture-of-Experts", "Expert-Parallelism", "Efficient-Attention", "DeepSeek"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-10-06-tulu-3--pushing-frontiers-in-open-language-model-post-training.md b/_posts/2025-10-06-tulu-3--pushing-frontiers-in-open-language-model-post-training.md index 50f5890..27932f4 100644 --- a/_posts/2025-10-06-tulu-3--pushing-frontiers-in-open-language-model-post-training.md +++ b/_posts/2025-10-06-tulu-3--pushing-frontiers-in-open-language-model-post-training.md @@ -4,6 +4,8 @@ title: "Tulu 3: Pushing Frontiers in Open Language Model Post-Training" subtitle: "Tülu 3: 오픈 언어 모델 사후 훈련의 새로운 지평" date: 2024-11-22 18:44:04 paper_author: "Allen Institute for AI" +description: >- + Tülu 3는 Llama 3.1 기반 모델에 SFT, DPO, 검증 가능한 보상 강화학습 RLVR을 차례로 적용한 공개 사후 훈련 모델로, 8B 모델이 GSM8K 87.6%, IFEval 82.4%를 기록했습니다. 데이터 구성과 평가 체계, RLVR을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Reinforcement-Learning-with-Verifiable-Rewards", "Multi-Stage-Post-Training-Recipe", "Direct-Preference-Optimization", "Persona-Driven-Data-Synthesis", "Synthetic-Data-Generation", "Prompt-Decontamination", "Open-Language-Model-Evaluation-System", "Length-Normalized-Preference-Optimization", "Asynchronous-Reinforcement-Learning-Infrastructure", "Skill-Targeted-Model-Training", "Alignment"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-10-07-deepseek-r1--incentivizing-reasoning-capability-in-llms-via-reinforcement-learning.md b/_posts/2025-10-07-deepseek-r1--incentivizing-reasoning-capability-in-llms-via-reinforcement-learning.md index 81080fb..73823d2 100644 --- a/_posts/2025-10-07-deepseek-r1--incentivizing-reasoning-capability-in-llms-via-reinforcement-learning.md +++ b/_posts/2025-10-07-deepseek-r1--incentivizing-reasoning-capability-in-llms-via-reinforcement-learning.md @@ -4,6 +4,8 @@ title: "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcemen subtitle: "DeepSeek-R1: 강화학습을 통한 대규모 언어 모델의 추론 능력 향상" date: 2025-01-22 15:19:35 paper_author: "DeepSeek AI" +description: >- + DeepSeek-R1-Zero는 SFT 없이 강화학습만으로 AIME 2024 pass@1을 15.6%에서 71.0%로 끌어올렸고, DeepSeek-R1은 콜드 스타트 데이터와 다단계 학습으로 OpenAI-o1-1217 수준에 이르렀습니다. 학습 과정과 증류 결과를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Large-Scale-Reinforcement-Learning-on-Base-Model", "Group-Relative-Policy-Optimization", "Reasoning-Oriented-Reinforcement-Learning", "Long-Chain-of-Thought-Cold-Start", "Distillation-of-Reasoning-Capability", "Multi-Stage-Reinforcement-Learning-with-Self-Critique", "Reinforcement-Learning-with-Verifiable-Rewards", "Rejection-Sampling-Fine-Tuning", "Iterative-Reinforcement-Learning", "Unified-Paradigm-for-Reinforcement-Learning", "Reasoning-Models", "Alignment", "DeepSeek"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-10-07-deepseek-v3-technical-report.md b/_posts/2025-10-07-deepseek-v3-technical-report.md index b3f98d5..ef7ec0d 100644 --- a/_posts/2025-10-07-deepseek-v3-technical-report.md +++ b/_posts/2025-10-07-deepseek-v3-technical-report.md @@ -4,6 +4,8 @@ title: "DeepSeek-V3 Technical Report" subtitle: "DeepSeek-V3 기술 보고서" date: 2024-12-27 04:03:16 paper_author: "DeepSeek AI" +description: >- + DeepSeek-V3는 총 671B, 토큰당 37B 파라미터가 활성화되는 MoE 모델로, MLA와 보조 손실 없는 부하 분산, FP8 혼합 정밀도 학습을 결합해 2.788M H800 GPU 시간만으로 학습을 마쳤습니다. 아키텍처와 학습 인프라를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Auxiliary-Loss-Free-Load-Balancing", "Multi-Token-Prediction", "Multi-Head-Latent-Attention", "DeepSeekMoE", "FP8-Mixed-Precision-Training", "Efficient-Cross-Node-All-to-All-Communication", "Node-Limited-Routing", "Computation-Communication-Overlap", "Tile-Wise-Fine-Grained-Quantization", "Speculative-Decoding", "Mixture-of-Experts", "DeepSeek", "Efficient-Attention", "Quantization"] cover: /assets/images/language-models.jpg diff --git a/_posts/2025-10-07-gemma-2--improving-open-language-models-at-a-practical-size.md b/_posts/2025-10-07-gemma-2--improving-open-language-models-at-a-practical-size.md index e7d461e..bcd051b 100644 --- a/_posts/2025-10-07-gemma-2--improving-open-language-models-at-a-practical-size.md +++ b/_posts/2025-10-07-gemma-2--improving-open-language-models-at-a-practical-size.md @@ -4,6 +4,8 @@ title: "Gemma 2: Improving Open Language Models at a Practical Size" subtitle: "Gemma 2: 실용적 크기에서 오픈 언어 모델 개선" date: 2024-07-31 19:13:07 paper_author: "Google DeepMind" +description: >- + Gemma 2는 2B·9B 모델을 다음 토큰 예측 대신 지식 증류로 학습하고 로컬-글로벌 어텐션과 GQA를 적용해 2-3배 큰 모델과 경쟁하는 성능을 냈습니다. 증류로 2B 평균 점수가 7.4점 오른 실험과 아키텍처를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Knowledge-Distillation", "Interleaved-Local-Global-Attention", "Grouped-Query-Attention", "Logit-Soft-Capping", "RMSNorm", "Multi-Stage-Post-Training-Recipe", "Sliding-Window-Attention", "Instruction-Fine-Tuning", "Model-Merging-through-Weight-Averaging", "Responsible-AI-Development", "Efficient-Attention", "Alignment"] cover: /assets/images/language-models.jpg @@ -24,13 +26,13 @@ Gemma 2의 가장 혁신적인 접근법은 지식 증류 방법론입니다. ### 제안된 방법은 어떻게 구현되었습니까? -Gemma 2는 20억 개에서 270억 개의 매개변수를 가진 세 가지 모델 크기(2B, 9B, 27B)로 구현되었습니다. 각 모델은 [Vaswani et al.의 Transformer 논문](https://arxiv.org/pdf/1706.03762)에 기반한 디코더 전용 트랜스포머 아키텍처를 사용하며, 회전 위치 임베딩(RoPE)과 GeGLU 활성화 함수 등 최신 기법들을 통합했습니다. 특히 2B와 9B 모델은 7B 모델을 교사로 사용하여 지식 증류 방식으로 훈련되었으며, 이는 [Chinchilla 논문](https://arxiv.org/pdf/2203.15556)의 계산 최적 이론이 예측하는 것보다 50배 이상 많은 토큰으로 훈련되었습니다. +Gemma 2는 20억 개에서 270억 개의 매개변수를 가진 세 가지 모델 크기(2B, 9B, 27B)로 구현되었습니다. 각 모델은 [Vaswani et al.의 Transformer 논문](https://arxiv.org/pdf/1706.03762)에 기반한 디코더 전용 트랜스포머 아키텍처를 사용하며, 회전 위치 임베딩(RoPE)과 GeGLU 활성화 함수 등 최신 기법들을 통합했습니다. 특히 2B와 9B 모델은 더 큰 모델을 교사로 사용하여 지식 증류 방식으로 훈련되었으며, 이는 [Chinchilla 논문](https://arxiv.org/pdf/2203.15556)의 계산 최적 이론이 예측하는 것보다 50배 이상 많은 토큰으로 훈련되었습니다. 훈련 인프라는 TPUv4, TPUv5e, TPUv5p를 활용했으며, 각 모델 크기에 따라 다른 칩 구성과 데이터 복제 전략을 사용했습니다. 2B 모델은 TPUv5e의 512개 칩, 9B 모델은 TPUv4의 4,096개 칩, 27B 모델은 TPUv5p의 6,144개 칩으로 훈련되었습니다. 옵티마이저 상태는 ZeRO-3와 유사한 기술을 사용하여 샤딩되었으며, JAX와 Pathways 프레임워크를 활용하여 효율적인 분산 훈련을 수행했습니다. ### 이 연구의 결과가 가지는 의미는 무엇입니까? -Gemma 2의 연구 결과는 소규모 언어 모델의 성능 향상에 대한 새로운 패러다임을 제시합니다. 지식 증류를 통해 2B 모델의 평균 성능을 처음부터 훈련한 모델 대비 7.4% 향상시켰으며, 심지어 2-3배 더 큰 모델들과도 경쟁력 있는 성능을 달성했습니다. 이는 단순히 모델 크기를 키우거나 훈련 데이터를 늘리는 대신, 훈련 과정에서 정보의 질을 개선하는 것이 더 효과적일 수 있음을 보여줍니다. +Gemma 2의 연구 결과는 소규모 언어 모델의 성능 향상에 대한 새로운 패러다임을 제시합니다. 지식 증류를 통해 2B 모델의 평균 성능을 처음부터 훈련한 모델 대비 7.4점 향상시켰으며, 심지어 2-3배 더 큰 모델들과도 경쟁력 있는 성능을 달성했습니다. 이는 단순히 모델 크기를 키우거나 훈련 데이터를 늘리는 대신, 훈련 과정에서 정보의 질을 개선하는 것이 더 효과적일 수 있음을 보여줍니다. 더불어 암송률과 개인 데이터 방출률에서도 획기적인 개선을 보였습니다. 암송률은 0.1% 미만, 개인 데이터 방출률은 0.00026%로 측정되어 프라이버시 보호 측면에서 중요한 진전을 나타냈습니다. 이러한 결과는 오픈 소스 언어 모델의 접근성을 높이면서도 안전성과 윤리적 고려사항을 동시에 해결할 수 있는 가능성을 보여줍니다. 특히 Responsible Generative AI Toolkit과 같은 추가 도구들을 통해 AI 기술의 긍정적인 사회적 영향을 확대할 수 있는 잠재력을 제시했습니다. - - - diff --git a/_posts/2025-10-07-the-llama-3-herd-of-models.md b/_posts/2025-10-07-the-llama-3-herd-of-models.md index 6dc35d1..aefc0ec 100644 --- a/_posts/2025-10-07-the-llama-3-herd-of-models.md +++ b/_posts/2025-10-07-the-llama-3-herd-of-models.md @@ -3,6 +3,8 @@ layout: post title: "The Llama 3 Herd of Models" date: 2024-07-31 17:54:27 paper_author: "Meta AI" +description: >- + Llama 3는 약 15조 토큰으로 사전 학습한 8B·70B·405B 조밀한 트랜스포머로, 128K 컨텍스트를 지원하며 405B 모델이 HumanEval 89.0%, MGSM 91.6%를 기록했습니다. 데이터 정제와 사후 학습, 멀티모달 어댑터 설계를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Direct-Preference-Optimization", "Scaling-Laws", "Multimodal-Knowledge-Distillation", "Efficient-Attention", "Multilingual-Multimodal-Understanding", "Safety-Alignment", "Synthetic-Data-Generation", "Tool-Use-Emergence", "Rejection-Sampling-Fine-Tuning", "Multi-Stage-Post-Training-Recipe", "Llama", "Alignment"] cover: /assets/images/language-models.jpg @@ -33,7 +35,7 @@ Llama 3의 구현은 크게 사전 훈련, 사후 훈련, 그리고 다중 모 ### 이 연구의 결과가 가지는 의미는 무엇입니까? -Llama 3의 실험 결과는 매우 인상적입니다. 405B 모델은 MMLU에서 85.2%, GSM8K에서 89.0%의 성능을 달성하여 GPT-4와 comparable한 성능을 보여주었습니다. 특히 다국어 성능(MGSM에서 91.6%)과 코드 생성 능력(HumanEval에서 89.0%)에서 뛰어난 결과를 얻었습니다. +Llama 3의 실험 결과는 매우 인상적입니다. 405B 모델은 MMLU에서 87.3%, GSM8K에서 96.8%의 성능을 달성하여 GPT-4와 comparable한 성능을 보여주었습니다. 특히 다국어 성능(MGSM에서 91.6%)과 코드 생성 능력(HumanEval에서 89.0%)에서 뛰어난 결과를 얻었습니다. 이 연구는 오픈 소스 AI 모델 개발의 새로운 가능성을 제시했습니다. 투명하고 상세한 연구 과정 공개를 통해 AI 연구 커뮤니티에 중요한 통찰을 제공했으며, 책임감 있는 AI 개발의 중요성를 강조했습니다. 특히 안전성과 윤리적 고려사항에 대한 심도 있는 분석은 향후 AI 모델 개발의 방향을 제시했습니다. diff --git a/_posts/2025-10-08-qwen3-technical-report.md b/_posts/2025-10-08-qwen3-technical-report.md index ef8eedb..b038c11 100644 --- a/_posts/2025-10-08-qwen3-technical-report.md +++ b/_posts/2025-10-08-qwen3-technical-report.md @@ -4,6 +4,8 @@ title: "Qwen3 Technical Report" subtitle: "Qwen3 기술 보고서" date: 2025-05-14 13:41:34 paper_author: "Alibaba Group" +description: >- + Qwen3는 사고 모드와 비사고 모드를 한 모델에 통합하고 사고 예산으로 추론 깊이를 조절하는 dense·MoE 모델군으로, 119개 언어 36조 토큰으로 사전 학습해 AIME'24 85.7점을 기록했습니다. 3단계 사전 학습과 사후 학습 과정을 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["Thinking-Budget", "Strong-to-Weak-Distillation", "Dynamic-Mode-Switching", "Mixture-of-Experts", "Fine-Grained-Expert-Segmentation", "Global-Batch-Load-Balancing-Loss", "Long-Chain-of-Thought-Cold-Start", "Reasoning-Oriented-Reinforcement-Learning", "Thinking-Mode-Fusion", "Multi-Stage-Post-Training-Recipe", "Reasoning-Models"] cover: /assets/images/language-models.jpg @@ -36,7 +38,7 @@ Qwen3의 실험 결과는 매우 인상적입니다. Qwen3-235B-A22B 모델은 A - - - ## 초록 -Qwen3는 대규모 언어 모델 분야에서 성능, 효율성, 그리고 다국어 지원 능력을 크게 향상시킨 최신 파운데이션 모델 시리즈입니다. 이 모델 시리즈는 0.6억 개부터 2,350억 개까지의 매개변수를 가진 다양한 규모의 모델들로 구성되어 있으며, 밀집형(dense) 아키텍처와 전문가 혼합(Mixture-of-Expert, MoE) 아키텍처를 모두 포함하고 있습니다. +Qwen3는 대규모 언어 모델 분야에서 성능, 효율성, 그리고 다국어 지원 능력을 크게 향상시킨 최신 파운데이션 모델 시리즈입니다. 이 모델 시리즈는 6억 개부터 2,350억 개까지의 매개변수를 가진 다양한 규모의 모델들로 구성되어 있으며, 밀집형(dense) 아키텍처와 전문가 혼합(Mixture-of-Expert, MoE) 아키텍처를 모두 포함하고 있습니다. Qwen3의 가장 혁신적인 특징 중 하나는 복잡한 다단계 추론을 위한 **사고 모드(thinking mode)**와 빠른 맥락 기반 응답을 위한 **비사고 모드(non-thinking mode)**를 하나의 통합된 프레임워크 안에 결합했다는 점입니다. 이는 기존에 채팅에 최적화된 모델(예: GPT-4o)과 전용 추론 모델(예: QwQ-32B) 사이를 전환해야 했던 필요성을 완전히 제거하며, 사용자 쿼리나 채팅 템플릿에 따라 동적으로 모드를 전환할 수 있게 합니다. @@ -56,7 +58,7 @@ Qwen3의 가장 혁신적인 특징 중 하나는 복잡한 다단계 추론을 ### Qwen3의 핵심 혁신 -이 연구에서는 파운데이션 모델 패밀리인 Qwen의 최신 시리즈인 Qwen3를 소개합니다. Qwen3는 다양한 작업과 도메인에서 최첨단 성능을 달성하는 오픈 웨이트 대규모 언어 모델들의 집합입니다. 다양한 하위 애플리케이션의 요구사항을 충족하기 위해 0.6억 개부터 2,350억 개까지의 매개변수를 가진 밀집형과 전문가 혼합(MoE) 모델을 모두 공개합니다. +이 연구에서는 파운데이션 모델 패밀리인 Qwen의 최신 시리즈인 Qwen3를 소개합니다. Qwen3는 다양한 작업과 도메인에서 최첨단 성능을 달성하는 오픈 웨이트 대규모 언어 모델들의 집합입니다. 다양한 하위 애플리케이션의 요구사항을 충족하기 위해 6억 개부터 2,350억 개까지의 매개변수를 가진 밀집형과 전문가 혼합(MoE) 모델을 모두 공개합니다. 특히 플래그십 모델인 Qwen3-235B-A22B는 총 2,350억 개의 매개변수를 가지고 있으며 토큰당 220억 개의 매개변수가 활성화되는 MoE 모델입니다. 이러한 설계는 높은 성능과 효율적인 추론을 모두 보장합니다. diff --git a/_posts/2025-10-10-pixtral-12b.md b/_posts/2025-10-10-pixtral-12b.md index 8b083c4..770bd87 100644 --- a/_posts/2025-10-10-pixtral-12b.md +++ b/_posts/2025-10-10-pixtral-12b.md @@ -3,6 +3,8 @@ layout: post title: "Pixtral 12B" date: 2024-10-09 17:16:22 paper_author: "Mistral AI" +description: >- + Pixtral 12B는 원본 해상도와 종횡비를 그대로 처리하는 4억 파라미터 비전 인코더와 Mistral Nemo 12B 디코더를 결합해 7배 큰 Llama-3.2 90B를 앞서고 MM-MT-Bench 6.05점을 기록했습니다. 구조와 새 벤치마크를 정리합니다. categories: ["Paper Reviews", "Multimodal-Learning"] tags: ["RoPE-2D-Positional-Encoding", "Block-Diagonal-Attention-Masking", "Flexible-Vision-Encoder-Architecture", "Natively-Multimodal-Transformer", "Multi-Turn-Instruction-Tuning", "Sequence-Packing-Optimization", "Variable-Image-Resolution-Processing", "Break-Tokens-for-Image-Tokenization", "Standardized-Multimodal-Evaluation", "MM-MT-Bench-Benchmark", "Multimodal-Models"] cover: /assets/images/multimodal-learning.jpg diff --git a/_posts/2025-10-11-gemini--a-family-of-highly-capable-multimodal-models.md b/_posts/2025-10-11-gemini--a-family-of-highly-capable-multimodal-models.md index bebefa6..c1fb132 100644 --- a/_posts/2025-10-11-gemini--a-family-of-highly-capable-multimodal-models.md +++ b/_posts/2025-10-11-gemini--a-family-of-highly-capable-multimodal-models.md @@ -4,6 +4,8 @@ title: "Gemini: A Family of Highly Capable Multimodal Models" subtitle: "Gemini: 고도로 능력 있는 멀티모달 모델 패밀리" date: 2023-12-19 02:39:27 paper_author: "Google DeepMind" +description: >- + Gemini는 이미지, 오디오, 비디오, 텍스트를 함께 다루도록 설계된 Ultra, Pro, Nano 모델군으로, Gemini Ultra는 32개 벤치마크 중 30개에서 최고 성능을 경신하고 MMLU 90.04%로 인간 전문가 수준을 넘었습니다. 구조와 평가를 정리합니다. categories: ["Paper Reviews", "Multimodal-Learning"] tags: ["Natively-Multimodal-Transformer", "Multimodal-Reasoning-with-Uncertainty-Routing", "Joint-Multimodal-Pre-Training", "Cross-Modal-Reasoning-Capabilities", "Efficient-Attention", "Multimodal-Safety-Evaluation-Framework", "Responsible-AI-Development", "Interleaved-Sequence-Processing", "Variable-Image-Resolution-Processing", "Unified-Multi-Modal-Generative-Model", "Multimodal-Models"] cover: /assets/images/multimodal-learning.jpg diff --git a/_posts/2025-10-11-gemini-2.5--pushing-the-frontier-with-advanced-reasoning--multimodality--long-context--and-next-generation-agentic-capabilities.md b/_posts/2025-10-11-gemini-2.5--pushing-the-frontier-with-advanced-reasoning--multimodality--long-context--and-next-generation-agentic-capabilities.md index e9c53a2..a6c9fed 100644 --- a/_posts/2025-10-11-gemini-2.5--pushing-the-frontier-with-advanced-reasoning--multimodality--long-context--and-next-generation-agentic-capabilities.md +++ b/_posts/2025-10-11-gemini-2.5--pushing-the-frontier-with-advanced-reasoning--multimodality--long-context--and-next-generation-agentic-capabilities.md @@ -5,6 +5,8 @@ seo_title: "Gemini 2.5: 추론·멀티모달·긴 컨텍스트·에이전틱 능 subtitle: "Gemini 2.5: 첨단 추론, 멀티모달리티, 긴 컨텍스트, 차세대 에이전틱 능력으로 경계를 넓히다" date: 2025-07-07 17:36:04 paper_author: "Google DeepMind" +description: >- + Gemini 2.5는 희소 MoE 트랜스포머에 사고 기능을 더해 최대 100만 토큰 컨텍스트와 3시간 분량 비디오를 처리하며, LiveCodeBench 74.2%, GPQA diamond 86.4%를 기록했습니다. 모델 구성과 훈련, 안전성 평가를 정리합니다. categories: ["Paper Reviews", "Multimodal-Learning"] tags: ["Mixture-of-Experts", "Long-Context-Reasoning", "Thinking-Budget", "Multimodal-Tool-Use", "Natively-Multimodal-Transformer", "Reinforcement-Learning-from-Human-and-Critic-Feedback", "Agentic-Workflow-Generation", "Thinking-Mode-Fusion", "Advanced-Reasoning-Capabilities", "Red-Teaming", "Reasoning-Models", "Multimodal-Models"] cover: /assets/images/multimodal-learning.jpg diff --git a/_posts/2025-10-19-direct-preference-optimization--your-language-model-is-secretly-a-reward-model.md b/_posts/2025-10-19-direct-preference-optimization--your-language-model-is-secretly-a-reward-model.md index 73e0d95..a4d372d 100644 --- a/_posts/2025-10-19-direct-preference-optimization--your-language-model-is-secretly-a-reward-model.md +++ b/_posts/2025-10-19-direct-preference-optimization--your-language-model-is-secretly-a-reward-model.md @@ -3,6 +3,8 @@ layout: post title: "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" date: 2023-05-29 17:57:46 paper_author: "Stanford University" +description: >- + DPO는 RLHF의 보상 모델 학습과 강화학습 루프를 이진 교차 엔트로피 손실 하나로 대체합니다. TL;DR 요약 과제에서 GPT-4 기준 승률 약 61%로 PPO의 57%를 앞섰습니다. 보상 재매개변수화 유도와 세 가지 실험을 정리합니다. categories: ["Paper Reviews", "Finetuning"] tags: ["Direct-Preference-Optimization", "Implicit-Reward-Modeling", "Bradley-Terry-Preference-Framework", "KL-Constrained-Reward-Maximization", "Binary-Cross-Entropy-Policy-Optimization", "Reward-Reparameterization", "Policy-Implicit-Reward-Function", "Closed-Form-Optimal-Policy-Extraction", "RL-Free-Preference-Learning", "Dynamic-Per-Example-Importance-Weighting", "Alignment"] cover: /assets/images/finetuning.jpg diff --git a/_posts/2025-10-24-qlora--efficient-finetuning-of-quantized-llms.md b/_posts/2025-10-24-qlora--efficient-finetuning-of-quantized-llms.md index a7e6fdb..82908b7 100644 --- a/_posts/2025-10-24-qlora--efficient-finetuning-of-quantized-llms.md +++ b/_posts/2025-10-24-qlora--efficient-finetuning-of-quantized-llms.md @@ -4,6 +4,8 @@ title: "QLoRA: Efficient Finetuning of Quantized LLMs" subtitle: "QLoRA: 양자화된 대규모 언어 모델의 효율적인 파인튜닝" date: 2023-05-23 17:50:33 paper_author: "University of Washington" +description: >- + QLoRA는 4비트 NF4 양자화, Double Quantization, Paged Optimizers로 65B 모델을 단일 48GB GPU에서 파인튜닝합니다. Guanaco는 Vicuna 벤치마크에서 ChatGPT 대비 99.3%에 도달했습니다. 세 기법과 평가를 정리합니다. categories: ["Paper Reviews", "Finetuning"] tags: ["4-bit-NormalFloat-Quantization", "Double-Quantization", "Paged-Optimizers", "Low-Rank-Adaptation-of-Quantized-Models", "Frozen-Quantized-Pre-trained-Weights-with-Trainable-Adapters", "Memory-Efficient-Large-Language-Model-Fine-Tuning", "Block-wise-k-bit-Quantization", "Parameter-Efficient-Fine-Tuning-with-Quantization", "Elo-Rating-Tournament-Style-Evaluation", "Instruction-Fine-Tuning", "Parameter-Efficient-Fine-Tuning", "Quantization"] cover: /assets/images/finetuning.jpg diff --git a/_posts/2026-01-12-deepseek-v3.2--pushing-the-frontier-of-open-large-language-models.md b/_posts/2026-01-12-deepseek-v3.2--pushing-the-frontier-of-open-large-language-models.md index 49a7677..7952476 100644 --- a/_posts/2026-01-12-deepseek-v3.2--pushing-the-frontier-of-open-large-language-models.md +++ b/_posts/2026-01-12-deepseek-v3.2--pushing-the-frontier-of-open-large-language-models.md @@ -4,6 +4,8 @@ title: "DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models" subtitle: "DeepSeek-V3.2: 오픈 대규모 언어 모델의 새로운 지평" date: 2025-12-02 09:25:14 paper_author: "DeepSeek AI" +description: >- + DeepSeek-V3.2는 DeepSeek Sparse Attention, 사전 훈련 비용의 10%를 넘는 강화학습, 에이전트 작업 합성을 결합했습니다. Speciale 변형은 IMO 2025에서 42점 중 35점을 받았습니다. 세 기술과 벤치마크 결과를 정리합니다. categories: ["Paper Reviews", "Language-Models"] tags: ["DeepSeek-Sparse-Attention", "Scalable-Reinforcement-Learning-Framework", "Agentic-Data-Synthesis", "Group-Relative-Policy-Optimization", "Unbiased-KL-Estimate-for-RL", "Off-Policy-Sequence-Masking", "Keep-Routing-for-Mixture-of-Experts", "Thinking-Context-Management-for-Tool-Use", "Long-Chain-of-Thought-Cold-Start", "Multi-Stage-Agentic-Environment-Synthesis", "Mixture-of-Experts", "Reasoning-Models", "DeepSeek", "Efficient-Attention"] cover: /assets/images/language-models.jpg diff --git a/_posts/2026-01-16-constitutional-ai--harmlessness-from-ai-feedback.md b/_posts/2026-01-16-constitutional-ai--harmlessness-from-ai-feedback.md index c6275be..739e14a 100644 --- a/_posts/2026-01-16-constitutional-ai--harmlessness-from-ai-feedback.md +++ b/_posts/2026-01-16-constitutional-ai--harmlessness-from-ai-feedback.md @@ -4,6 +4,8 @@ title: "Constitutional AI: Harmlessness from AI Feedback" subtitle: "Constitutional AI: AI 피드백을 통한 무해성 구현" date: 2022-12-15 06:19:23 paper_author: "Anthropic" +description: >- + Constitutional AI는 유해성에 대한 인간 레이블 없이 16개 원칙으로 된 헌법만으로 무해한 어시스턴트를 훈련합니다. 자기 비평과 수정을 거친 지도 학습, AI 피드백 강화학습(RLAIF)으로 회피하지 않는 무해한 응답을 얻는 과정을 정리합니다. categories: ["Paper Reviews", "Finetuning"] tags: ["Constitutional-AI", "Reinforcement-Learning-from-AI-Feedback", "Self-Critique-and-Revision-Pipeline", "Chain-of-Thought-Reasoning-for-AI-Evaluation", "AI-Generated-Preference-Labels", "Scaling-Supervision", "Non-Evasive-Harmlessness-Training", "Model-Based-Feedback-Generation", "Constitutional-Principles-for-Behavior-Steering", "Preference-Model-Training-with-AI-Feedback", "Alignment"] cover: /assets/images/finetuning.jpg diff --git a/_posts/2026-03-25-lightrag--simple-and-fast-retrieval-augmented-generation.md b/_posts/2026-03-25-lightrag--simple-and-fast-retrieval-augmented-generation.md index 9d2ff3f..44b8d46 100644 --- a/_posts/2026-03-25-lightrag--simple-and-fast-retrieval-augmented-generation.md +++ b/_posts/2026-03-25-lightrag--simple-and-fast-retrieval-augmented-generation.md @@ -3,6 +3,8 @@ layout: post title: "LightRAG: Simple and Fast Retrieval-Augmented Generation" date: 2024-10-08 08:00:12 paper_author: "Beijing University of Posts and Telecommunications" +description: >- + LightRAG는 그래프 기반 텍스트 인덱싱과 이중 수준 검색을 결합하고 증분 업데이트로 인덱스 재구축을 없앴습니다. 검색 단계에서 GraphRAG가 약 610,000 토큰을 쓰는 반면 100 토큰 미만만 씁니다. 인덱싱과 검색 구조, 비용 비교를 정리합니다. categories: ["Paper Reviews", "Retrieval-Augmented-Generation"] tags: ["Graph-Based-Text-Indexing", "Dual-Level-Retrieval-Paradigm", "Low-Level-Entity-Retrieval", "High-Level-Relationship-Retrieval", "Entity-and-Relationship-Extraction", "LLM-Profiling-for-Key-Value-Pair-Generation", "Incremental-Knowledge-Base-Updates", "Hybrid-Retrieval", "Multi-Hop-Subgraph-Information-Extraction", "Deduplication-for-Graph-Optimization", "Retrieval-Augmented-Generation", "Knowledge-Graph"] cover: /assets/images/retrieval-augmented-generation.jpg diff --git a/_posts/2026-06-07-zep-a-temporal-knowledge-graph-architecture-for-agent-memory.md b/_posts/2026-06-07-zep-a-temporal-knowledge-graph-architecture-for-agent-memory.md index 1776bab..77eaa3d 100644 --- a/_posts/2026-06-07-zep-a-temporal-knowledge-graph-architecture-for-agent-memory.md +++ b/_posts/2026-06-07-zep-a-temporal-knowledge-graph-architecture-for-agent-memory.md @@ -4,6 +4,8 @@ title: "Zep: A Temporal Knowledge Graph Architecture for Agent Memory" subtitle: "Zep: 에이전트 메모리를 위한 시간 인식 지식 그래프 아키텍처" date: 2025-01-20 16:52:48 paper_author: "Zep AI" +description: >- + Zep은 시간 인식 지식 그래프 엔진 Graphiti로 사실의 유효 기간을 추적하는 에이전트 메모리 계층입니다. DMR에서 94.8%로 MemGPT의 93.4%를 앞섰고 LongMemEval에서는 응답 지연을 약 90% 줄였습니다. 그래프 구조와 검색 파이프라인을 정리합니다. categories: ["Paper Reviews", "Retrieval-Augmented-Generation"] tags: ["Temporally-Aware-Knowledge-Graph-Engine", "Bi-Temporal-Knowledge-Graph-Modeling", "Hierarchical-Knowledge-Graph-Construction", "Dynamic-Edge-Invalidation-for-Temporal-Reasoning", "Episodic-and-Semantic-Memory-Subgraphs", "Community-Detection", "Hybrid-Retrieval", "Non-Lossy-Knowledge-Graph-Updates", "Entity-and-Relationship-Extraction", "Graph-Based-Memory-Retrieval-for-LLM-Agents", "Retrieval-Augmented-Generation", "Knowledge-Graph"] cover: /assets/images/retrieval-augmented-generation.jpg @@ -24,7 +26,7 @@ Zep의 구현은 메시지, 텍스트, JSON 형태의 원시 데이터를 수집 ### 이 연구의 결과가 가지는 의미는 무엇입니까? -Zep은 두 개의 주요 벤치마크에서 강력한 성능을 입증했습니다. **Deep Memory Retrieval(DMR)** 과제에서는 gpt-4-turbo 기준 94.8%의 정확도로 MemGPT의 93.4%를 근소하게 앞섰으며, 더 복잡한 **LongMemEval** 벤치마크에서는 gpt-4o-mini 대비 정확도를 15.2%포인트, gpt-4o 대비 18.5%포인트 향상시켰습니다. 더욱 인상적인 것은 **응답 지연 시간을 약 90% 단축**했다는 점입니다. 평균 맥락 토큰을 115,000개에서 1,600개로 극적으로 압축하면서도 정확도를 높였으므로, 지식 그래프 검색이 방대한 대화에서 정말 필요한 정보만을 정밀하게 추출함을 의미합니다. 질문 유형별 분석에서 Zep은 **single-session-preference, multi-session, temporal-reasoning** 같은 복잡한 질문에서 가장 큰 개선을 보였으며, 특히 시간적 추론이 필요한 과제에서 두드러진 강점을 드러냈습니다. 다만 single-session-assistant 유형에서는 성능이 하락했는데, 이는 어시스턴트 측 콘텐츠가 그래프 추출 과정에서 충분히 보존되지 못했을 가능성을 시사합니다. 논문은 Zep이 정확도, 비용, 지연 시간을 균형 있게 고려하는 실용적 생산 시스템이며, 향후 미세 조정된 추출 모델, 도메인 특화 온톨로지 통합, 더 나은 메모리 벤치마크 개발 등을 통해 한층 발전할 수 있는 여지가 충분함을 강조합니다. +Zep은 두 개의 주요 벤치마크에서 강력한 성능을 입증했습니다. **Deep Memory Retrieval(DMR)** 과제에서는 gpt-4-turbo 기준 94.8%의 정확도로 MemGPT의 93.4%를 근소하게 앞섰으며, 더 복잡한 **LongMemEval** 벤치마크에서는 정확도를 gpt-4o-mini에서 15.2%, gpt-4o에서 18.5% 높였습니다(전체 맥락 베이스라인 대비 상대 향상). 더욱 인상적인 것은 **응답 지연 시간을 약 90% 단축**했다는 점입니다. 평균 맥락 토큰을 115,000개에서 1,600개로 극적으로 압축하면서도 정확도를 높였으므로, 지식 그래프 검색이 방대한 대화에서 정말 필요한 정보만을 정밀하게 추출함을 의미합니다. 질문 유형별 분석에서 Zep은 **single-session-preference, multi-session, temporal-reasoning** 같은 복잡한 질문에서 가장 큰 개선을 보였으며, 특히 시간적 추론이 필요한 과제에서 두드러진 강점을 드러냈습니다. 다만 single-session-assistant 유형에서는 성능이 하락했는데, 이는 어시스턴트 측 콘텐츠가 그래프 추출 과정에서 충분히 보존되지 못했을 가능성을 시사합니다. 논문은 Zep이 정확도, 비용, 지연 시간을 균형 있게 고려하는 실용적 생산 시스템이며, 향후 미세 조정된 추출 모델, 도메인 특화 온톨로지 통합, 더 나은 메모리 벤치마크 개발 등을 통해 한층 발전할 수 있는 여지가 충분함을 강조합니다. - - - ## 서론 @@ -517,7 +519,7 @@ LongMemEval은 [Wu 등](https://arxiv.org/pdf/2410.10813v2)이 제안한 벤치 #### LongMemEval 결과 -Zep은 두 모델 변형 모두에서 정확도와 지연 시간 양쪽에 걸쳐 상당한 개선을 보였습니다. gpt-4o-mini에서는 베이스라인 대비 정확도가 15.2%포인트 향상되었고, gpt-4o에서는 18.5%포인트 향상되었습니다. 특히 주목할 부분은 검색을 통해 프롬프트 크기를 극적으로 줄임으로써 지연 시간까지 대폭 절감했다는 점입니다. 다음 표가 이를 종합적으로 보여줍니다. +Zep은 두 모델 변형 모두에서 정확도와 지연 시간 양쪽에 걸쳐 상당한 개선을 보였습니다. gpt-4o-mini에서는 베이스라인 대비 정확도가 15.2%(55.4%에서 63.8%) 향상되었고, gpt-4o에서는 18.5%(60.2%에서 71.2%) 향상되었습니다. 특히 주목할 부분은 검색을 통해 프롬프트 크기를 극적으로 줄임으로써 지연 시간까지 대폭 절감했다는 점입니다. 다음 표가 이를 종합적으로 보여줍니다. | 메모리 방식 | 모델 | 점수 | 지연 시간 | 지연 IQR | 평균 맥락 토큰 | |---|---|---|---|---|---|