Add descriptions to paper posts and fix factual errors

_posts/2025-01-17-from-local-to-global-a-graph-rag-approach-to-query-focused-summarization.md

@@ -3,6 +3,8 @@ layout: post
 title: "From Local to Global: A Graph RAG Approach to Query-Focused Summarization"
 date: 2024-04-24 18:38:11
 paper_author: "Microsoft Research"
+description: >-
+  Graph RAG는 LLM으로 엔티티 지식 그래프와 커뮤니티 요약을 미리 만들어 전역 질문에 맵-리듀스로 답합니다. 기존 RAG보다 포괄성과 다양성에서 앞섰고, 루트 레벨 요약은 원문 요약보다 토큰을 97% 덜 씁니다. 색인 구축과 평가를 정리합니다.
 categories: ["Paper Reviews", "Retrieval-Augmented-Generation"]
 tags: ["GraphRAG", "Query-Focused-Summarization", "Community-Based-Summarization", "Entity-and-Relationship-Extraction", "Map-Reduce-Summarization", "Modularity-Based-Retrieval", "Community-Detection", "Leiden-Algorithm-for-Text", "Multi-Level-Community-Indexing", "Global-Context-Understanding", "Retrieval-Augmented-Generation", "Knowledge-Graph"]
 cover: /assets/images/retrieval-augmented-generation.jpg

_posts/2025-01-27-llama-2-open-foundation-and-fine-tuned-chat-models.md

@@ -3,6 +3,8 @@ layout: post
 title: "Llama 2: Open Foundation and Fine-Tuned Chat Models"
 date: 2023-07-18 14:31:57
 paper_author: "Meta AI"
+description: >-
+  Llama 2는 7B~70B 규모로 2조 토큰을 사전학습하고 SFT와 RLHF, 고스트 어텐션(GAtt)으로 대화 모델 Llama 2-Chat을 만들었습니다. 350명 이상의 레드팀이 안전성을 시험했습니다. 학습 과정과 안전성 강화 방법을 정리합니다.
 categories: ["Paper Reviews", "Language-Models"]
 tags: ["Reinforcement-Learning-with-Human-Feedback", "Ghost-Attention", "Rejection-Sampling-Fine-Tuning", "Grouped-Query-Attention", "Proximal-Policy-Optimization", "Red-Teaming", "Safety-Alignment", "System-Message-for-Multi-Turn-Consistency", "Safety-Context-Distillation", "Alignment", "Llama", "Efficient-Attention"]
 cover: /assets/images/language-models.jpg

_posts/2025-01-28-llama-open-and-efficient-foundation-language-models.md

@@ -3,6 +3,8 @@ layout: post
 title: "LLaMA: Open and Efficient Foundation Language Models"
 date: 2023-02-27 17:11:15
 paper_author: "Meta AI"
+description: >-
+  LLaMA는 공개 데이터만으로 7B~65B 모델을 1.4T 토큰까지 학습해, 13B 모델이 GPT-3(175B)를 앞서고 65B 모델이 PaLM-540B와 견줄 성능을 냈습니다. 데이터 구성, 아키텍처 개선과 학습 효율화 방법을 정리합니다.
 categories: ["Paper Reviews", "Language-Models"]
 tags: ["Rotary-Positional-Embeddings", "SwiGLU-Activation-Function", "Scaling-Laws", "Economical-Training", "Computation-Communication-Overlap", "Public-Dataset-Only-Training", "RMSNorm", "Efficient-Attention", "CommonCrawl-Quality-Filtering", "Llama"]
 cover: /assets/images/language-models.jpg

_posts/2025-02-03-deepseek-llm-scaling-open-source-language-models-with-longtermism.md

@@ -3,6 +3,8 @@ layout: post
 title: "DeepSeek LLM: Scaling Open-Source Language Models with Longtermism"
 date: 2024-01-05 18:59:13
 paper_author: "DeepSeek AI"
+description: >-
+  DeepSeek LLM은 비임베딩 FLOPs/토큰으로 모델 규모를 나타내 스케일링 법칙을 다시 세우고 2조 토큰으로 7B·67B 모델을 학습했습니다. 67B는 코드·수학·추론에서 LLaMA-2 70B를 앞섰습니다. 스케일링 분석과 학습 과정을 정리합니다.
 categories: ["Paper Reviews", "Language-Models"]
 tags: ["Compute-Optimal-Scaling", "Non-Embedding-FLOPs-per-Token", "Multi-Step-Learning-Rate-Scheduler", "Optimal-Model-Data-Scaling-Allocation", "Direct-Preference-Optimization", "Grouped-Query-Attention", "Scaling-Laws", "Economical-Training", "Depth-Over-Width-Scaling", "DeepSeek"]
 cover: /assets/images/language-models.jpg
@@ -13,13 +15,13 @@ use_math: true
 오픈소스 대규모 언어 모델(LLMs)의 발전이 가속화되면서, 모델 스케일링에 대한 명확한 이해의 필요성이 대두되었습니다. 기존 연구들은 스케일링 법칙에 대해 서로 다른 결론을 제시했으며, 하이퍼파라미터 설정에 대한 상세한 설명이 부족했습니다. 특히 AGI 발전의 초기 단계에서 효율적인 모델 스케일링 전략의 수립이 중요한 과제로 대두되었습니다. 이러한 배경에서 DeepSeek LLM 연구는 장기적 관점에서 오픈소스 언어 모델의 체계적인 발전을 위한 포괄적인 프레임워크를 제시하고자 시작되었습니다.
 
 ### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까?
-이 연구는 세 가지 주요 혁신을 제시합니다. 첫째, 비임베딩 FLOPs/토큰(M)이라는 새로운 모델 규모 표현 방식을 도입하여 계산 비용을 더 정확하게 추정할 수 있게 했습니다. 둘째, 컴퓨트 예산 증가에 따른 최적의 모델/데이터 스케일링 할당 전략을 도출했으며, 약 52.43%를 모델 스케일링에, 47.57%를 데이터 스케일링에 할당하는 것이 최적임을 발견했습니다. 셋째, 다단계 학습률 스케줄러를 도입하여 연속 학습에서의 재사용성을 향상시켰습니다.
+이 연구는 세 가지 주요 혁신을 제시합니다. 첫째, 비임베딩 FLOPs/토큰(M)이라는 새로운 모델 규모 표현 방식을 도입하여 계산 비용을 더 정확하게 추정할 수 있게 했습니다. 둘째, 컴퓨트 예산 증가에 따른 최적의 모델/데이터 스케일링 할당 전략을 도출했으며, 최적 모델 규모는 컴퓨트 예산의 0.5243제곱, 최적 데이터 규모는 0.4757제곱에 비례한다는 것을 발견했습니다. 셋째, 다단계 학습률 스케줄러를 도입하여 연속 학습에서의 재사용성을 향상시켰습니다.
 
 ### 제안된 방법은 어떻게 구현되었습니까?
 DeepSeek LLM은 7B와 67B 두 가지 규모로 구현되었으며, LLaMA 아키텍처를 기반으로 하되 몇 가지 중요한 수정을 도입했습니다. 67B 모델의 경우 Grouped-Query Attention(GQA)을 채택하여 추론 효율성을 개선했으며, 네트워크 깊이를 확장하는 전략을 채택했습니다. 학습 데이터는 약 2조 개의 토큰으로 구성되었으며, 중복 제거, 필터링, 리믹싱의 세 단계로 처리되었습니다. 모델은 지도 학습 미세조정(SFT)과 직접 선호도 최적화(DPO)를 통해 정제되었습니다.
 
 ### 이 연구의 결과가 가지는 의미는 무엇입니까?
-이 연구의 결과는 오픈소스 LLM 개발에 있어 몇 가지 중요한 시사점을 제공합니다. 첫째, DeepSeek LLM 67B는 코드, 수학, 추론 영역에서 LLaMA-2 70B를 능가했으며, GPT-3.5보다 우수한 성능을 보여 오픈소스 모델의 잠재력을 입증했습니다. 둘째, 제시된 스케일링 법칙은 데이터셋 품질이 최적의 모델/데이터 스케일링 전략에 미치는 영향을 밝혀냈습니다. 셋째, 홀드아웃 평가를 통해 모델의 실제 성능과 일반화 능력을 검증했으며, 이는 향후 LLM 개발에 있어 중요한 지표가 될 것입니다.
+이 연구의 결과는 오픈소스 LLM 개발에 있어 몇 가지 중요한 시사점을 제공합니다. 첫째, DeepSeek LLM 67B는 코드, 수학, 추론 영역에서 LLaMA-2 70B를 능가했으며, 대화 모델인 DeepSeek LLM 67B Chat은 GPT-3.5보다 우수한 성능을 보여 오픈소스 모델의 잠재력을 입증했습니다. 둘째, 제시된 스케일링 법칙은 데이터셋 품질이 최적의 모델/데이터 스케일링 전략에 미치는 영향을 밝혀냈습니다. 셋째, 홀드아웃 평가를 통해 모델의 실제 성능과 일반화 능력을 검증했으며, 이는 향후 LLM 개발에 있어 중요한 지표가 될 것입니다.
 - - -
 ## DeepSeek LLM: 장기적 관점으로 오픈소스 언어 모델 확장하기
 

_posts/2025-02-05-deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models.md

@@ -4,6 +4,8 @@ title: "DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Expert
 seo_title: "DeepSeekMoE: Ultimate Expert Specialization in MoE"  # <title> only; the paper title runs past a results list
 date: 2024-01-11 17:31:42
 paper_author: "DeepSeek AI"
+description: >-
+  DeepSeekMoE는 세밀한 전문가 분할과 공유 전문가 분리로 MoE의 지식 혼재와 중복 문제를 줄입니다. 16B 모델은 LLaMA2 7B의 약 40% 계산량으로 대등한 성능을 냈고 145B까지 확장했습니다. 구조와 부하 균형 기법을 정리합니다.
 categories: ["Paper Reviews", "Language-Models"]
 tags: ["Fine-Grained-Expert-Segmentation", "Shared-Expert-Isolation", "Mixture-of-Experts", "Parameter-Efficient-Language-Model-Scaling", "Economical-Training", "Multi-Level-Load-Balancing", "Efficient-Inference", "DeepSeek"]
 cover: /assets/images/language-models.jpg

_posts/2025-02-14-deepseek-coder-when-the-large-language-model-meets-programming-the-rise-of-code-intelligence.md

@@ -4,6 +4,8 @@ title: "DeepSeek-Coder: When the Large Language Model Meets Programming - The Ri
 seo_title: "DeepSeek-Coder: The Rise of Code Intelligence"  # <title> only; the paper title runs past a results list
 date: 2024-01-25 14:17:53
 paper_author: "DeepSeek AI"
+description: >-
+  DeepSeek-Coder는 87개 프로그래밍 언어의 2조 토큰을 저장소 단위로 구성하고 FIM과 16K 컨텍스트로 1.3B~33B 코드 모델을 학습했습니다. Instruct 33B는 GPT-3.5 Turbo를 앞섰습니다. 데이터 구축과 학습 전략을 정리합니다.
 categories: ["Paper Reviews", "Language-Models"]
 tags: ["Repository-Level-Data-Construction", "Fill-in-the-Middle-Code-Completion", "Cross-File-Code-Completion", "Long-Context-Adaptation", "Repository-Level-Deduplication", "Dependency-Aware-Training", "Project-Level-Code-Understanding", "Cross-File-Dependency-Analysis", "Topological-Sorting-for-Code-Learning", "LeetCode-Competition-Benchmark", "DeepSeek"]
 cover: /assets/images/language-models.jpg

_posts/2025-02-14-raptor-recursive-abstractive-processing-for-tree-organized-retrieval.md

@@ -3,6 +3,8 @@ layout: post
 title: "RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval"
 date: 2024-01-31 18:30:21
 paper_author: "Stanford University"
+description: >-
+  RAPTOR는 텍스트 청크를 재귀적으로 임베딩·클러스터링·요약해 여러 추상화 수준의 트리를 만들고 검색에 씁니다. GPT-4와 결합해 QuALITY에서 정확도를 절대 20% 높였습니다. 트리 구축과 축소된 트리 검색 방식을 정리합니다.
 categories: ["Paper Reviews", "Retrieval-Augmented-Generation"]
 tags: ["Tree-Organized-Retrieval", "Hierarchical-Summarization", "Collapsed-Tree-Retrieval", "Dependency-Aware-Tree-Traversal", "Multi-Level-Abstraction-Retrieval", "Gaussian-Mixture-Model-Clustering", "Semantic-Similarity-Clustering", "Contextual-Flexibility-Retrieval", "Retrieval-Augmented-Generation"]
 cover: /assets/images/retrieval-augmented-generation.jpg
@@ -13,7 +15,7 @@ use_math: true
 대규모 언어 모델(LLMs)은 인상적인 성능을 보이고 있지만, 특정 도메인의 전문 지식 부족과 지식의 시의성 문제라는 한계에 직면해 있습니다. 기존의 검색 증강 접근방식은 텍스트를 짧은 청크로 분할하여 검색하는 방식을 사용하지만, 이는 문서의 전체적인 맥락과 계층적 의미 구조를 효과적으로 포착하지 못한다는 한계가 있습니다. 특히 복잡한 다단계 추론이 필요한 과제에서 이러한 한계가 두드러집니다. 이 연구는 이러한 문제를 해결하기 위해 문서의 계층적 의미 구조를 효과적으로 활용할 수 있는 새로운 검색 증강 방법론을 개발하고자 시작되었습니다.
 
 ### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까?
-RAPTOR(Recursive Abstraction Processing Through Tree-based Organization and Retrieval)는 텍스트의 계층적 의미 구조를 포착하고 활용하는 혁신적인 트리 기반 검색 시스템을 제시합니다. 이 시스템은 텍스트 청크를 재귀적으로 임베딩하고, 클러스터링하며, 요약하는 과정을 통해 다양한 추상화 수준의 정보를 포함하는 트리 구조를 구축합니다. 특히 의미적 유사성을 기반으로 한 클러스터링과 재귀적 요약을 통해, 문서 전체에 걸친 정보를 효과적으로 통합하고 활용할 수 있는 구조를 제공합니다.
+RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval)는 텍스트의 계층적 의미 구조를 포착하고 활용하는 혁신적인 트리 기반 검색 시스템을 제시합니다. 이 시스템은 텍스트 청크를 재귀적으로 임베딩하고, 클러스터링하며, 요약하는 과정을 통해 다양한 추상화 수준의 정보를 포함하는 트리 구조를 구축합니다. 특히 의미적 유사성을 기반으로 한 클러스터링과 재귀적 요약을 통해, 문서 전체에 걸친 정보를 효과적으로 통합하고 활용할 수 있는 구조를 제공합니다.
 
 ### 제안된 방법은 어떻게 구현되었습니까?
 RAPTOR의 구현은 크게 트리 구축과 검색 메커니즘 두 단계로 나뉩니다. 트리 구축 단계에서는 텍스트를 100 토큰 길이의 청크로 분할한 후, SBERT를 사용하여 임베딩합니다. 이후 가우시안 혼합 모델(GMM)을 사용한 클러스터링과 GPT-3.5-turbo를 활용한 요약 생성을 통해 계층적 트리 구조를 구축합니다. 검색 단계에서는 트리 순회와 축소된 트리라는 두 가지 방식을 제공하며, 실험 결과 축소된 트리 방식이 더 우수한 성능을 보였습니다. 시스템의 확장성 분석 결과, 트리 구축 비용과 시간이 문서 길이에 대해 선형적으로 증가하는 것으로 나타났습니다.

_posts/2025-02-27-mistral-7b.md

@@ -3,6 +3,8 @@ layout: post
 title: "Mistral 7B"
 date: 2023-10-10 17:54:58
 paper_author: "Mistral AI"
+description: >-
+  Mistral 7B는 그룹 쿼리 어텐션과 슬라이딩 윈도우 어텐션으로 모든 벤치마크에서 Llama 2 13B를, 추론·수학·코드에서 Llama 1 34B를 앞섭니다. 롤링 버퍼 캐시와 청킹을 포함한 아키텍처와 평가 결과를 정리합니다.
 categories: ["Paper Reviews", "Language-Models"]
 tags: ["Grouped-Query-Attention", "Sliding-Window-Attention", "Rolling-Buffer-Cache", "Prefill-and-Chunking", "Self-Reflection-Content-Moderation", "System-Prompt-Guardrails", "Token-Efficient-Knowledge-Compression", "Performance-Training-Inference-Tradeoff", "Scaling-Laws", "Efficient-Attention"]
 cover: /assets/images/language-models.jpg
@@ -13,7 +15,7 @@ use_math: true
 자연어 처리 분야에서 언어 모델의 성능 향상은 주로 모델 크기 증가에 의존해왔습니다. 그러나 이러한 규모 확장은 계산 비용과 추론 지연 시간을 증가시켜 실제 환경에서의 배포에 장벽을 만듭니다. 연구자들은 높은 성능과 효율성을 동시에 제공하는 균형 잡힌 모델의 필요성을 인식했습니다. 기존의 대규모 언어 모델들은 뛰어난 성능을 보여주지만, 실시간 애플리케이션이나 제한된 리소스 환경에서 활용하기 어렵다는 한계가 있었습니다. 이러한 배경에서 연구팀은 모델 크기를 줄이면서도 성능을 유지하거나 향상시킬 수 있는 효율적인 아키텍처 설계에 초점을 맞추게 되었습니다.
 
 ### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까?
-Mistral 7B는 7억 개의 매개변수를 가진 언어 모델로, 두 가지 핵심 기술적 혁신을 통해 효율성과 성능을 모두 향상시켰습니다. 첫째, 그룹 쿼리 어텐션(Grouped-Query Attention, GQA)을 도입하여 추론 속도를 가속화하고 디코딩 과정에서의 메모리 요구사항을 줄였습니다. 이는 더 높은 배치 크기와 처리량을 가능하게 합니다. 둘째, 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA)을 구현하여 감소된 계산 비용으로 더 긴 시퀀스를 효과적으로 처리할 수 있게 했습니다. 특히 SWA는 각 토큰이 이전 레이어에서 최대 W개의 토큰만 참조할 수 있게 하여 계산 복잡성을 줄이면서도 정보 흐름을 유지합니다. 또한 롤링 버퍼 캐시를 도입하여 캐시 크기를 제한함으로써 메모리 효율성을 크게 향상시켰습니다.
+Mistral 7B는 70억 개의 매개변수를 가진 언어 모델로, 두 가지 핵심 기술적 혁신을 통해 효율성과 성능을 모두 향상시켰습니다. 첫째, 그룹 쿼리 어텐션(Grouped-Query Attention, GQA)을 도입하여 추론 속도를 가속화하고 디코딩 과정에서의 메모리 요구사항을 줄였습니다. 이는 더 높은 배치 크기와 처리량을 가능하게 합니다. 둘째, 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA)을 구현하여 감소된 계산 비용으로 더 긴 시퀀스를 효과적으로 처리할 수 있게 했습니다. 특히 SWA는 각 토큰이 이전 레이어에서 최대 W개의 토큰만 참조할 수 있게 하여 계산 복잡성을 줄이면서도 정보 흐름을 유지합니다. 또한 롤링 버퍼 캐시를 도입하여 캐시 크기를 제한함으로써 메모리 효율성을 크게 향상시켰습니다.
 
 ### 제안된 방법은 어떻게 구현되었습니까?
 Mistral 7B는 트랜스포머 아키텍처를 기반으로 하며, 4096 차원의 임베딩, 32개의 레이어, 32개의 어텐션 헤드, 8개의 KV 헤드, 4096의 윈도우 크기, 8192의 컨텍스트 길이, 32000의 어휘 크기를 가진 모델로 구현되었습니다. 슬라이딩 윈도우 어텐션에서는 윈도우 크기 $$W=4096$$을 사용하여 이론적으로 마지막 레이어에서 약 131K 토큰의 어텐션 범위를 가능하게 합니다. 롤링 버퍼 캐시는 캐시 크기를 $$W$$로 고정하고, 타임스텝 $$i$$의 키와 값을 캐시의 위치 $$i\ mod\ W$$에 저장하는 방식으로 구현되었습니다. 또한 긴 프롬프트 처리를 위해 청킹 기법을 도입하여 프롬프트를 작은 청크로 나누어 처리함으로써 메모리 효율성을 높였습니다. 모델은 Apache 2.0 라이선스로 공개되었으며, [vLLM 추론 서버](https://docs.vllm.ai/en/latest/)와 [SkyPilot](https://docs.skypilot.co/en/latest/)을 사용하여 로컬 환경이나 클라우드 플랫폼에 쉽게 배포할 수 있도록 구현되었습니다.
@@ -27,7 +29,7 @@ Mistral 7B는 기존의 최고 성능 13B 모델(Llama 2)을 모든 평가 벤
 
 자연어 처리(NLP) 분야에서 언어 모델의 성능 향상은 종종 모델 크기의 증가를 수반합니다. 그러나 이러한 규모 확장은 계산 비용과 추론 지연 시간을 증가시켜 실제 환경에서의 배포에 장벽을 만듭니다. 이러한 맥락에서 높은 성능과 효율성을 모두 제공하는 균형 잡힌 모델의 필요성이 매우 중요해지고 있습니다.
 
-Mistral 7B는 이러한 도전에 대응하여 개발된 7억 개의 매개변수를 가진 언어 모델로, 신중한 설계를 통해 높은 성능과 효율적인 추론을 동시에 제공합니다. 이 모델은 기존의 최고 성능 13B 모델(Llama 2)을 모든 평가 벤치마크에서 능가하며, 최고의 34B 모델(Llama 1)도 추론, 수학, 코드 생성 분야에서 뛰어넘는 성과를 보여줍니다. 또한 Mistral 7B는 비코드 관련 벤치마크에서의 성능을 희생하지 않으면서도 Code-Llama 7B의 코딩 성능에 근접하는 결과를 보여줍니다.
+Mistral 7B는 이러한 도전에 대응하여 개발된 70억 개의 매개변수를 가진 언어 모델로, 신중한 설계를 통해 높은 성능과 효율적인 추론을 동시에 제공합니다. 이 모델은 기존의 최고 성능 13B 모델(Llama 2)을 모든 평가 벤치마크에서 능가하며, 최고의 34B 모델(Llama 1)도 추론, 수학, 코드 생성 분야에서 뛰어넘는 성과를 보여줍니다. 또한 Mistral 7B는 비코드 관련 벤치마크에서의 성능을 희생하지 않으면서도 Code-Llama 7B의 코딩 성능에 근접하는 결과를 보여줍니다.
 
 Mistral 7B의 핵심 기술적 혁신은 그룹 쿼리 어텐션(Grouped-Query Attention, GQA)과 슬라이딩 윈도우 어텐션(Sliding Window Attention, SWA)의 활용에 있습니다. GQA는 추론 속도를 크게 가속화하고 디코딩 과정에서의 메모리 요구사항을 줄여, 더 높은 배치 크기와 처리량을 가능하게 합니다. 이는 실시간 애플리케이션에서 중요한 요소입니다. 또한 SWA는 감소된 계산 비용으로 더 긴 시퀀스를 효과적으로 처리하도록 설계되어, 대규모 언어 모델(LLM)의 일반적인 한계를 완화합니다. 이러한 어텐션 메커니즘들은 Mistral 7B의 향상된 성능과 효율성에 집합적으로 기여합니다.