Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
10 changes: 6 additions & 4 deletions README.ko.md
Original file line number Diff line number Diff line change
Expand Up @@ -85,6 +85,7 @@ _plugins/ reading_time.rb (한·영 읽기 시간 계산)
css/ main.scss(Sass 진입점) · search.css(검색 페이지 전용)
js/ main.js(테마 토글·코드 복사·목차·메뉴·이미지 확대 등)
search.js(검색창 동작)
citations.js(논문 글의 인용 수, Semantic Scholar에서)
assets/images/ 토픽별 커버 이미지와 글의 그림·다이어그램(플랫)
assets/<slug>/ 일부 오래된 글의 그림 폴더. 새 글은 assets/images/를 씀
search.json 전체 본문 검색 색인 (simple-jekyll-search가 사용)
Expand All @@ -99,8 +100,8 @@ _data/ post_conventions.yml (카테고리·표지·통제 태그·
workflow-lint.yml: actionlint와 shellcheck
```

**최상위 페이지:** `index.html`(홈), 네 개의 섹션 페이지인 `paper-reviews.md`·
`paper-summaries.md`·`tech-guides.md`·`insights.md`, 그리고 `categories.html`·
**최상위 페이지:** `index.html`(홈), 다섯 개의 섹션 페이지인 `paper-reviews.md`·
`paper-summaries.md`·`paper-surveys.md`·`tech-guides.md`·`insights.md`, 그리고 `categories.html`·
`tags.html`·`search.md`·`about.md`·`404.html`. `sitemap.xml`·`feed.xml`·`robots.txt`는
플러그인이 생성하며 원본 파일이 없습니다.

Expand All @@ -118,6 +119,7 @@ title: "<글 제목>"
subtitle: "<한 줄 소개>" # 선택 — 헤더의 제목 아래에 표시됩니다
date: YYYY-MM-DD HH:MM:SS
paper_author: "<기관>" # 논문을 낸 기관(사람 이름 아님). 논문 글에만
paper_doi: "10.48550/arXiv.<id>" # 선택, 논문 글에만 — 메타 패널의 인용 수
seo_title: "<짧은 제목>" # 선택 — 논문 제목이 너무 길 때 <title>에 대신 씁니다
description: >- # 선택, 평문 — 아래 설명 참고
<검색 결과에 노출될 문장, 150자 안팎>
Expand Down Expand Up @@ -154,8 +156,8 @@ RSS `<summary>`에 실리는 문장입니다. 생략하면 `_plugins/post_descri

카테고리는 **두 단계**입니다.

- `categories[0]` — **유형**: `Paper Reviews`, `Paper Summaries`, `Tech Guides`,
`Insights` 중 하나. 글이 어느 내비 탭에 들어갈지를 정합니다. 아직 글이 없는 유형도
- `categories[0]` — **유형**: `Paper Reviews`, `Paper Summaries`, `Paper Surveys`,
`Tech Guides`, `Insights` 중 하나. 글이 어느 내비 탭에 들어갈지를 정합니다. 아직 글이 없는 유형도
**탭을 유지하고** 빈 상태 문구를 띄웁니다 — 탭이 없으면 채우는 중인 섹션이 아니라
없어진 섹션으로 읽히기 때문입니다.
- `categories[1]` — **주제**: `_data/post_conventions.yml`의 `topics` 중 하나이며, 표지
Expand Down
6 changes: 4 additions & 2 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -87,6 +87,7 @@ _plugins/ reading_time.rb (KO/EN-aware read time)
css/ main.scss (Sass entry point) · search.css (search page only)
js/ main.js (theme toggle, code-copy, TOC, menu, image zoom…)
search.js (drives the search box)
citations.js (a paper post's citation count, from Semantic Scholar)
assets/images/ Topic cover images, plus post figures and diagrams (flat)
assets/<slug>/ Figures of some older posts; new posts use assets/images/
search.json Full-text search index (consumed by simple-jekyll-search)
Expand All @@ -102,7 +103,7 @@ _data/ post_conventions.yml (categories, covers, controlled and
```

**Top-level pages:** `index.html` (home), plus `paper-reviews.md`,
`paper-summaries.md`, `tech-guides.md`, `insights.md` (the four section pages),
`paper-summaries.md`, `paper-surveys.md`, `tech-guides.md`, `insights.md` (the five section pages),
`categories.html`, `tags.html`, `search.md`, `about.md`, and `404.html`.
`sitemap.xml`, `feed.xml` and `robots.txt` are generated by the plugins; there is
no source file for any of them.
Expand All @@ -123,6 +124,7 @@ title: "<Post Title>"
subtitle: "<one-line pitch>" # optional — shown under the title in the header
date: YYYY-MM-DD HH:MM:SS
paper_author: "<Org>" # the paper's org, not people; paper posts only
paper_doi: "10.48550/arXiv.<id>" # optional, paper posts only — the citation count in the meta panel
seo_title: "<shorter title>" # optional — for <title> when the paper title is too long
description: >- # optional, plain text — see below
<search-snippet, ~150 chars>
Expand Down Expand Up @@ -161,7 +163,7 @@ CI fails the build otherwise. They ship as plain text, so the lint rejects
Categories are **two levels**:

- `categories[0]` — the **type**: `Paper Reviews`, `Paper Summaries`,
`Tech Guides`, or `Insights`. This decides which nav tab the post appears under.
`Paper Surveys`, `Tech Guides`, or `Insights`. This decides which nav tab the post appears under.
A type with no posts yet keeps its tab and renders an empty-state line: a
missing tab reads as a section that was removed, not one still filling up.
- `categories[1]` — the **topic**, one of the `topics` in
Expand Down
9 changes: 7 additions & 2 deletions _data/post_conventions.yml
Original file line number Diff line number Diff line change
Expand Up @@ -9,11 +9,16 @@
# of repeating the lists.

# categories[0]. `paper`: the post reviews one paper, so it names the paper's
# organisation in `paper_author`. `cover`: the image every post of the type uses;
# without one, the topic's image below.
# organisation in `paper_author`, and may give the paper's DOI in `paper_doi`
# (10.48550/arXiv.<id> when the paper is on arXiv, else the venue's DOI)
# for the citation count in the post's meta panel; no other type may set it.
# Paper Surveys walk one topic through several papers in the order they came
# out, so no single paper's keys apply. `cover`: the image every post of the
# type uses; without one, the topic's image below.
types:
Paper Reviews: { paper: true }
Paper Summaries: { paper: true }
Paper Surveys: {}
Tech Guides: {}
Insights: { cover: /assets/images/insights.jpg }

Expand Down
3 changes: 2 additions & 1 deletion _includes/footer.html
Original file line number Diff line number Diff line change
Expand Up @@ -11,7 +11,7 @@ <h2 class="footer-heading">{{ site.title }}</h2>

<p><strong>Site Map</strong></p>
<ul class="pages">
{% include nav_links.html %}
{% include nav_links.html full=true %}
</ul>
</div>

Expand Down Expand Up @@ -61,6 +61,7 @@ <h2 class="footer-heading">{{ site.title }}</h2>
{% endif %}

<script src="{{ '/js/main.js' | prepend: site.baseurl }}" defer></script>
{% if page.paper_doi %}<script src="{{ '/js/citations.js' | prepend: site.baseurl }}" defer></script>{% endif %}

<!-- Do not write Liquid tag delimiters in these HTML comments. Liquid tokenizes
tags inside comments too, so a tag named in prose is opened for real and the
Expand Down
7 changes: 6 additions & 1 deletion _includes/nav_links.html
Original file line number Diff line number Diff line change
@@ -1,6 +1,11 @@
{%- comment -%}
`nav_title`: a shorter tab name than the page's title. The bar is 48em wide,
and three tabs that each began with "Paper" wrapped it to two rows. The
footer's site map has the room, so it passes full=true for the titles.
{%- endcomment -%}
{% assign nav_pages = site.pages | where: "main_nav", true | sort: "nav_order" %}
{% for page in nav_pages %}
<li class="nav-link">
<a href="{{ page.url | prepend: site.baseurl }}">{{ page.title }}</a>
<a href="{{ page.url | prepend: site.baseurl }}">{% if include.full %}{{ page.title }}{% else %}{{ page.nav_title | default: page.title }}{% endif %}</a>
</li>
{% endfor %}
9 changes: 9 additions & 0 deletions _layouts/post.html
Original file line number Diff line number Diff line change
Expand Up @@ -36,6 +36,15 @@ <h1 class="title">{{ page.title }}</h1>
{% endfor %}
</div>
{% endif %}
{%- comment -%}
Hidden until js/citations.js fills it from Semantic Scholar. Last, so
the fields before it stay put when it appears.
{%- endcomment -%}
{% if page.paper_doi %}
<div class="post-citations" data-paper-doi="{{ page.paper_doi | escape }}" hidden>
<span class="meta-label">Citations</span>
</div>
{% endif %}
</div>
{% if page.tags.size > 0 %}
<div class="post-tags">
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "From Local to Global: A Graph RAG Approach to Query-Focused Summarization"
date: 2024-04-24 18:38:11
paper_author: "Microsoft Research"
paper_doi: "10.48550/arXiv.2404.16130"
description: >-
Graph RAG는 LLM으로 엔티티 지식 그래프와 커뮤니티 요약을 미리 만들어 전역 질문에 맵-리듀스로 답합니다. 기존 RAG보다 포괄성과 다양성에서 앞섰고, 루트 레벨 요약은 원문 요약보다 토큰을 97% 이상 덜 씁니다. 색인 구축과 평가를 정리합니다.
categories: ["Paper Reviews", "Retrieval-Augmented-Generation"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "Llama 2: Open Foundation and Fine-Tuned Chat Models"
date: 2023-07-18 14:31:57
paper_author: "Meta AI"
paper_doi: "10.48550/arXiv.2307.09288"
description: >-
Llama 2는 7B~70B 규모로 2조 토큰을 사전학습하고 SFT와 RLHF, 고스트 어텐션(GAtt)으로 대화 모델 Llama 2-Chat을 만들었습니다. 350명 이상의 레드팀이 안전성을 시험했습니다. 학습 과정과 안전성 강화 방법을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "LLaMA: Open and Efficient Foundation Language Models"
date: 2023-02-27 17:11:15
paper_author: "Meta AI"
paper_doi: "10.48550/arXiv.2302.13971"
description: >-
LLaMA는 공개 데이터만으로 7B~65B 모델을 1.4T 토큰까지 학습해, 13B 모델이 대부분의 벤치마크에서 GPT-3(175B)를 앞서고 65B 모델이 PaLM-540B와 견줄 성능을 냈습니다. 데이터 구성, 아키텍처 개선과 학습 효율화 방법을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "DeepSeek LLM: Scaling Open-Source Language Models with Longtermism"
date: 2024-01-05 18:59:13
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2401.02954"
description: >-
DeepSeek LLM은 비임베딩 FLOPs/토큰으로 모델 규모를 나타내 스케일링 법칙을 다시 세우고 2조 토큰으로 7B·67B 모델을 학습했습니다. 67B는 코드·수학·추론에서 LLaMA-2 70B를 앞섰습니다. 스케일링 분석과 학습 과정을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Expert
seo_title: "DeepSeekMoE: Ultimate Expert Specialization in MoE" # <title> only; the paper title runs past a results list
date: 2024-01-11 17:31:42
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2401.06066"
description: >-
DeepSeekMoE는 세밀한 전문가 분할과 공유 전문가 분리로 MoE의 지식 혼재와 중복 문제를 줄입니다. 16B 모델은 LLaMA2 7B의 약 40% 계산량으로 대등한 성능을 냈고 145B까지 확장했습니다. 구조와 부하 균형 기법을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "DeepSeek-Coder: When the Large Language Model Meets Programming - The Ri
seo_title: "DeepSeek-Coder: The Rise of Code Intelligence" # <title> only; the paper title runs past a results list
date: 2024-01-25 14:17:53
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2401.14196"
description: >-
DeepSeek-Coder는 87개 프로그래밍 언어의 2조 토큰을 저장소 단위로 구성하고 FIM과 16K 컨텍스트로 1.3B~33B 코드 모델을 학습했습니다. Instruct 33B는 대부분의 벤치마크에서 GPT-3.5 Turbo를 앞섰습니다. 데이터 구축과 학습 전략을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval"
date: 2024-01-31 18:30:21
paper_author: "Stanford University"
paper_doi: "10.48550/arXiv.2401.18059"
description: >-
RAPTOR는 텍스트 청크를 재귀적으로 임베딩·클러스터링·요약해 여러 추상화 수준의 트리를 만들고 검색에 씁니다. GPT-4와 결합해 QuALITY에서 기존 최고 정확도를 20%포인트 높였습니다. 트리 구축과 축소된 트리 검색 방식을 정리합니다.
categories: ["Paper Reviews", "Retrieval-Augmented-Generation"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-02-27-mistral-7b.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "Mistral 7B"
date: 2023-10-10 17:54:58
paper_author: "Mistral AI"
paper_doi: "10.48550/arXiv.2310.06825"
description: >-
Mistral 7B는 그룹 쿼리 어텐션과 슬라이딩 윈도우 어텐션을 갖춰, 거의 모든 벤치마크에서 Llama 2 13B를, 추론·수학·코드에서 Llama 1 34B를 앞섭니다. 롤링 버퍼 캐시와 청킹을 포함한 아키텍처와 평가 결과를 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models"
date: 2024-02-05 18:55:32
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2402.03300"
description: >-
DeepSeekMath는 Common Crawl에서 1,200억 개 수학 토큰을 모으고 GRPO로 강화 학습해, 7B 모델로 MATH 정확도 51.7%를 기록했습니다. 데이터 선택 파이프라인과 비평 모델 없이 동작하는 GRPO의 원리를 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-04-04-mixtral-of-experts.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "Mixtral of Experts"
subtitle: "Mixtral of Experts: 전문가 혼합 모델의 새로운 지평"
date: 2024-01-08 18:47:34
paper_author: "Mistral AI"
paper_doi: "10.48550/arXiv.2401.04088"
description: >-
Mixtral 8x7B는 층마다 8개 전문가 중 2개를 고르는 희소 전문가 혼합 모델로, 총 47B 중 13B만 활성화하고도 대부분의 벤치마크에서 Llama 2 70B·GPT-3.5와 같거나 앞섭니다. 라우팅 구조와 학습 과정을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-10-03-gemma-3-technical-report.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "Gemma 3 Technical Report"
date: 2025-03-25 15:52:34
paper_author: "Google DeepMind"
paper_doi: "10.48550/arXiv.2503.19786"
description: >-
Gemma 3는 로컬 어텐션 5개마다 글로벌 어텐션 1개를 두어 128K 컨텍스트의 메모리 부담을 줄였고, 27B 모델은 Chatbot Arena에서 Elo 1,338점으로 공동 9위에 올랐습니다. 멀티모달 처리와 지식 증류 기반 학습 방법을 정리합니다.
categories: ["Paper Reviews", "Multimodal-Learning"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-10-03-kimi-k2--open-agentic-intelligence.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "Kimi K2: Open Agentic Intelligence"
subtitle: "Kimi K2: 오픈 에이전틱 인텔리전스"
date: 2025-07-28 05:35:43
paper_author: "Moonshot AI"
paper_doi: "10.48550/arXiv.2507.20534"
description: >-
Kimi K2는 활성 32B, 총 1조 매개변수의 MoE 모델로, MuonClip 옵티마이저로 15.5조 토큰을 손실 스파이크 없이 학습했고 SWE-Bench Verified에서 65.8점을 얻었습니다. 에이전틱 데이터 합성과 강화학습 과정을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Lang
subtitle: "DeepSeek-V2: 강력하고 경제적이며 효율적인 Mixture-of-Experts 언어 모델"
date: 2024-05-07 15:56:43
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2405.04434"
description: >-
DeepSeek-V2는 MLA와 DeepSeekMoE를 결합한 236B 규모 MoE 모델로, 토큰당 21B만 활성화하며 DeepSeek 67B 대비 KV 캐시를 93.3% 줄이고 생성 처리량을 5.76배 높였습니다. 두 아키텍처의 설계와 학습 과정을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "Tulu 3: Pushing Frontiers in Open Language Model Post-Training"
subtitle: "Tülu 3: 오픈 언어 모델 사후 훈련의 새로운 지평"
date: 2024-11-22 18:44:04
paper_author: "Allen Institute for AI"
paper_doi: "10.48550/arXiv.2411.15124"
description: >-
Tülu 3는 Llama 3.1 기반 모델에 SFT, DPO, 검증 가능한 보상 강화학습 RLVR을 차례로 적용한 공개 사후 훈련 모델로, 8B 모델이 GSM8K 87.6%, IFEval 82.4%를 기록했습니다. 데이터 구성과 평가 체계, RLVR을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcemen
subtitle: "DeepSeek-R1: 강화학습을 통한 대규모 언어 모델의 추론 능력 향상"
date: 2025-01-22 15:19:35
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2501.12948"
description: >-
DeepSeek-R1-Zero는 SFT 없이 강화학습만으로 AIME 2024 pass@1을 15.6%에서 71.0%로 끌어올렸고, DeepSeek-R1은 콜드 스타트 데이터와 다단계 학습으로 OpenAI-o1-1217 수준에 이르렀습니다. 학습 과정과 증류 결과를 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-10-07-deepseek-v3-technical-report.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "DeepSeek-V3 Technical Report"
subtitle: "DeepSeek-V3 기술 보고서"
date: 2024-12-27 04:03:16
paper_author: "DeepSeek AI"
paper_doi: "10.48550/arXiv.2412.19437"
description: >-
DeepSeek-V3는 총 671B, 토큰당 37B 파라미터가 활성화되는 MoE 모델로, MLA와 보조 손실 없는 부하 분산, FP8 혼합 정밀도 학습을 결합해 2.788M H800 GPU 시간만으로 학습을 마쳤습니다. 아키텍처와 학습 인프라를 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "Gemma 2: Improving Open Language Models at a Practical Size"
subtitle: "Gemma 2: 실용적 크기에서 오픈 언어 모델 개선"
date: 2024-07-31 19:13:07
paper_author: "Google DeepMind"
paper_doi: "10.48550/arXiv.2408.00118"
description: >-
Gemma 2는 2B·9B 모델을 다음 토큰 예측 대신 지식 증류로 학습하고 로컬-글로벌 어텐션과 GQA를 적용해 2-3배 큰 모델과 경쟁하는 성능을 냈습니다. 증류로 2B 평균 점수가 7.4점 오른 실험과 아키텍처를 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-10-07-the-llama-3-herd-of-models.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "The Llama 3 Herd of Models"
date: 2024-07-31 17:54:27
paper_author: "Meta AI"
paper_doi: "10.48550/arXiv.2407.21783"
description: >-
Llama 3는 약 15조 토큰으로 사전 학습한 8B·70B·405B 조밀한 트랜스포머로, 128K 컨텍스트를 지원하며 405B 모델이 HumanEval 89.0%, MGSM 91.6%를 기록했습니다. 데이터 정제와 사후 학습, 멀티모달 어댑터 설계를 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-10-08-qwen3-technical-report.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "Qwen3 Technical Report"
subtitle: "Qwen3 기술 보고서"
date: 2025-05-14 13:41:34
paper_author: "Alibaba Group"
paper_doi: "10.48550/arXiv.2505.09388"
description: >-
Qwen3는 사고 모드와 비사고 모드를 한 모델에 통합하고 사고 예산으로 추론 깊이를 조절하는 dense·MoE 모델군으로, 119개 언어 36조 토큰으로 사전 학습해 AIME'24 85.7점을 기록했습니다. 3단계 사전 학습과 사후 학습 과정을 정리합니다.
categories: ["Paper Reviews", "Language-Models"]
Expand Down
1 change: 1 addition & 0 deletions _posts/2025-10-10-pixtral-12b.md
Original file line number Diff line number Diff line change
Expand Up @@ -3,6 +3,7 @@ layout: post
title: "Pixtral 12B"
date: 2024-10-09 17:16:22
paper_author: "Mistral AI"
paper_doi: "10.48550/arXiv.2410.07073"
description: >-
Pixtral 12B는 원본 해상도와 종횡비를 그대로 처리하는 4억 파라미터 비전 인코더와 Mistral Nemo 12B 디코더를 결합해 7배 큰 Llama-3.2 90B를 앞서고 MM-MT-Bench 6.05점을 기록했습니다. 구조와 새 벤치마크를 정리합니다.
categories: ["Paper Reviews", "Multimodal-Learning"]
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,7 @@ title: "Gemini: A Family of Highly Capable Multimodal Models"
subtitle: "Gemini: 고도로 능력 있는 멀티모달 모델 패밀리"
date: 2023-12-19 02:39:27
paper_author: "Google DeepMind"
paper_doi: "10.48550/arXiv.2312.11805"
description: >-
Gemini는 이미지, 오디오, 비디오, 텍스트를 함께 다루도록 설계된 Ultra, Pro, Nano 모델군으로, Gemini Ultra는 32개 벤치마크 중 30개에서 최고 성능을 경신하고 MMLU 90.04%로 인간 전문가 수준을 넘었습니다. 구조와 평가를 정리합니다.
categories: ["Paper Reviews", "Multimodal-Learning"]
Expand Down
Loading