Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
5 changes: 5 additions & 0 deletions README.ko.md
Original file line number Diff line number Diff line change
Expand Up @@ -232,6 +232,11 @@ kramdown이 내용을 그대로 보존해 `\(…\)`로 내보내므로 안전합
- ar5iv 링크: ar5iv는 잃어버린 그림 대신 대체 이미지를 HTTP 200으로 돌려줍니다.
`arxiv.org/html/<id>v1/…`를 쓰거나 그림을 `assets/images/`에 복사합니다.

렌더링이 아니라 문체 규칙도 둘 있습니다. scholar-lens가 생성 글에 거는 것과 같습니다.
자연스럽게 읽히지 않는 번역투("보여지는" 같은 이중 피동, "에 있어서는", "학습함에 있어")와
쌍점으로 끝나는 문장("다음과 같습니다:")을 잡습니다. 제목, 인용, 표, 그림 대체 텍스트, 코드,
참고 문헌 목록은 검사하지 않습니다.

### 푸시 전에 확인하세요

CI가 돌리는 게이트를 같은 순서로 미리 돌립니다. `_site/`가 아니라 임시 경로로 빌드하는
Expand Down
6 changes: 6 additions & 0 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -244,6 +244,12 @@ rules easiest to trip, each a page that renders wrong with every other gate gree
- an ar5iv link: ar5iv now answers a lost figure with a placeholder image and
HTTP 200. Use `arxiv.org/html/<id>v1/…`, or copy the figure into `assets/images/`.

Two prose rules are style, not rendering, and match the ones scholar-lens holds
its generated posts to: no translationese with no natural reading (a double
passive like "보여지는", "에 있어서는", "학습함에 있어"), and no sentence ending
in a colon ("다음과 같습니다:"). Headings, quotations, tables, image alt text,
code and the reference list are exempt.

### Validate before pushing

These are the gates CI runs, in the same order. Build to a throwaway
Expand Down
2 changes: 1 addition & 1 deletion _includes/category-posts.html
Original file line number Diff line number Diff line change
Expand Up @@ -11,7 +11,7 @@
{% for post in posts %}
<li>
<strong>
<a href="{{ post.url | prepend: site.baseurl }}">{{ post.title }}</a>
<a href="{{ post.url | prepend: site.baseurl }}" lang="{{ post.lang | default: site.lang }}">{{ post.title }}</a>
</strong>
<span class="post-date">- {{ post.date | date: site.date_format }}</span>
</li>
Expand Down
12 changes: 10 additions & 2 deletions _includes/head.html
Original file line number Diff line number Diff line change
Expand Up @@ -245,13 +245,21 @@
});
// Every formula, not just the ones that scroll now: one that stopped
// scrolling on a resize has to lose its Tab stop again.
// Numbered like js/main.js's tables, so a landmark list tells them apart:
// display equations in order, inline ones on a count of their own.
var english = document.documentElement.lang.indexOf('en') === 0;
var shown = 0, inline = 0;
document.querySelectorAll('.post-content mjx-container').forEach(function (el) {
var scrolls = (el.hasAttribute('display') || el.classList.contains('is-wide')) &&
var display = el.hasAttribute('display');
var n = display ? ++shown : ++inline;
var scrolls = (display || el.classList.contains('is-wide')) &&
el.scrollWidth > el.clientWidth;
if (scrolls && el.getAttribute('tabindex') !== '0') {
el.setAttribute('tabindex', '0');
el.setAttribute('role', 'region');
el.setAttribute('aria-label', document.documentElement.lang.indexOf('en') === 0 ? 'Equation, scrollable' : '수식, 가로 스크롤');
el.setAttribute('aria-label', display
? (english ? 'Equation ' + n + ', scrollable' : '수식 ' + n + ', 가로 스크롤')
: (english ? 'Inline equation ' + n + ', scrollable' : '인라인 수식 ' + n + ', 가로 스크롤'));
} else if (!scrolls && el.getAttribute('role') === 'region') {
el.removeAttribute('tabindex');
el.removeAttribute('role');
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -60,7 +60,7 @@ DeepSeek LLM의 핵심 목표는 데이터셋의 풍부성과 다양성을 포

필터링 단계에서는 문서 품질을 평가하기 위한 강건한 기준을 개발했습니다. 언어적 평가와 의미론적 평가를 모두 포함하는 상세한 분석을 수행하여, 개별 문서와 전체적인 관점에서 데이터 품질을 평가했습니다. 리믹싱 단계에서는 데이터 불균형 문제를 해결하기 위해 접근 방식을 조정했으며, 특히 과소 대표된 도메인의 비중을 높이는 데 중점을 두었습니다.

토크나이저 구현에 있어서는 Huggingface Team이 개발한 tokenizers 라이브러리를 기반으로 바이트 수준 바이트 페어 인코딩(BBPE) 알고리즘을 구현했습니다. GPT-2와 유사하게, 개행 문자, 문장 부호, 한중일(CJK) 기호와 같은 서로 다른 문자 범주의 토큰이 병합되는 것을 방지하기 위해 사전 토크나이징을 적용했습니다. 또한 LLaMA 모델과 마찬가지로 숫자를 개별 자릿수로 분할하는 방식을 채택했습니다.
토크나이저는 Huggingface Team이 개발한 tokenizers 라이브러리를 기반으로 바이트 수준 바이트 페어 인코딩(BBPE) 알고리즘으로 구현했습니다. GPT-2와 유사하게, 개행 문자, 문장 부호, 한중일(CJK) 기호와 같은 서로 다른 문자 범주의 토큰이 병합되는 것을 방지하기 위해 사전 토크나이징을 적용했습니다. 또한 LLaMA 모델과 마찬가지로 숫자를 개별 자릿수로 분할하는 방식을 채택했습니다.

어휘 크기는 기존 토큰 100,000개로 설정했으며, 여기에 15개의 특수 토큰을 추가하여 최종 어휘 크기는 100,015가 되었습니다. 학습 시 계산 효율성을 고려하고 향후 추가될 수 있는 특수 토큰을 위한 여유 공간을 확보하기 위해 모델의 어휘 크기는 102,400으로 설정했습니다. 토크나이저 학습에는 약 24GB 규모의 다국어 코퍼스가 사용되었습니다.

Expand Down
2 changes: 1 addition & 1 deletion _posts/2025-02-27-mistral-7b.md
Original file line number Diff line number Diff line change
Expand Up @@ -82,7 +82,7 @@ Mistral 7B에서는 윈도우 크기 $$W = 4096$$을 사용하므로, 마지막

롤링 버퍼 캐시는 순환 큐(circular queue) 원리를 적용하는 메모리 최적화 기법입니다. 일반적인 트랜스포머 모델에서는 키($$K$$)와 값($$V$$) 벡터를 모두 캐싱해야 하므로, 시퀀스 길이가 증가할수록 캐시 요구량도 선형적으로 증가합니다. 그러나 슬라이딩 윈도우 어텐션(SWA)에서는 각 토큰이 최대 $$W$$ 개의 이전 토큰만 참조하기 때문에, 윈도우 크기 $$W$$보다 오래된 토큰들의 키와 값은 더 이상 필요하지 않습니다.

이 특성을 활용하여 롤링 버퍼 캐시는 모듈러 연산($$i \bmod W$$)을 통해 새로운 토큰의 정보가 가장 오래된 토큰의 정보를 자연스럽게 덮어쓰도록 합니다. 이러한 메커니즘은 다음과 같이 작동합니다:
이 특성을 활용하여 롤링 버퍼 캐시는 모듈러 연산($$i \bmod W$$)을 통해 새로운 토큰의 정보가 가장 오래된 토큰의 정보를 자연스럽게 덮어쓰도록 합니다. 이 메커니즘은 다음 순서로 작동합니다.

1. 타임스텝 $$i$$에서 생성된 키($$K_i$$)와 값($$V_i$$)은 캐시의 $$(i \bmod W)$$ 위치에 저장됩니다.
2. 시퀀스가 길어져 $$i > W$$가 되면, 새로운 키와 값이 기존 캐시의 값을 덮어씁니다.
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -85,7 +85,7 @@ DeepSeekMath-Base는 DeepSeek-Coder-Base-v1.5 7B(Guo 등, 2024)로 초기화되

- 사전 학습된 기본 모델인 DeepSeekMath-Base 7B는 Minerva 540B(Lewkowycz 등, 2022a)와 비슷한 성능을 달성하여, 매개변수 수가 수학적 추론 능력의 유일한 핵심 요소가 아님을 보여줍니다. 고품질 데이터로 사전 학습된 더 작은 모델도 강력한 성능을 달성할 수 있습니다.

- 수학 학습 실험에서 얻은 발견을 공유합니다. 수학 학습 전에 코드 학습을 하면 도구 사용 여부와 관계없이 모델의 수학 문제 해결 능력이 향상됩니다. 이는 오랫동안 제기된 질문인 "코드 학습이 추론 능력을 향상시키는가?"에 대한 부분적인 답변을 제공합니다. 저자들은 적어도 수학적 추론에 있어서는 그렇다고 믿습니다.
- 수학 학습 실험에서 얻은 발견을 공유합니다. 수학 학습 전에 코드 학습을 하면 도구 사용 여부와 관계없이 모델의 수학 문제 해결 능력이 향상됩니다. 이는 오랫동안 제기된 질문인 "코드 학습이 추론 능력을 향상시키는가?"에 대한 부분적인 답변을 제공합니다. 저자들은 적어도 수학적 추론에서는 그렇다고 믿습니다.

- arXiv 논문에 대한 학습이 특히 많은 수학 관련 논문에서 일반적이지만, 본 논문에서 채택된 모든 수학 벤치마크에서 주목할 만한 개선을 가져오지 않았습니다.

Expand Down
6 changes: 3 additions & 3 deletions _posts/2025-04-04-mixtral-of-experts.md
Original file line number Diff line number Diff line change
Expand Up @@ -162,7 +162,7 @@ Mixtral 모델의 성능을 Llama 2 계열과 비교하여 비용-성능 스펙

아래 표에서는 Mixtral 8x7B를 Llama 2 70B 및 GPT-3.5와 비교한 성능을 보고합니다. Mixtral이 두 모델과 비슷하거나 더 나은 성능을 보이는 것을 관찰할 수 있습니다. MMLU에서 Mixtral은 상당히 작은 용량(70B에 비해 47B 토큰)에도 불구하고 더 나은 성능을 얻었습니다. MT Bench의 경우, 가장 최신 GPT-3.5-Turbo 모델인 gpt-3.5-turbo-1106의 성능을 보고합니다.

| | LLaMA 2 70B | GPT-3.5 | Mixtral 8x7B |
| 벤치마크 | LLaMA 2 70B | GPT-3.5 | Mixtral 8x7B |
|---|---|---|---|
| MMLU(57개 주제의 객관식 문제) | 69.9% | 70.0% | 70.6% |
| HellaSwag(10-shot) | 87.1% | 85.5% | 86.7% |
Expand Down Expand Up @@ -218,7 +218,7 @@ Mixtral 모델의 장거리 컨텍스트 처리 능력을 평가하기 위해, [

연구팀은 평가 프레임워크를 사용하여 Llama 2와 Mixtral을 BBQ 및 BOLD에서 벤치마킹하고 그 결과를 아래와 같이 보고했습니다. Llama 2와 비교했을 때, Mixtral은 BBQ 벤치마크에서 더 적은 편향성을 보였습니다(56.0% 대 51.5%). BOLD의 각 그룹에 대해, 더 높은 평균 감정 점수는 더 긍정적인 감정을 의미하고, 더 낮은 표준 편차는 그룹 내에서 더 적은 편향을 나타냅니다. 전반적으로, Mixtral은 Llama 2보다 더 긍정적인 감정을 표현하며, 각 그룹 내에서 비슷한 변동성을 보입니다.

| | Llama 2 70B | Mixtral 8x7B |
| 지표 | Llama 2 70B | Mixtral 8x7B |
|---|---|---|
| BBQ 정확도 | 51.5% | 56.0% |
| BOLD 감정 점수 (평균 $$ \pm $$ 표준편차) | | |
Expand Down Expand Up @@ -278,7 +278,7 @@ MT-Bench에서의 높은 점수와 LMSys 평가에서의 우수한 성능은 Mix

![그림 8: 각 토큰이 첫 번째 전문가 선택으로 색상 처리된 텍스트 샘플. 전문가 선택은 특히 초기 및 최종 층에서 도메인보다는 구문과 더 일치하는 것으로 나타납니다.](https://arxiv.org/html/2401.04088v1/images/routing-sample.png)

| | 첫 번째 선택 층 0 | 첫 번째 선택 층 15 | 첫 번째 선택 층 31 | 첫 번째 또는 두 번째 선택 층 0 | 첫 번째 또는 두 번째 선택 층 15 | 첫 번째 또는 두 번째 선택 층 31 |
| 데이터셋 | 첫 번째 선택 층 0 | 첫 번째 선택 층 15 | 첫 번째 선택 층 31 | 첫 번째 또는 두 번째 선택 층 0 | 첫 번째 또는 두 번째 선택 층 15 | 첫 번째 또는 두 번째 선택 층 31 |
| --- | --- | --- | --- | --- | --- | --- |
| ArXiv | 14.0% | 27.9% | 22.7% | 46.5% | 62.3% | 52.9% |
| DM Mathematics | 14.1% | 28.4% | 19.7% | 44.9% | 67.0% | 44.5% |
Expand Down
2 changes: 1 addition & 1 deletion _posts/2025-10-07-the-llama-3-herd-of-models.md
Original file line number Diff line number Diff line change
Expand Up @@ -184,7 +184,7 @@ Llama 3 405B는 126개 레이어, 16,384의 토큰 표현 차원, 128개의 어

![스케일링 법칙 IsoFLOPs 곡선](/assets/2025-10-07-the-llama-3-herd-of-models/figure-8-4.jpg)

이러한 실험은 그림에서 보여지는 IsoFLOPs 곡선을 생성합니다. 이 곡선의 손실은 별도의 검증 세트에서 측정됩니다. 2차 다항식을 사용하여 측정된 손실 값을 피팅하고 각 포물선의 최솟값을 식별합니다. 포물선의 최솟값을 해당 사전 훈련 계산 예산에서의 계산 최적 모델이라고 합니다.
이러한 실험은 그림의 IsoFLOPs 곡선을 생성합니다. 이 곡선의 손실은 별도의 검증 세트에서 측정됩니다. 2차 다항식을 사용하여 측정된 손실 값을 피팅하고 각 포물선의 최솟값을 식별합니다. 포물선의 최솟값을 해당 사전 훈련 계산 예산에서의 계산 최적 모델이라고 합니다.

이렇게 식별된 계산 최적 모델을 사용하여 특정 계산 예산에 대한 최적 훈련 토큰 수를 예측합니다. 이를 위해 계산 예산 $$C$$와 최적 훈련 토큰 수 $$N^*(C)$$ 사이의 멱법칙 관계를 가정합니다.

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -1162,7 +1162,7 @@ Gemini 모델 패밀리의 개발과 평가를 통해 얻은 주요 성과와

벤치마크에서의 최신 기술 수준 결과를 넘어서, 연구팀이 가장 흥미롭게 생각하는 것은 Gemini 모델이 가능하게 하는 새로운 사용 사례들입니다. 차트나 인포그래픽과 같은 복잡한 이미지를 파싱하고, 이미지, 오디오, 텍스트의 인터리브된 시퀀스에 대해 추론하며, 응답으로 인터리브된 텍스트와 이미지를 생성하는 Gemini 모델의 새로운 능력은 다양한 새로운 애플리케이션을 열어줍니다.

보고서와 부록 전반에 걸쳐 보여진 바와 같이, Gemini 모델은 교육, 일상적 문제 해결, 다국어 의사소통, 정보 요약, 추출, 창의성과 같은 영역에서 새로운 접근법을 가능하게 할 수 있습니다. 이러한 모델의 사용자들이 연구팀이 자체 조사에서 겨우 표면만 긁어본 것에 불과한 모든 종류의 유익한 새로운 용도를 찾을 것으로 기대됩니다.
보고서와 부록 전반에서 보였듯이, Gemini 모델은 교육, 일상적 문제 해결, 다국어 의사소통, 정보 요약, 추출, 창의성과 같은 영역에서 새로운 접근법을 가능하게 할 수 있습니다. 이러한 모델의 사용자들이 연구팀이 자체 조사에서 겨우 표면만 긁어본 것에 불과한 모든 종류의 유익한 새로운 용도를 찾을 것으로 기대됩니다.

### 현재 한계와 도전 과제

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -72,7 +72,7 @@ Using React for a terminal app might seem like overkill. But when you look at th

### Official Open Source vs. Leaked Code: The Gap in Numbers

| | Official Repo (`anthropics/claude-code`) | Leaked Code |
| Aspect | Official Repo (`anthropics/claude-code`) | Leaked Code |
|---|---|---|
| File Count | ~279 (scripts/configs) | **4,600+** (full-stack engine) |
| Core Engine | **Not included** | Included |
Expand Down
2 changes: 1 addition & 1 deletion _posts/2026-03-31-claude-code-source-map-leak-analysis.md
Original file line number Diff line number Diff line change
Expand Up @@ -69,7 +69,7 @@ Claude Code를 처음 접하면 "API 래퍼 아닌가?"라고 생각하기 쉽

### 공식 오픈소스 vs 유출 코드: 숫자로 보는 괴리

| | 공식 저장소 (`anthropics/claude-code`) | 유출 코드 |
| 구분 | 공식 저장소 (`anthropics/claude-code`) | 유출 코드 |
| -------------- | -------------------------------------- | -------------------------------------- |
| 파일 수 | ~279개 (스크립트/설정 위주) | **4,600개+** (풀스택 엔진) |
| 핵심 엔진 | **미포함** | 포함 |
Expand Down
6 changes: 3 additions & 3 deletions _posts/2026-04-05-evolution-of-ai-agentic-patterns-en.md
Original file line number Diff line number Diff line change
Expand Up @@ -99,15 +99,15 @@ Action: Search[Y]
...
```

![ReAct pattern: combining Reasoning and Acting — Yao et al., 2022](https://ylanglabs.com/static/images/blogs/react-reasoning-and-acting-in-language-models/react-act-reason.png)
![ReAct pattern: combining Reasoning and Acting — Yao et al., 2022](/assets/images/evolution-of-ai-agentic-patterns-react.png)

Two key results. First, external tool use **reduces hallucination** — the model can look up what it doesn't know. Second, the reasoning process is transparent — you can trace why it gave a particular answer. A 34% absolute improvement on ALFWorld, 10% on WebShop. **The archetype of the agent was born here.** Every AI agent today — Claude Code, Cursor Agent, GitHub Copilot Coding Agent — is a variation on this Thought-Action-Observation loop.

So far, smooth sailing. The trouble started when people pushed these ideas harder.

**Tree-of-Thought** — [Yao et al., 2023](https://arxiv.org/abs/2305.10601). In 2023, the push was to expand reasoning's "breadth," not just its depth.

![Tree-of-Thought: tree-search-based reasoning vs. linear CoT — Yao et al., 2023](https://www.promptingguide.ai/_next/image?url=%2F_next%2Fstatic%2Fmedia%2FTOT.3b13bc5e.png&w=1920&q=75)
![Tree-of-Thought: tree-search-based reasoning vs. linear CoT — Yao et al., 2023](/assets/images/evolution-of-ai-agentic-patterns-tree-of-thoughts.png)

Where CoT reasons in a straight line, Tree-of-Thought explores multiple reasoning paths simultaneously, backtracking from dead ends. Like reading ahead in chess: "if I play this move... and they respond like this... then I could..." Fascinating, but costs exploded. A single problem required dozens of API calls. The paper's "Future Work" section mentions cost in a one-liner caveat; on a production engineer's AWS bill, it's the first line of a crisis.

Expand Down Expand Up @@ -385,7 +385,7 @@ Simon Willison's agent definition reads in this same context: "An agent is an LL

"Harness" sounds grand, but it's ultimately a collection of mechanisms that catch and correct agent mistakes. Fowler/Böckeler [organized it cleanly](https://martinfowler.com/articles/exploring-gen-ai/harness-engineering.html) in a 2x2 framework.

| | **Feedforward (Pre-guidance)** | **Feedback (Post-correction)** |
| Kind | **Feedforward (Pre-guidance)** | **Feedback (Post-correction)** |
|---|---|---|
| **Deterministic** | **Guides**: AGENTS.md, `.cursorrules`, coding conventions | **Computational**: Compilers, type checkers, linters |
| **Non-deterministic** | **System prompts/instructions**: Role definitions, behavioral constraints, few-shot examples | **Inferential**: LLM-as-judge, semantic code review |
Expand Down
Loading