┌─────────────────────────────────────┐
│          CLI / REST API              │  ← 用户交互层
├─────────────────────────────────────┤
│         Model Management            │  ← 模型加载、量化、调度
├─────────────────────────────────────┤
│   llama.cpp Inference Engine          │  ← 核心推理 (GPU/CPU)
└─────────────────────────────────────┘

# macOS
brew install ollama
# Linux
curl -fsSL https://ollama.com/install.sh | sh
# Windows
# 下载安装包: ollama.ai

ollama --version
# 输出: ollama version 0.13.x

# 通用场景
ollama pull llama3.1:8b
# 代码场景
ollama pull qwen2.5-coder:7b-instruct
# 快速验证
ollama pull llama3.2:3b

import requests
def chat(prompt: str, model: str = "llama3.1:8b") -> str:
    response = requests.post(
        "http://localhost:11434/api/chat",
        json={
            "model": model,
            "messages": [{"role": "user", "content": prompt}],
            "stream": False
        }
    )
    return response.json()["message"]["content"]

# 修改base_url即可复用现有OpenAI代码
client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="not-needed"
)

WING (person/project)
    └── ROOM (day/topic)
          └── DRAWER (verbatim text chunk)

# 安装
pip install mempalace
# 初始化项目记忆库
mempalace init ~/projects/myapp

# 采集项目代码
mempalace mine ~/projects/myapp
# 采集对话记录
mempalace mine ~/documents/meeting-notes/
# 采集网页内容
mempalace mine --url https://example.com/docs

mempalace search "why did we switch to GraphQL"

# 生成启动上下文
mempalace wake-up

# 添加MCP工具
claude mcp add mempalace -- python -m mempalace.mcp_server

{
  "hooks": {
    "Periodically": "mempalace save",
    "Pre-compression": "mempalace save"
  }
}

┌──────────────────────────────────────────────────────┐
│                    AI Application                     │
├──────────────────────────────────────────────────────┤
│   MemPalace (记忆层)                                 │
│   ├── mine: 采集对话/代码/文档                        │
│   ├── search: 语义检索                               │
│   └── wake-up: 生成启动上下文                          │
├──────────────────────────────────────────────────────┤
│   MCP Bridge (协议层)                                 │
���   └── 连接 Ollama ↔ MemPalace                         │
├──────────────────────────────────────────────────────┤
│   Ollama (推理层)                                     │
│   └── 本地LLM推理                                    │
└──────────────────────────────────────────────────────┘

# 安装Ollama
brew install ollama
# 启动服务(后台运行)
ollama serve
# 拉取模型
ollama pull llama3.1:8b

pip install mempalace
mempalace init ~/ai-workspace

#!/bin/bash
# 获取MemPalace记忆上下文
CONTEXT=$(mempalace wake-up)
# 合并到Ollama提示词
curl -s http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"llama3.1:8b\",
    \"messages\": [
      {\"role\": \"system\", \"content\": \"$CONTEXT\"},
      {\"role\": \"user\", \"content\": \"$1\"}
    ]
  }" | jq -r '.message.content'

chmod +x wake-ollama.sh
./wake-ollama.sh "基于之前的讨论，帮我优化这个函数"

# 安装桥接器
pip install ollama-mcp-bridge
# 配置MCP服务器
cat > ~/.ollama/mcp-servers.json << 'EOF'
{
  "servers": [
    {
      "name": "mempalace",
      "command": "python",
      "args": ["-m", "mempalace.mcp_server"]
    }
  ]
}
EOF

# 允许并发请求数
export OLLAMA_NUM_PARALLEL=4
# 最大加载模型数
export OLLAMA_MAX_LOADED_MODELS=2
# 上下文窗口大小
export OLLAMA_CONTEXT_WINDOW=8192

# 查看运行状态
ollama list
# 查看日志
tail -f /tmp/ollama.log
# 资源占用
htop | grep -i ollama

# docker-compose.yml
version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: local-llm
    ports:
      - "11434:11434"
    volumes:
      - ollama-data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
  mempalace:
    image: mempalace/mempalace:latest
    container_name: ai-memory
    volumes:
      - ./workspace:/app
    environment:
      - OLLAMA_HOST=ollama:11434

docker-compose up -d

[Unit]
Description=Ollama Local LLM Service
After=network.target
[Service]
Type=simple
User=aiops
ExecStart=/usr/local/bin/ollama serve
Restart=always
[Install]
WantedBy=multi-user.target

sudo systemctl enable ollama
sudo systemctl start ollama

                    ┌─────────────┐
                    │  Load Balancer │
                    └──────┬──────┘
                           │
          ┌────────────────┼────────────────┐
          │                │                │
    ┌─────┴─────┐   ┌─────┴─────┐   ┌─────┴─────┐
    │ Ollama #1  │   │ Ollama #2  │   │ Ollama #3  │
    │ (RTX 4090) │   │ (RTX 4090) │   │ (RTX 4090) │
    └───────────┘   └───────────┘   └───────────┘
          │                │                │
          └────────────────┼────────────────┘
                           │
                    ┌──────┴──────┐
                    │  MemPalace   │
                    │  (Cluster)  │
                    └─────────────┘

# 1. 安装Ollama，验证基本功能
brew install ollama
ollama pull llama3.2:3b
ollama run llama3.2:3b "你好"
# 2. 安装MemPalace，初始化个人知识库
pip install mempalace
mempalace init ~/ai-workspace
# 3. 构建第一个本地工作流
# 参考本文第4节集成方案