Gamitin ang Qiskit Code Assistant sa lokal na mode

Alamin kung paano i-install, i-configure, at gamitin ang alinman sa mga modelo ng Qiskit Code Assistant sa iyong lokal na makina.

Mga Tala

• Ang Qiskit Code Assistant ay nasa preview release status at maaaring magbago.
• Kung mayroon kang feedback o nais makipag-ugnayan sa development team, gamitin ang Qiskit Slack Workspace channel o ang mga kaugnay na pampublikong GitHub repository.

Mabilis na simula (inirerekomenda)

Ang pinakamadaling paraan upang magsimula sa Qiskit Code Assistant sa lokal na mode ay ang paggamit ng mga automated setup script para sa VS Code o JupyterLab extension. Awtomatikong ii-install ng mga script na ito ang Ollama para patakbuhin ang mga LLM, ida-download ang inirerekomendang modelo, at iko-configure ang extension para sa iyo.

Setup ng VS Code extension

Patakbuhin ang sumusunod na command sa iyong terminal:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-vscode/main/setup_local.sh)

Ang script na ito ay gumagawa ng mga sumusunod na hakbang:

• I-install ang Ollama (kung hindi pa naka-install)
• I-download at i-configure ang inirerekomendang modelo ng Qiskit Code Assistant
• I-set up ang VS Code extension para gumana sa iyong lokal na deployment

Setup ng JupyterLab extension

Patakbuhin ang sumusunod na command sa iyong terminal:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-jupyterlab/main/setup_local.sh)

Ang script na ito ay:

• Mag-i-install ng Ollama (kung hindi pa naka-install)
• Magdo-download at magko-configure ng inirerekomendang modelo ng Qiskit Code Assistant
• Mag-se-set up ng JupyterLab extension para gumana sa iyong lokal na deployment

Mga available na modelo

Mga kasalukuyang modelo

Ito ang mga pinakabagong inirerekomendang modelo para gamitin sa Qiskit Code Assistant:

1. Qiskit/mistral-small-3.2-24b-qiskit - Inilabas noong Oktubre 2025
2. qiskit/qwen2.5-coder-14b-qiskit - Inilabas noong Hunyo 2025
3. qiskit/granite-3.3-8b-qiskit - Inilabas noong Hunyo 2025
4. qiskit/granite-3.2-8b-qiskit - Inilabas noong Hunyo 2025

Mga GGUF na modelo (inirerekomenda para sa personal na environment/laptop)

Ang mga modelo sa GGUF format ay na-optimize para sa lokal na paggamit at nangangailangan ng mas kaunting computational resources:

1. mistral-small-3.2-24b-qiskit-GGUF – Inilabas noong Oktubre 2025 Sinanay gamit ang Qiskit data hanggang bersyon 2.1

2. qiskit/qwen2.5-coder-14b-qiskit-GGUF – Inilabas noong Hunyo 2025 Sinanay gamit ang Qiskit data hanggang bersyon 2.0

3. qiskit/granite-3.3-8b-qiskit-GGUF – Inilabas noong Hunyo 2025 Sinanay gamit ang Qiskit data hanggang bersyon 2.0

4. qiskit/granite-3.2-8b-qiskit-GGUF – Inilabas noong Hunyo 2025 Sinanay gamit ang Qiskit data hanggang bersyon 2.0

Ang mga Open Source na modelo ng Qiskit Code Assistant ay available sa safetensors o GGUF file format at maaaring i-download mula sa Hugging Face gaya ng inilarawan sa ibaba.

Mga bersyon ng Qiskit na ginamit sa pagsasanay

Modelo						Mga Benchmark Metric					Petsa ng release	Sinanay sa bersyon ng Qiskit
	QiskitHumanEval-Hard	QiskitHumanEval	HumanEval	ASDiv	MathQA	SciQ	MBPP	IFEval	CrowsPairs (English)	TruthfulQA (MC1 acc)
mistral-small-3.2-24b-qiskit	32.45	47.02	77.49	3.77	49.68	97.50	64.00	48.44	67.08	39.41	Enero 2026	2.2
qwen2.5-coder-14b-qiskit	25.17	49.01	91.46	4.21	53.90	97.00	77.60	49.64	65.18	37.82	Hunyo 2025	2.0
granite-3.3-8b-qiskit	14.57	27.15	62.80	0.48	38.66	93.30	52.40	59.71	59.75	39.05	Hunyo 2025	2.0
granite-3.2-8b-qiskit	9.93	24.50	57.32	0.09	41.41	96.30	51.80	60.79	66.79	40.51	Hunyo 2025	2.0
granite-8b-qiskit-rc-0.10	15.89	38.41	59.76	—	—	—	—	—	—	—	Pebrero 2025	1.3
granite-8b-qiskit	17.88	44.37	53.66	—	—	—	—	—	—	—	Nobyembre 2024	1.2

Tandaan: Lahat ng modelo na nakalista sa benchmark table ay sinuri gamit ang kani-kanilang system prompt, na tinukoy sa kanilang Hugging Face model.

Mga deprecated na modelo

Ang mga modelong ito ay hindi na aktibong pinapanatili ngunit nananatiling available:

1. qiskit/granite-8b-qiskit-rc-0.10 - Inilabas noong Pebrero 2025 (deprecated)
2. qiskit/granite-8b-qiskit - Inilabas noong Nobyembre 2024 (deprecated)

Advanced na setup

Kung mas gusto mong manual na i-configure ang iyong lokal na setup o kailangan mo ng mas maraming kontrol sa proseso ng pag-install, palawakin ang mga seksyon sa ibaba.

I-download mula sa Hugging Face website

Sundin ang mga hakbang na ito upang i-download ang anumang modelo na kaugnay ng Qiskit Code Assistant mula sa Hugging Face website:

1. Pumunta sa nais mong pahina ng Qiskit model sa Hugging Face.
2. Pumunta sa tab na Files and Versions at i-download ang safetensors o GGUF model files.

I-download gamit ang Hugging Face CLI

Upang i-download ang alinman sa mga available na modelo ng Qiskit Code Assistant gamit ang Hugging Face CLI, sundin ang mga hakbang na ito:

1. I-install ang Hugging Face CLI

2. Mag-log in sa iyong Hugging Face account

   huggingface-cli login

3. I-download ang modelong gusto mo mula sa nakaraang listahan

   huggingface-cli download <HF REPO NAME> <MODEL PATH> --local-dir <LOCAL PATH>

Manual na i-deploy ang mga modelo ng Qiskit Code Assistant nang lokal sa pamamagitan ng Ollama

Mayroong maraming paraan upang i-deploy at makipag-ugnayan sa na-download na modelo ng Qiskit Code Assistant. Ipinapakita ng gabay na ito ang paggamit ng Ollama tulad ng sumusunod: alinman sa Ollama application sa pamamagitan ng paggamit ng Hugging Face Hub integration o lokal na modelo, o sa llama-cpp-python package.

Paggamit ng Ollama application

Ang Ollama application ay nagbibigay ng simpleng solusyon para patakbuhin ang mga LLM nang lokal. Madaling gamitin, na may CLI na ginagawang medyo straightforward ang buong proseso ng setup, pamamahala ng modelo, at pakikipag-ugnayan. Ito ay perpekto para sa mabilis na eksperimento at para sa mga gumagamit na nais ng mas kaunting teknikal na detalye.

I-install ang Ollama

1. I-download ang Ollama application

2. I-install ang na-download na file

3. Ilunsad ang na-install na Ollama application

   impormasyon

   Matagumpay na tumatakbo ang application kapag lumabas ang Ollama icon sa desktop menu bar. Maaari mo ring i-verify na tumatakbo ang serbisyo sa pamamagitan ng pagpunta sa http://localhost:11434/.

4. Subukan ang Ollama sa iyong terminal at simulan ang pagpapatakbo ng mga modelo. Halimbawa:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

I-set up ang Ollama gamit ang Hugging Face Hub integration

Ang Ollama/Hugging Face Hub integration ay nagbibigay ng paraan upang makipag-ugnayan sa mga modelong naka-host sa Hugging Face Hub nang hindi kailangang gumawa ng bagong modelfile o manual na i-download ang mga GGUF o safetensors file. Ang mga default na template at params file ay kasama na sa modelo sa Hugging Face Hub.

1. Tiyaking tumatakbo ang Ollama application.

2. Pumunta sa nais mong pahina ng modelo, at kopyahin ang URL. Halimbawa, https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF.

3. Mula sa iyong terminal, patakbuhin ang command:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

Maaari mong gamitin ang modelong hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit o alinman sa iba pang kasalukuyang inirerekomendang opisyal na GGUF modelo na hf.co/Qiskit/mistral-small-3.2-24b-qiskit-GGUF o hf.co/Qiskit/granite-3.3-8b-qiskit-GGUF.

I-set up ang Ollama gamit ang mano-manong na-download na GGUF modelo ng Qiskit Code Assistant

Kung mano-mano mong na-download ang isang GGUF model tulad ng https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF at nais mong mag-eksperimento sa iba't ibang template at parameter, maaari mong sundin ang mga hakbang na ito upang i-load ito sa iyong lokal na Ollama application.

1. Gumawa ng Modelfile na may sumusunod na nilalaman at tiyaking i-update ang <PATH-TO-GGUF-FILE> sa aktwal na path ng iyong na-download na modelo.

   FROM <PATH-TO-GGUF-FILE>
   TEMPLATE """{{ if .System }}
   System:
   {{ .System }}
   
   {{ end }}{{ if .Prompt }}Question:
   {{ .Prompt }}
   
   {{ end }}Answer:
   ```python{{ .Response }}
   """
   
   PARAMETER stop "Question:"
   PARAMETER stop "Answer:"
   PARAMETER stop "System:"
   PARAMETER stop "```"
   
   PARAMETER temperature 0
   PARAMETER top_k 1

2. Run the following command to create a custom model instance based on the Modelfile.

   ollama create Qwen2.5-Coder-14B-Qiskit -f ./path-to-model-file

   tala

   This process may take some time for Ollama to read the model file, initialize the model instance, and configure it according to the specifications provided.

Run the Qiskit Code Assistant model manually downloaded in Ollama

After the Qwen2.5-Coder-14B-Qiskit model has been set up in Ollama, run the following command to launch the model and interact with it in the terminal (in chat mode).

ollama run Qwen2.5-Coder-14B-Qiskit

Some useful commands:

• ollama list - List models on your computer
• ollama rm Qwen2.5-Coder-14B-Qiskit - Delete the model
• ollama show Qwen2.5-Coder-14B-Qiskit - Show model information
• ollama stop Qwen2.5-Coder-14B-Qiskit - Stop a model that is currently running
• ollama ps - List which models are currently loaded

Manually deploy the Qiskit Code Assistant models in local through the llama-cpp-python package

An alternative to the Ollama application is the llama-cpp-python package, which is a Python binding for llama.cpp. It gives you more control and flexibility to run the GGUF model locally, and is ideal for users who wish to integrate the local model in their workflows and Python applications.

1. Install llama-cpp-python
2. Interact with the model from within your application using llama_cpp. For example:

from llama_cpp import Llama

model_path = <PATH-TO-GGUF-FILE>

model = Llama(
        model_path,
        seed=17,
        n_ctx=10000,
        n_gpu_layers=37, # to offload in gpu, but put 0 if all in cpu
    )

input = 'Generate a quantum circuit with 2 qubits'
raw_pred = model(input)["choices"][0]["text"]

You can also add text generation parameters to the model to customize the inference:

generation_kwargs = {
        "max_tokens": 512,
        "echo": False, # Echo the prompt in the output
        "top_k": 1
    }

raw_pred = model(input, **generation_kwargs)["choices"][0]["text"]

Manually deploy the Qiskit Code Assistant models in local through llama.cpp

Use the llama.cpp library

Another alternative is to use llama.cpp, an open-source library for performing LLM inference on a CPU with minimal setup. It provides low-level control over the model execution and is typically run from the command line, pointing to a local GGUF model file.

There are several ways to install llama.cpp on your machine:

• Install llama.cpp using brew, nix, or winget
• Run with Docker: See out the Docker documentation by llama.cpp team
• Download pre-built binaries from the releases page
• Build from source by cloning this repository

Once installed, you can use llama.cpp to interact with GGUF models in conversation mode as follows:

# Gumamit ng lokal na model file \{#use-a-local-model-file}
llama-cli -m my_model.gguf -cnv

# O mag-download at magpatakbo ng modelo nang direkta mula sa Hugging Face \{#or-download-and-run-a-model-directly-from-hugging-face}
llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF -cnv

You can also launch an OpenAI-compatible API server for the model in the following way:

llama-server -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF

Advanced parameters

With the llama-cli program, you can control the model generation using command-line options. For example, you can provide an initial “system” prompt using the -p/--prompt flag. In conversation mode (-cnv), this initial prompt acts as the system message. Otherwise, you can simply prepend any desired instruction to your prompt text. You can also adjust sampling parameters - for instance: temperature (--temp), top-k (--top-k), top-p (--top-p), repetition penalty (--repeat-penalty), and the seed to use (--seed). The following is an example invocation using these options:

llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF \
  -p "You are a friendly assistant." -cnv \
  --temp 0.7 \
  --top-k 50 \
  --top-p 0.95 \
  --repeat-penalty 1.1 \
  --seed 42

Upang matiyak ang wastong paggana ng aming mga Qiskit na modelo, inirerekomenda namin ang paggamit ng system prompt na ibinigay sa aming HF GGUF repository: system prompt para sa mistral-small-3.2-24b-qiskit-GGUF, Qwen2.5-Coder-14B-Qiskit-GGUF, granite-3.3-8b-qiskit-GGUF, at granite-3.2-8b-qiskit-GGUF.

Manual na ikonekta ang mga extension sa lokal na deployment

Gamitin ang VS Code extension at JupyterLab extension para sa Qiskit Code Assistant upang i-prompt ang lokal na na-deploy na modelo ng Qiskit Code Assistant. Kapag naka-set up na ang Ollama application kasama ang modelo, maaari mong i-configure ang mga extension upang kumonekta sa lokal na serbisyo.

Kumonekta gamit ang Qiskit Code Assistant VS Code extension

Gamit ang Qiskit Code Assistant VS Code extension, maaari kang makipag-ugnayan sa modelo at magsagawa ng code completion habang sinusulat ang iyong code. Maaari itong gumana nang maayos para sa mga gumagamit na naghahanap ng tulong sa pagsulat ng Qiskit code para sa kanilang mga Python application.

1. I-install ang Qiskit Code Assistant VS Code extension.
2. Sa VS Code, pumunta sa User Settings at itakda ang Qiskit Code Assistant: Url sa URL ng iyong lokal na Ollama deployment (halimbawa, http://localhost:11434).
3. I-reload ang VS Code sa pamamagitan ng pagpunta sa View > Command Palette... at pagpili ng Developer: Reload Window.

Ang modelong Qiskit Code Assistant na na-configure sa Ollama ay dapat lumabas sa status bar at handa nang gamitin.

Kumonekta gamit ang Qiskit Code Assistant JupyterLab extension

Gamit ang Qiskit Code Assistant JupyterLab extension, maaari kang makipag-ugnayan sa modelo at magsagawa ng code completion nang direkta sa iyong Jupyter Notebook. Ang mga gumagamit na pangunahing gumagamit ng Jupyter Notebook ay maaaring samantalahin ang extension na ito upang higit pang mapahusay ang kanilang karanasan sa pagsulat ng Qiskit code.

1. I-install ang Qiskit Code Assistant JupyterLab extension.
2. Sa JupyterLab, pumunta sa Settings Editor at itakda ang Qiskit Code Assistant Service API sa URL ng iyong lokal na Ollama deployment (halimbawa, http://localhost:11434).

Ang modelong Qiskit Code Assistant na na-configure sa Ollama ay dapat lumabas sa status bar at handa nang gamitin.