שימוש ב-Qiskit Code Assistant במצב מקומי

למד כיצד להתקין, להגדיר ולהשתמש בכל אחד ממודלי Qiskit Code Assistant על המחשב המקומי שלך.

הערות

• Qiskit Code Assistant נמצא בגרסת תצוגה מקדימה ועשוי להשתנות.
• אם יש לך משוב או שאתה רוצה לפנות לצוות הפיתוח, השתמש בערוץ Qiskit Slack Workspace או במאגרי GitHub הציבוריים הרלוונטיים.

התחלה מהירה (מומלץ)

הדרך הקלה ביותר להתחיל עם Qiskit Code Assistant במצב מקומי היא להשתמש בסקריפטי ההגדרה האוטומטיים עבור תוסף VS Code או JupyterLab. סקריפטים אלו יתקינו אוטומטית את Ollama להרצת מודלי השפה הגדולים (LLMs), יורידו את המודל המומלץ ויגדירו עבורך את התוסף.

הגדרת תוסף VS Code

הרץ את הפקודה הבאה בטרמינל שלך:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-vscode/main/setup_local.sh)

סקריפט זה מבצע את השלבים הבאים:

• התקנת Ollama (אם עדיין לא מותקן)
• הורדה והגדרה של מודל Qiskit Code Assistant המומלץ
• הגדרת תוסף VS Code לעבודה עם הפריסה המקומית שלך

הגדרת תוסף JupyterLab

הרץ את הפקודה הבאה בטרמינל שלך:

bash <(curl -fsSL https://raw.githubusercontent.com/Qiskit/qiskit-code-assistant-jupyterlab/main/setup_local.sh)

סקריפט זה יבצע:

• התקנת Ollama (אם עדיין לא מותקן)
• הורדה והגדרה של מודל Qiskit Code Assistant המומלץ
• הגדרת תוסף JupyterLab לעבודה עם הפריסה המקומית שלך

מודלים זמינים

מודלים נוכחיים

אלו הם המודלים האחרונים המומלצים לשימוש עם Qiskit Code Assistant:

1. Qiskit/mistral-small-3.2-24b-qiskit - שוחרר באוקטובר 2025
2. qiskit/qwen2.5-coder-14b-qiskit - שוחרר ביוני 2025
3. qiskit/granite-3.3-8b-qiskit - שוחרר ביוני 2025
4. qiskit/granite-3.2-8b-qiskit - שוחרר ביוני 2025

מודלי GGUF (מומלץ לסביבות אישיות/מחשבים ניידים)

מודלים בפורמט GGUF מותאמים לשימוש מקומי ודורשים פחות משאבי מחשוב:

1. mistral-small-3.2-24b-qiskit-GGUF – שוחרר באוקטובר 2025 אומן על נתוני Qiskit עד גרסה 2.1

2. qiskit/qwen2.5-coder-14b-qiskit-GGUF – שוחרר ביוני 2025 אומן על נתוני Qiskit עד גרסה 2.0

3. qiskit/granite-3.3-8b-qiskit-GGUF – שוחרר ביוני 2025 אומן על נתוני Qiskit עד גרסה 2.0

4. qiskit/granite-3.2-8b-qiskit-GGUF – שוחרר ביוני 2025 אומן על נתוני Qiskit עד גרסה 2.0

מודלי Qiskit Code Assistant בקוד פתוח זמינים בפורמט safetensors או GGUF file format וניתן להורידם מ-Hugging Face כמוסבר להלן.

גרסאות Qiskit ששימשו לאימון

מודל						מדדי ביצועי אמת מידה					תאריך שחרור	אומן על גרסת Qiskit
	QiskitHumanEval-Hard	QiskitHumanEval	HumanEval	ASDiv	MathQA	SciQ	MBPP	IFEval	CrowsPairs (English)	TruthfulQA (MC1 acc)
mistral-small-3.2-24b-qiskit	32.45	47.02	77.49	3.77	49.68	97.50	64.00	48.44	67.08	39.41	ינואר 2026	2.2
qwen2.5-coder-14b-qiskit	25.17	49.01	91.46	4.21	53.90	97.00	77.60	49.64	65.18	37.82	יוני 2025	2.0
granite-3.3-8b-qiskit	14.57	27.15	62.80	0.48	38.66	93.30	52.40	59.71	59.75	39.05	יוני 2025	2.0
granite-3.2-8b-qiskit	9.93	24.50	57.32	0.09	41.41	96.30	51.80	60.79	66.79	40.51	יוני 2025	2.0
granite-8b-qiskit-rc-0.10	15.89	38.41	59.76	—	—	—	—	—	—	—	פברואר 2025	1.3
granite-8b-qiskit	17.88	44.37	53.66	—	—	—	—	—	—	—	נובמבר 2024	1.2

הערה: כל המודלים המפורטים בטבלת אמת המידה הוערכו תוך שימוש בפרומפט המערכת שלהם, המוגדר במודל שלהם ב-Hugging Face.

מודלים שהוצאו משימוש

מודלים אלו אינם מתוחזקים עוד באופן פעיל אך נותרים זמינים:

1. qiskit/granite-8b-qiskit-rc-0.10 - שוחרר בפברואר 2025 (הוצא משימוש)
2. qiskit/granite-8b-qiskit - שוחרר בנובמבר 2024 (הוצא משימוש)

הגדרה מתקדמת

אם אתה מעדיף להגדיר את ההתקנה המקומית שלך ידנית או זקוק לשליטה רבה יותר על תהליך ההתקנה, פתח את הסעיפים הבאים.

הורדה מאתר Hugging Face

בצע את השלבים הבאים כדי להוריד כל מודל הקשור ל-Qiskit Code Assistant מאתר Hugging Face:

1. נווט לדף המודל הרצוי של Qiskit ב-Hugging Face.
2. עבור ללשונית Files and Versions והורד את קבצי המודל בפורמט safetensors או GGUF.

הורדה באמצעות Hugging Face CLI

כדי להוריד כל אחד ממודלי Qiskit Code Assistant הזמינים באמצעות Hugging Face CLI, בצע את השלבים הבאים:

1. התקן את Hugging Face CLI

2. התחבר לחשבון Hugging Face שלך

   huggingface-cli login

3. הורד את המודל המועדף עליך מהרשימה הקודמת

   huggingface-cli download <HF REPO NAME> <MODEL PATH> --local-dir <LOCAL PATH>

פריסה ידנית של מודלי Qiskit Code Assistant באופן מקומי דרך Ollama

ישנן מספר דרכים לפרוס ולתקשר עם מודל Qiskit Code Assistant שהורד. מדריך זה מדגים שימוש ב-Ollama באופן הבא: עם אפליקציית Ollama באמצעות אינטגרציית Hugging Face Hub או מודל מקומי, או עם חבילת llama-cpp-python.

שימוש באפליקציית Ollama

אפליקציית Ollama מספקת פתרון פשוט להרצת מודלי שפה גדולים באופן מקומי. היא קלה לשימוש, עם ממשק שורת פקודה (CLI) שהופך את כל תהליך ההגדרה, ניהול המודלים והאינטראקציה לפשוטים יחסית. היא אידיאלית לניסויים מהירים ולמשתמשים שרוצים להתמודד עם פחות פרטים טכניים.

התקנת Ollama

1. הורד את אפליקציית Ollama

2. התקן את הקובץ שהורדת

3. הפעל את אפליקציית Ollama שהותקנה

   מידע

   האפליקציה פועלת בהצלחה כאשר סמל Ollama מופיע בשורת התפריט של שולחן העבודה. תוכל גם לאמת שהשירות פועל על ידי גלישה לכתובת http://localhost:11434/.

4. נסה את Ollama בטרמינל שלך והתחל להריץ מודלים. לדוגמה:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

הגדרת Ollama באמצעות אינטגרציית Hugging Face Hub

אינטגרציית Ollama/Hugging Face Hub מספקת דרך לתקשר עם מודלים המתארחים ב-Hugging Face Hub מבלי צורך ליצור modelfile חדש או להוריד ידנית את קבצי ה-GGUF או safetensors. קבצי ה-template וה-params המוגדרים כברירת מחדל כבר כלולים עבור המודל ב-Hugging Face Hub.

1. ודא שאפליקציית Ollama פועלת.

2. עבור לדף המודל הרצוי והעתק את ה-URL. לדוגמה, https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF.

3. מהטרמינל, הרץ את הפקודה:

   ollama run hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit

תוכל להשתמש במודל hf.co/Qiskit/Qwen2.5-Coder-14B-Qiskit או בכל אחד מהמודלים הרשמיים המומלצים האחרים בפורמט GGUF: hf.co/Qiskit/mistral-small-3.2-24b-qiskit-GGUF או hf.co/Qiskit/granite-3.3-8b-qiskit-GGUF.

הגדרת Ollama עם מודל GGUF של Qiskit Code Assistant שהורד ידנית

אם הורדת ידנית מודל GGUF כגון https://huggingface.co/Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF וברצונך להתנסות עם תבניות ופרמטרים שונים, תוכל לבצע את השלבים הבאים כדי לטעון אותו לאפליקציית Ollama המקומית שלך.

1. צור קובץ Modelfile עם התוכן הבא, ודא לעדכן את <PATH-TO-GGUF-FILE> לנתיב הממשי של המודל שהורדת.

   FROM <PATH-TO-GGUF-FILE>
   TEMPLATE """{{ if .System }}
   System:
   {{ .System }}
   
   {{ end }}{{ if .Prompt }}Question:
   {{ .Prompt }}
   
   {{ end }}Answer:
   ```python{{ .Response }}
   """
   
   PARAMETER stop "Question:"
   PARAMETER stop "Answer:"
   PARAMETER stop "System:"
   PARAMETER stop "```"
   
   PARAMETER temperature 0
   PARAMETER top_k 1

2. הרץ את הפקודה הבאה כדי ליצור מופע מודל מותאם אישית המבוסס על ה-Modelfile.

   ollama create Qwen2.5-Coder-14B-Qiskit -f ./path-to-model-file

   הערה

   תהליך זה עשוי להימשך זמן מה כדי ש-Ollama יקרא את קובץ המודל, יאתחל את מופע המודל ויגדיר אותו בהתאם למפרטים שסופקו.

הרצת מודל Qiskit Code Assistant שהורד ידנית ב-Ollama

לאחר שמודל Qwen2.5-Coder-14B-Qiskit הוגדר ב-Ollama, הרץ את הפקודה הבאה כדי להפעיל את המודל ולתקשר איתו בטרמינל (במצב צ'אט).

ollama run Qwen2.5-Coder-14B-Qiskit

כמה פקודות שימושיות:

• ollama list - הצג מודלים במחשב שלך
• ollama rm Qwen2.5-Coder-14B-Qiskit - מחק את המודל
• ollama show Qwen2.5-Coder-14B-Qiskit - הצג מידע על המודל
• ollama stop Qwen2.5-Coder-14B-Qiskit - עצור מודל שפועל כעת
• ollama ps - הצג אילו מודלים טעונים כעת

פריסה ידנית של מודלי Qiskit Code Assistant באופן מקומי דרך חבילת llama-cpp-python

חלופה לאפליקציית Ollama היא חבילת llama-cpp-python, שהיא חיבור Python ל-llama.cpp. היא מעניקה לך שליטה וגמישות רבות יותר להרצת מודל ה-GGUF באופן מקומי, ואידיאלית למשתמשים המעוניינים לשלב את המודל המקומי בתהליכי העבודה ואפליקציות Python שלהם.

1. התקן את llama-cpp-python
2. תקשר עם המודל מתוך האפליקציה שלך באמצעות llama_cpp. לדוגמה:

from llama_cpp import Llama

model_path = <PATH-TO-GGUF-FILE>

model = Llama(
        model_path,
        seed=17,
        n_ctx=10000,
        n_gpu_layers=37, # to offload in gpu, but put 0 if all in cpu
    )

input = 'Generate a quantum circuit with 2 qubits'
raw_pred = model(input)["choices"][0]["text"]

תוכל גם להוסיף פרמטרי יצירת טקסט למודל כדי להתאים אישית את ההסקה:

generation_kwargs = {
        "max_tokens": 512,
        "echo": False, # Echo the prompt in the output
        "top_k": 1
    }

raw_pred = model(input, **generation_kwargs)["choices"][0]["text"]

פריסה ידנית של מודלי Qiskit Code Assistant באופן מקומי דרך llama.cpp

שימוש בספריית llama.cpp

חלופה נוספת היא שימוש ב-llama.cpp, ספרייה בקוד פתוח לביצוע הסקה של מודלי שפה גדולים על CPU עם הגדרה מינימלית. היא מספקת שליטה ברמה נמוכה על הרצת המודל ומופעלת בדרך כלל משורת הפקודה, תוך הצבעה על קובץ מודל GGUF מקומי.

ישנן מספר דרכים להתקין את llama.cpp על המחשב שלך:

• התקן את llama.cpp באמצעות brew, nix, או winget
• הרץ עם Docker: ראה את תיעוד Docker של צוות llama.cpp
• הורד קבצים בינאריים מוכנים מדף ה-releases
• בנה מקוד מקור על ידי שכפול מאגר זה

לאחר ההתקנה, תוכל להשתמש ב-llama.cpp לתקשורת עם מודלי GGUF במצב שיחה כך:

# Use a local model file
llama-cli -m my_model.gguf -cnv

# Or download and run a model directly from Hugging Face
llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF -cnv

תוכל גם להפעיל שרת API תואם-OpenAI עבור המודל באופן הבא:

llama-server -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF

פרמטרים מתקדמים

עם תוכנית llama-cli, תוכל לשלוט בייצור המודל באמצעות אפשרויות שורת הפקודה. לדוגמה, תוכל לספק פרומפט "מערכת" ראשוני באמצעות הדגל -p/--prompt. במצב שיחה (-cnv), פרומפט ראשוני זה משמש כהודעת המערכת. לחלופין, תוכל פשוט להוסיף כל הוראה רצויה לטקסט הפרומפט שלך. תוכל גם לכוונן פרמטרי דגימה - למשל: טמפרטורה (--temp), top-k (--top-k), top-p (--top-p), עונש חזרה (--repeat-penalty) וה-seed לשימוש (--seed). להלן דוגמה להפעלה עם אפשרויות אלו:

llama-cli -hf Qiskit/Qwen2.5-Coder-14B-Qiskit-GGUF \
  -p "You are a friendly assistant." -cnv \
  --temp 0.7 \
  --top-k 50 \
  --top-p 0.95 \
  --repeat-penalty 1.1 \
  --seed 42

כדי להבטיח פונקציונליות תקינה של מודלי Qiskit שלנו, אנו ממליצים להשתמש בפרומפט המערכת המסופק במאגרי ה-HF GGUF שלנו: פרומפט מערכת עבור mistral-small-3.2-24b-qiskit-GGUF, Qwen2.5-Coder-14B-Qiskit-GGUF, granite-3.3-8b-qiskit-GGUF ו-granite-3.2-8b-qiskit-GGUF.

חיבור ידני של תוספים לפריסה מקומית

השתמש בתוסף VS Code ובתוסף JupyterLab עבור Qiskit Code Assistant כדי לשלוח שאלות למודל Qiskit Code Assistant שנפרס מקומית. לאחר שהגדרת את אפליקציית Ollama עם המודל, תוכל להגדיר את התוספים להתחבר לשירות המקומי.

חיבור עם תוסף Qiskit Code Assistant ל-VS Code

עם תוסף Qiskit Code Assistant ל-VS Code, תוכל לתקשר עם המודל ולבצע השלמת קוד בזמן כתיבת הקוד שלך. זה יכול לעבוד טוב עבור משתמשים המחפשים עזרה בכתיבת קוד Qiskit עבור אפליקציות Python שלהם.

1. התקן את תוסף Qiskit Code Assistant ל-VS Code.
2. ב-VS Code, עבור ל-User Settings והגדר את Qiskit Code Assistant: Url לכתובת ה-URL של פריסת Ollama המקומית שלך (לדוגמה, http://localhost:11434).
3. טען מחדש את VS Code על ידי מעבר ל-View > Command Palette... ובחירת Developer: Reload Window.

מודל Qiskit Code Assistant שהוגדר ב-Ollama אמור להופיע בשורת הסטטוס ומוכן לשימוש.

חיבור עם תוסף Qiskit Code Assistant ל-JupyterLab

עם תוסף Qiskit Code Assistant ל-JupyterLab, תוכל לתקשר עם המודל ולבצע השלמת קוד ישירות ב-Jupyter Notebook שלך. משתמשים שעובדים בעיקר עם Jupyter Notebooks יכולים לנצל תוסף זה כדי לשפר עוד יותר את חוויית כתיבת קוד Qiskit שלהם.

1. התקן את תוסף Qiskit Code Assistant ל-JupyterLab.
2. ב-JupyterLab, עבור ל-Settings Editor והגדר את Qiskit Code Assistant Service API לכתובת ה-URL של פריסת Ollama המקומית שלך (לדוגמה, http://localhost:11434).

מודל Qiskit Code Assistant שהוגדר ב-Ollama אמור להופיע בשורת הסטטוס ומוכן לשימוש.