ডিপসিক-কোডার-ভি২: কোড ইন্টেলিজেন্সে ওপেন-সোর্স মডেলের নতুন দিগন্ত

কোডিং এবং প্রোগ্রামিংয়ের জগতে ডিপসিক-কোডার-ভি২ একটি যুগান্তকারী মডেল হিসেবে আবির্ভূত হয়েছে। এটি একটি ওপেন-সোর্স মডেল যা জিপিটি-৪ টার্বোর মতো বন্ধ-সোর্স মডেলগুলোর সাথে প্রতিযোগিতা করতে সক্ষম।

এই মডেলটি ডিপসিক-ভি২ এর একটি ইন্টারমিডিয়েট চেকপয়েন্ট থেকে অতিরিক্ত ৬ ট্রিলিয়ন টোকেন ব্যবহার করে প্রি-ট্রেন করা হয়েছে, যা কোডিং এবং গাণিতিক যুক্তির ক্ষেত্রে এর দক্ষতা বৃদ্ধি করেছে।

ডিপসিক-কোডার-ভি২ এর বিশেষ বৈশিষ্ট্য

১. ৩৩৮টি প্রোগ্রামিং ভাষা সমর্থন: এটি ৩৩৮টি প্রোগ্রামিং ভাষা সমর্থন করে, যা প্রায় সব ধরনের ডেভেলপারের চাহিদা মেটাতে সক্ষম।
২. ১২৮কে টোকেন কন্টেক্সট লেন্থ: এটি দীর্ঘ কোড বেস এবং জটিল প্রোজেক্টগুলোর জন্য উপযোগী।
৩. কোড জেনারেশন এবং ডিবাগিং: এটি স্বয়ংক্রিয়ভাবে কোড জেনারেট করতে পারে এবং ভুল কোড ঠিক করতে পারে।
৪. গাণিতিক যুক্তি: জটিল গাণিতিক সমস্যা সমাধানে এটি দক্ষ।

কিভাবে ব্যবহার করবেন?

ডিপসিক-কোডার-ভি২ ব্যবহার করার জন্য আপনি SGLang বা vLLM ফ্রেমওয়ার্ক ব্যবহার করতে পারেন।

SGLang এর মাধ্যমে ইনফারেন্স

SGLang বর্তমানে MLA অপ্টিমাইজেশন, FP8 (W8A8), FP8 KV Cache, এবং Torch Compile সমর্থন করে, যা সর্বোত্তম লেটেন্সি এবং থ্রুপুট প্রদান করে। নিচের কমান্ডগুলি ব্যবহার করে আপনি একটি OpenAI API-সামঞ্জস্যপূর্ণ সার্ভার চালু করতে পারেন:

# BF16, tensor parallelism = 8
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-Coder-V2-Instruct --tp 8 --trust-remote-code

এরপর OpenAI API ব্যবহার করে সার্ভারকে কোয়েরি করতে পারেন:

import openai
client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "You are a helpful AI assistant"},
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)
print(response)

vLLM এর মাধ্যমে ইনফারেন্স

vLLM ব্যবহার করতে নিচের কোডটি ব্যবহার করুন:

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 1
model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "write a quick sort algorithm in python."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

লাইসেন্স

এই কোড রিপোজিটরি MIT লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত। ডিপসিক-কোডার-ভি২ সিরিজ (বেস এবং ইনস্ট্রাক্ট) বাণিজ্যিক ব্যবহারের জন্য উপযোগী।

উদ্ধৃতি

যদি এই মডেলটি আপনার গবেষণায় ব্যবহার করেন, তাহলে নিচের উদ্ধৃতি ব্যবহার করুন:

@article{zhu2024deepseek,
  title={DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence},
  author={Zhu, Qihao and Guo, Daya and Shao, Zhihong and Yang, Dejian and Wang, Peiyi and Xu, Runxin and Wu, Y and Li, Yukun and Gao, Huazuo and Ma, Shirong and others},
  journal={arXiv preprint arXiv:2406.11931},
  year={2024}
}

যোগাযোগ

যদি আপনার কোনো প্রশ্ন থাকে, তাহলে ইস্যু তৈরি করুন বা service@deepseek.com এ যোগাযোগ করুন।

ডিপসিক-কোডার-ভি২ কোডিং এবং প্রোগ্রামিংয়ের জগতে নতুন সম্ভাবনার দুয়ার খুলে দিয়েছে। এটি ব্যবহার করে আপনি আপনার কোডিং দক্ষতা আরও উন্নত করতে পারেন এবং জটিল সমস্যাগুলো সহজেই সমাধান করতে পারেন।

Evaluation Results

নীচে কোড উৎপাদনের জন্য বিভিন্ন মডেলের মূল্যায়ন ফলাফল বাংলায় উপস্থাপন করা হলো:

ক্লোজড-সোর্স মডেলস

মডেল	#TP	#AP	HumanEval	MBPP+	LiveCodeBench	USACO
জেমিনি-১.৫-প্রো	–	–	83.5	74.6	34.1	4.9
ক্লড-৩-অপাস	–	–	84.2	72.0	34.6	7.8
জিপিটি-৪-টার্বো-১১০৬	–	–	87.8	69.3	37.1	11.1
জিপিটি-৪-টার্বো-০৪০৯	–	–	88.2	72.2	45.7	12.3
জিপিটি-৪ও-০৫১৩	–	–	91.0	73.5	43.4	18.8

ওপেন-সোর্স মডেলস

মডেল	#TP	#AP	HumanEval	MBPP+	LiveCodeBench	USACO
কোডস্ট্রাল	22B	22B	78.1	68.2	31.0	4.6
ডিপসিক-কোডার-ইনস্ট্রাক্ট	33B	33B	79.3	70.1	22.5	4.2
লামা৩-ইনস্ট্রাক্ট	70B	70B	81.1	68.8	28.7	3.3
ডিপসিক-কোডার-ভি২-লাইট-ইনস্ট্রাক্ট	16B	2.4B	81.1	68.8	24.3	6.5
ডিপসিক-কোডার-ভি২-ইনস্ট্রাক্ট	236B	21B	90.2	76.2	43.4	12.1

এই টেবিলে উল্লিখিত পরিসংখ্যানগুলি বিভিন্ন কোড উৎপাদন মডেলের কর্মক্ষমতা নির্ধারণে সহায়ক হিসাবে ব্যবহৃত বিভিন্ন বেঞ্চমার্ক (HumanEval, MBPP+, LiveCodeBench, USACO) এর উপর ভিত্তি করে সংগৃহীত।

কোড কমপ্লিশন (Code Completion)

মডেল	#TP	#AP	RepoBench (পাইথন)	RepoBench (জাভা)	HumanEval FIM
CodeStral	22B	22B	46.1	45.7	83.0
DeepSeek-Coder-Base (7B)	7B	7B	36.2	43.3	86.1
DeepSeek-Coder-Base (33B)	33B	33B	39.1	44.8	86.4
DeepSeek-Coder-V2-Lite-Base	16B	2.4B	38.9	43.3	86.4

কোড সংশোধন (Code Fixing)

ক্লোজড-সোর্স মডেলস

মডেল	#TP	#AP	Defects4J	SWE-Bench	Aider
Gemini-1.5-Pro	–	–	18.6	19.3	57.1
Claude-3-Opus	–	–	25.5	11.7	68.4
GPT-4-Turbo-1106	–	–	22.8	22.7	65.4
GPT-4-Turbo-0409	–	–	24.3	18.3	63.9
GPT-4o-0513	–	–	26.1	26.7	72.9

ওপেন-সোর্স মডেলস

মডেল	#TP	#AP	Defects4J	SWE-Bench	Aider
CodeStral	22B	22B	17.8	2.7	51.1
DeepSeek-Coder-Instruct	33B	33B	11.3	0.0	54.5
Llama3-Instruct	70B	70B	16.2	–	49.2
DeepSeek-Coder-V2-Lite-Instruct	16B	2.4B	9.2	0.0	44.4
DeepSeek-Coder-V2-Instruct	236B	21B	21.0	12.7	73.7

গাণিতিক যুক্তি (Mathematical Reasoning)

ক্লোজড-সোর্স মডেলস

মডেল	#TP	#AP	GSM8K	MATH	AIME 2024	Math Odyssey
Gemini-1.5-Pro	–	–	90.8	67.7	2/30	45.0
Claude-3-Opus	–	–	95.0	60.1	2/30	40.6
GPT-4-Turbo-1106	–	–	91.4	64.3	1/30	49.1
GPT-4-Turbo-0409	–	–	93.7	73.4	3/30	46.8
GPT-4o-0513	–	–	95.8	76.6	2/30	53.2

ওপেন-সোর্স মডেলস

মডেল	#TP	#AP	GSM8K	MATH	AIME 2024	Math Odyssey
Llama3-Instruct	70B	70B	93.0	50.4	1/30	27.9
DeepSeek-Coder-V2-Lite-Instruct	16B	2.4B	86.4	61.8	0/30	44.4
DeepSeek-Coder-V2-Instruct	236B	21B	94.9	75.7	4/30	53.7

সাধারণ প্রাকৃতিক ভাষা (General Natural Language)

বেন্চমার্ক	ডোমেইন	DeepSeek-V2-Lite Chat	DeepSeek-Coder-V2-Lite Instruct	DeepSeek-V2 Chat	DeepSeek-Coder-V2 Instruct
BBH	English	48.1	61.2	79.7	83.9
MMLU	English	55.7	60.1	78.1	79.2
ARC-Easy	English	86.1	88.9	98.1	97.4
ARC-Challenge	English	73.4	77.4	92.3	92.8
TriviaQA	English	65.2	59.5	86.7	82.3
NaturalQuestions	English	35.5	30.8	53.4	47.5
AGIEval	English	42.8	28.7	61.4	60
CLUEWSC	Chinese	80.0	76.5	89.9	85.9
C-Eval	Chinese	60.1	61.6	78.0	79.4
CMMLU	Chinese	62.5	62.7	81.6	80.9
Arena-Hard	–	11.4	38.1	41.6	65.0
AlpaceEval 2.0	–	16.9	17.7	38.9	36.9
MT-Bench	–	7.37	7.81	8.97	8.77
Alignbench	–	6.02	6.83	7.91	7.84

প্রতিটি বিভাগে উপরের টেবিলগুলো কোড উৎপাদন, কোড সংশোধন, গাণিতিক যুক্তি ও সাধারণ প্রাকৃতিক ভাষার ক্ষেত্রে বিভিন্ন মডেলের পারফরম্যান্স নির্ণয়ে সহায়ক বেঞ্চমার্কগুলোর (যেমন RepoBench, HumanEval, Defects4J, SWE-Bench, GSM8K, MATH, AIME 2024, ইত্যাদি) উপর ভিত্তি করে সংগৃহীত ফলাফল তুলে ধরে।