ডিপসিক-কোডার-ভি২: কোড ইন্টেলিজেন্সে ওপেন-সোর্স মডেলের নতুন দিগন্ত

কোডিং এবং প্রোগ্রামিংয়ের জগতে ডিপসিক-কোডার-ভি২ একটি যুগান্তকারী মডেল হিসেবে আবির্ভূত হয়েছে। এটি একটি ওপেন-সোর্স মডেল যা জিপিটি-৪ টার্বোর মতো বন্ধ-সোর্স মডেলগুলোর সাথে প্রতিযোগিতা করতে সক্ষম।

এই মডেলটি ডিপসিক-ভি২ এর একটি ইন্টারমিডিয়েট চেকপয়েন্ট থেকে অতিরিক্ত ৬ ট্রিলিয়ন টোকেন ব্যবহার করে প্রি-ট্রেন করা হয়েছে, যা কোডিং এবং গাণিতিক যুক্তির ক্ষেত্রে এর দক্ষতা বৃদ্ধি করেছে।

ডিপসিক-কোডার-ভি২ এর বিশেষ বৈশিষ্ট্য

১.৩৩৮টি প্রোগ্রামিং ভাষা সমর্থন: এটি ৩৩৮টি প্রোগ্রামিং ভাষা সমর্থন করে, যা প্রায় সব ধরনের ডেভেলপারের চাহিদা মেটাতে সক্ষম।
২.১২৮কে টোকেন কন্টেক্সট লেন্থ: এটি দীর্ঘ কোড বেস এবং জটিল প্রোজেক্টগুলোর জন্য উপযোগী।
৩.কোড জেনারেশন এবং ডিবাগিং: এটি স্বয়ংক্রিয়ভাবে কোড জেনারেট করতে পারে এবং ভুল কোড ঠিক করতে পারে।
৪.গাণিতিক যুক্তি: জটিল গাণিতিক সমস্যা সমাধানে এটি দক্ষ।

কিভাবে ব্যবহার করবেন?

ডিপসিক-কোডার-ভি২ ব্যবহার করার জন্য আপনি SGLang বা vLLM ফ্রেমওয়ার্ক ব্যবহার করতে পারেন।

SGLang এর মাধ্যমে ইনফারেন্স

SGLang বর্তমানে MLA অপ্টিমাইজেশন, FP8 (W8A8), FP8 KV Cache, এবং Torch Compile সমর্থন করে, যা সর্বোত্তম লেটেন্সি এবং থ্রুপুট প্রদান করে। নিচের কমান্ডগুলি ব্যবহার করে আপনি একটি OpenAI API-সামঞ্জস্যপূর্ণ সার্ভার চালু করতে পারেন:

# BF16, tensor parallelism = 8
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-Coder-V2-Instruct --tp 8 --trust-remote-code

এরপর OpenAI API ব্যবহার করে সার্ভারকে কোয়েরি করতে পারেন:

import openai
client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "You are a helpful AI assistant"},
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)
print(response)

vLLM এর মাধ্যমে ইনফারেন্স

vLLM ব্যবহার করতে নিচের কোডটি ব্যবহার করুন:

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 1
model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "write a quick sort algorithm in python."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

লাইসেন্স

এই কোড রিপোজিটরি MIT লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত। ডিপসিক-কোডার-ভি২ সিরিজ (বেস এবং ইনস্ট্রাক্ট) বাণিজ্যিক ব্যবহারের জন্য উপযোগী।

উদ্ধৃতি

যদি এই মডেলটি আপনার গবেষণায় ব্যবহার করেন, তাহলে নিচের উদ্ধৃতি ব্যবহার করুন:

@article{zhu2024deepseek,
  title={DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence},
  author={Zhu, Qihao and Guo, Daya and Shao, Zhihong and Yang, Dejian and Wang, Peiyi and Xu, Runxin and Wu, Y and Li, Yukun and Gao, Huazuo and Ma, Shirong and others},
  journal={arXiv preprint arXiv:2406.11931},
  year={2024}
}

যোগাযোগ

যদি আপনার কোনো প্রশ্ন থাকে, তাহলে ইস্যু তৈরি করুন বাservice@deepseek.comএ যোগাযোগ করুন।

ডিপসিক-কোডার-ভি২ কোডিং এবং প্রোগ্রামিংয়ের জগতে নতুন সম্ভাবনার দুয়ার খুলে দিয়েছে। এটি ব্যবহার করে আপনি আপনার কোডিং দক্ষতা আরও উন্নত করতে পারেন এবং জটিল সমস্যাগুলো সহজেই সমাধান করতে পারেন।

Evaluation Results

নীচে কোড উৎপাদনের জন্য বিভিন্ন মডেলের মূল্যায়ন ফলাফল বাংলায় উপস্থাপন করা হলো:

ক্লোজড-সোর্স মডেলস

ওপেন-সোর্স মডেলস

এই টেবিলে উল্লিখিত পরিসংখ্যানগুলি বিভিন্ন কোড উৎপাদন মডেলের কর্মক্ষমতা নির্ধারণে সহায়ক হিসাবে ব্যবহৃত বিভিন্ন বেঞ্চমার্ক (HumanEval, MBPP+, LiveCodeBench, USACO) এর উপর ভিত্তি করে সংগৃহীত।

কোড কমপ্লিশন (Code Completion)

কোড সংশোধন (Code Fixing)

ক্লোজড-সোর্স মডেলস

ওপেন-সোর্স মডেলস

গাণিতিক যুক্তি (Mathematical Reasoning)

ক্লোজড-সোর্স মডেলস

ওপেন-সোর্স মডেলস

সাধারণ প্রাকৃতিক ভাষা (General Natural Language)

প্রতিটি বিভাগে উপরের টেবিলগুলো কোড উৎপাদন, কোড সংশোধন, গাণিতিক যুক্তি ও সাধারণ প্রাকৃতিক ভাষার ক্ষেত্রে বিভিন্ন মডেলের পারফরম্যান্স নির্ণয়ে সহায়ক বেঞ্চমার্কগুলোর (যেমন RepoBench, HumanEval, Defects4J, SWE-Bench, GSM8K, MATH, AIME 2024, ইত্যাদি) উপর ভিত্তি করে সংগৃহীত ফলাফল তুলে ধরে।

Print this tutorial as PDF