https://cageyv.dev/th/series/llm/Recent content in LLM on Vladimir SamoylovHugothFri, 06 Feb 2026 00:00:00 +0000https://cageyv.dev/th/posts/inf2-trn3-vllm-neuron-experiment/Fri, 06 Feb 2026 00:00:00 +0000https://cageyv.dev/th/posts/inf2-trn3-vllm-neuron-experiment/<p>ฉันต้องการวิธีที่ง่ายและทำซ้ำได้เพื่อตอบคำถามเชิงปฏิบัติ:</p> <blockquote> <p>“หากเราต้องรันโมเดลส่วนตัวบน AWS ความเป็นจริงในการดำเนินงานบน Inf2 / Trn3 จะเป็นอย่างไร?”</p></blockquote> <p>โพสต์นี้บันทึกการทดลอง <strong>ภาคปฏิบัติ</strong> เล็กๆ หนึ่งครั้ง (Inf2) พร้อมกับการตรวจสอบติดตามผลที่ฉันจะดำเนินการกับ <strong>Trn3</strong> อย่างละเอียด</p> <h2 id="การตงคาการทดลอง-inf2"> การตั้งค่าการทดลอง (Inf2) <a class="heading-link" href="#%e0%b8%81%e0%b8%b2%e0%b8%a3%e0%b8%95%e0%b8%87%e0%b8%84%e0%b8%b2%e0%b8%81%e0%b8%b2%e0%b8%a3%e0%b8%97%e0%b8%94%e0%b8%a5%e0%b8%ad%e0%b8%87-inf2"> <i class="fa-solid fa-link" aria-hidden="true" title="ลิงก์ไปยังหัวข้อ"></i> <span class="sr-only">ลิงก์ไปยังหัวข้อ</span> </a> </h2> <p>นี่เป็นการทดสอบแบบรวดเร็วว่า &ldquo;เราสามารถทำให้มันทำงานได้ตั้งแต่ต้นจนจบหรือไม่&rdquo; ไม่ใช่ชุดการวัดประสิทธิภาพที่สมบูรณ์</p> <ul> <li><strong>วันที่ดำเนินการ:</strong> 2026-02-01</li> <li><strong>อินสแตนซ์ที่ทดสอบ:</strong> <code>inf2.xlarge</code></li> <li><strong>ภูมิภาค:</strong> <code>us-east-2</code></li> <li><strong>โมเดล:</strong> <code>meta-llama/Llama-4-Maverick-17B-128E-Instruct</code></li> <li><strong>Serving layer:</strong> vLLM บน Neuron</li> <li><strong>API surface:</strong> OpenAI-compatible endpoints (<code>/v1/chat/completions</code>, <code>/v1/completions</code>)</li> <li><strong>พอร์ต:</strong> <code>8080</code></li> </ul> <h2 id="สงทไดผล-และทำไมจงสำคญ"> สิ่งที่ได้ผล (และทำไมจึงสำคัญ) <a class="heading-link" href="#%e0%b8%aa%e0%b8%87%e0%b8%97%e0%b9%84%e0%b8%94%e0%b8%9c%e0%b8%a5-%e0%b9%81%e0%b8%a5%e0%b8%b0%e0%b8%97%e0%b8%b3%e0%b9%84%e0%b8%a1%e0%b8%88%e0%b8%87%e0%b8%aa%e0%b8%b3%e0%b8%84%e0%b8%8d"> <i class="fa-solid fa-link" aria-hidden="true" title="ลิงก์ไปยังหัวข้อ"></i> <span class="sr-only">ลิงก์ไปยังหัวข้อ</span> </a> </h2> <p>ผลลัพธ์หลัก: <strong>vLLM บน Neuron ทำงานได้</strong> และ API ที่เข้ากันได้กับ OpenAI ทำให้ง่ายต่อการเชื่อมต่อกับเครื่องมือโดยไม่ต้องเขียนไคลเอนต์ที่กำหนดเอง</p> <p>อย่างไรก็ตาม มีบทเรียนการดำเนินงานที่ &ldquo;เป็นจริง&rdquo; ไม่กี่อย่างที่สำคัญกว่า tokens/sec ดิบๆ</p> <h3 id="1-การคอมไพล-neuron-ครงแรกมคาใชจายสง"> 1) การคอมไพล์ Neuron ครั้งแรกมีค่าใช้จ่ายสูง <a class="heading-link" href="#1-%e0%b8%81%e0%b8%b2%e0%b8%a3%e0%b8%84%e0%b8%ad%e0%b8%a1%e0%b9%84%e0%b8%9e%e0%b8%a5-neuron-%e0%b8%84%e0%b8%a3%e0%b8%87%e0%b9%81%e0%b8%a3%e0%b8%81%e0%b8%a1%e0%b8%84%e0%b8%b2%e0%b9%83%e0%b8%8a%e0%b8%88%e0%b8%b2%e0%b8%a2%e0%b8%aa%e0%b8%87"> <i class="fa-solid fa-link" aria-hidden="true" title="ลิงก์ไปยังหัวข้อ"></i> <span class="sr-only">ลิงก์ไปยังหัวข้อ</span> </a> </h3> <p>ครั้งแรกที่คุณรันการกำหนดค่าโมเดลเฉพาะ การคอมไพล์ Neuron อาจใช้เวลา <strong>~15–30 นาที</strong></p>