Ollama Client: Local LLM GUI สำหรับการท่องเว็บที่มุ่งเน้นความเป็นส่วนตัว
Ollama Client ซึ่งพัฒนาโดย Shishir Chaurasiya เป็นส่วนขยายของเบราว์เซอร์ Firefox ที่ให้ส่วนติดต่อกราฟิกแบบท้องถิ่นสำหรับการโต้ตอบกับโมเดลภาษาขนาดใหญ่บนเครื่องของนักพัฒนา ลูกค้าช่วยให้ผู้ใช้สามารถสนทนากับโมเดลที่โฮสต์ผ่าน Ollama, LM Studio หรือ llama.cpp ภายในเบราว์เซอร์และมีโหมดแถบด้านข้างและป๊อปอัปสำหรับการสอบถามในบริบท ความสามารถหลักรวมถึงการสร้างที่เพิ่มการดึงข้อมูล การค้นหาบนพื้นฐานเวกเตอร์ การเรนเดอร์ Markdown และการส่งออกการสนทนา โดยมุ่งเป้าไปที่นักพัฒนา นักวิจัย และผู้ใช้ที่ใส่ใจในความเป็นส่วนตัว。
ลูกค้าจะแปลงโฮสต์โมเดลท้องถิ่นให้เป็นผู้ช่วยในเบราว์เซอร์
Ollama Client ให้บริการอินเทอร์เฟซการสนทนากราฟิกที่เชื่อมต่อเบราว์เซอร์กับเซิร์ฟเวอร์โมเดลท้องถิ่น เช่น Ollama, LM Studio หรือ llama.cpp โดยลบความซับซ้อนของบรรทัดคำสั่ง ส่วนขยายทำงานภายใน Firefox และเบราว์เซอร์ที่ใช้ Chromium อื่น ๆ และการเชื่อมต่อจะถูกสร้างขึ้นโดยการป้อน URL จุดสิ้นสุดท้องถิ่นในการตั้งค่า เนื่องจากลูกค้าได้มอบหมายการอนุมานให้กับบริการท้องถิ่น ความหน่วงเวลาของการตอบสนองและความสามารถของโมเดลขึ้นอยู่กับโมเดลที่ติดตั้งและเครื่องโฮสต์
รองรับการวิจัยของนักพัฒนาด้วย RAG และการค้นหาวัสดุ
ลูกค้ารวมบริบทของหน้าเข้ากับคำถามและเปิดใช้งานการสร้างที่เพิ่มขึ้นจากไฟล์ท้องถิ่น ในขณะที่การค้นหาที่ชาญฉลาดใช้การฝังเวกเตอร์ทั่วประวัติการสนทนาและไฟล์แนบ การจัดการไฟล์แนบครอบคลุมการป้อนข้อมูลทั่วไปของนักวิเคราะห์ และส่วนขยายจะเรนเดอร์ Markdown พร้อมการเน้นไวยากรณ์ ผลลัพธ์สำคัญและความสามารถในการทำงานร่วมกันรวมถึง:
- การส่งออกและนำเข้าช่วงการสนทนาในรูปแบบ PDF และ JSON
- การปรับแต่งพารามิเตอร์ เช่น อุณหภูมิและการแจ้งเตือนระบบที่กำหนดเอง
- การค้นหาที่ชาญฉลาดในไฟล์ที่อัปโหลดและการถอดความ
ความเป็นส่วนตัวและความโปร่งใสตรงตามข้อกำหนดด้านความปลอดภัยทางเทคนิค
เครื่องมือนี้บังคับการสื่อสารเฉพาะท้องถิ่น ดังนั้นการแจ้งเตือนและการโต้ตอบกับหน้าเว็บจึงยังคงอยู่บนฮาร์ดแวร์ของผู้ใช้ และเป็นโอเพนซอร์สเพื่ออนุญาตการตรวจสอบความปลอดภัยและการมีส่วนร่วมของชุมชน มาตรวัดการใช้บริบทจะแสดงว่าบริบทของโมเดลถูกใช้ไปมากน้อยเพียงใด ซึ่งช่วยเมื่อสร้างการแจ้งเตือนสำหรับข้อมูลขนาดใหญ่ เนื่องจากไม่ต้องการ API คลาวด์ การส่งข้อมูลไปยังบริการของบุคคลที่สามจึงหลีกเลี่ยงโดยการออกแบบ โดยเปลี่ยนความรับผิดชอบในการโฮสต์ที่ปลอดภัยไปยังผู้ดำเนินการ
เหมาะที่สุดสำหรับผู้ใช้ทางเทคนิคที่สามารถโฮสต์โมเดลได้ในเครื่อง
Ollama Client เป็นตัวเลือกที่เหมาะสมสำหรับนักพัฒนาและนักวิจัยที่ต้องการเข้าถึง LLM ที่โฮสต์ในเครื่องผ่านเบราว์เซอร์และควบคุมการไหลของข้อมูล การออกแบบเน้นความเป็นส่วนตัวและการรวมเข้ากับเบราว์เซอร์อย่างแน่นหนา ทำให้มีประโยชน์สำหรับการดีบักแบบวนซ้ำและการวิเคราะห์เอกสาร ผู้ใช้ที่ไม่สามารถรันสแต็กการอนุมานในเครื่องหรือผู้ที่ชอบโมเดลที่โฮสต์ระยะไกลควรคาดหวังว่าจะมีความไม่ตรงกันกับการทำงานตามปกติของพวกเขา.
