Diffusers documentation

๐Ÿงจ Diffusers์˜ ์œค๋ฆฌ ์ง€์นจ

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.35.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

๐Ÿงจ Diffusers์˜ ์œค๋ฆฌ ์ง€์นจ

์„œ๋ฌธ

Diffusers๋Š” ์‚ฌ์ „ ํ›ˆ๋ จ๋œ diffusion ๋ชจ๋ธ์„ ์ œ๊ณตํ•˜๋ฉฐ, ์ถ”๋ก ๊ณผ ํ›ˆ๋ จ์„ ์œ„ํ•œ ๋ชจ๋“ˆํ˜• ํˆด๋ฐ•์Šค๋กœ ํ™œ์šฉ๋ฉ๋‹ˆ๋‹ค.

์ด ๊ธฐ์ˆ ์˜ ์‹ค์ œ ์ ์šฉ ์‚ฌ๋ก€์™€ ์‚ฌํšŒ์— ๋ฏธ์น  ์ˆ˜ ์žˆ๋Š” ์ž ์žฌ์  ๋ถ€์ •์  ์˜ํ–ฅ์„ ๊ณ ๋ คํ•  ๋•Œ, Diffusers ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ๊ฐœ๋ฐœ, ์‚ฌ์šฉ์ž ๊ธฐ์—ฌ, ์‚ฌ์šฉ์— ์œค๋ฆฌ ์ง€์นจ์„ ์ œ๊ณตํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•˜๋‹ค๊ณ  ์ƒ๊ฐํ•ฉ๋‹ˆ๋‹ค.

์ด ๊ธฐ์ˆ  ์‚ฌ์šฉ๊ณผ ๊ด€๋ จ๋œ ์œ„ํ—˜์€ ์—ฌ์ „ํžˆ ๊ฒ€ํ†  ์ค‘์ด์ง€๋งŒ, ์˜ˆ๋ฅผ ๋“ค๋ฉด: ์˜ˆ์ˆ ๊ฐ€์˜ ์ €์ž‘๊ถŒ ๋ฌธ์ œ, ๋”ฅํŽ˜์ดํฌ ์•…์šฉ, ๋ถ€์ ์ ˆํ•œ ๋งฅ๋ฝ์—์„œ์˜ ์„ฑ์  ์ฝ˜ํ…์ธ  ์ƒ์„ฑ, ๋น„๋™์˜ ์‚ฌ์นญ, ์†Œ์ˆ˜์ž ์ง‘๋‹จ ์–ต์••์„ ์˜์†ํ™”ํ•˜๋Š” ์œ ํ•ดํ•œ ์‚ฌํšŒ์  ํŽธ๊ฒฌ ๋“ฑ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋Š” ์ด๋Ÿฌํ•œ ์œ„ํ—˜์„ ์ง€์†์ ์œผ๋กœ ์ถ”์ ํ•˜๊ณ , ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ๋ฐ˜์‘๊ณผ ์†Œ์ค‘ํ•œ ํ”ผ๋“œ๋ฐฑ์— ๋”ฐ๋ผ ์•„๋ž˜ ์ง€์นจ์„ ์กฐ์ •ํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค.

๋ฒ”์œ„

Diffusers ์ปค๋ฎค๋‹ˆํ‹ฐ๋Š” ํ”„๋กœ์ ํŠธ ๊ฐœ๋ฐœ์— ๋‹ค์Œ ์œค๋ฆฌ ์ง€์นจ์„ ์ ์šฉํ•˜๋ฉฐ, ํŠนํžˆ ์œค๋ฆฌ์  ๋ฌธ์ œ์™€ ๊ด€๋ จ๋œ ๋ฏผ๊ฐํ•œ ์ฃผ์ œ์— ๋Œ€ํ•ด ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ๊ธฐ์—ฌ๋ฅผ ์กฐ์ •ํ•˜๋Š” ๋ฐ ๋„์›€์„ ์ค„ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์œค๋ฆฌ ์ง€์นจ

๋‹ค์Œ ์œค๋ฆฌ ์ง€์นจ์€ ์ผ๋ฐ˜์ ์œผ๋กœ ์ ์šฉ๋˜์ง€๋งŒ, ์œค๋ฆฌ์ ์œผ๋กœ ๋ฏผ๊ฐํ•œ ๋ฌธ์ œ์™€ ๊ด€๋ จ๋œ ๊ธฐ์ˆ ์  ์„ ํƒ์„ ํ•  ๋•Œ ์šฐ์„ ์ ์œผ๋กœ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ, ํ•ด๋‹น ๊ธฐ์ˆ ์˜ ์ตœ์‹  ๋™ํ–ฅ๊ณผ ๊ด€๋ จ๋œ ์ƒˆ๋กœ์šด ์œ„ํ—˜์ด ๋ฐœ์ƒํ•จ์— ๋”ฐ๋ผ ์ด๋Ÿฌํ•œ ์œค๋ฆฌ ์›์น™์„ ์ง€์†์ ์œผ๋กœ ์กฐ์ •ํ•  ๊ฒƒ์„ ์•ฝ์†ํ•ฉ๋‹ˆ๋‹ค.

  • ํˆฌ๋ช…์„ฑ: ์šฐ๋ฆฌ๋Š” PR ๊ด€๋ฆฌ, ์‚ฌ์šฉ์ž์—๊ฒŒ ์„ ํƒ์˜ ์ด์œ  ์„ค๋ช…, ๊ธฐ์ˆ ์  ์˜์‚ฌ๊ฒฐ์ • ๊ณผ์ •์—์„œ ํˆฌ๋ช…์„ฑ์„ ์œ ์ง€ํ•  ๊ฒƒ์„ ์•ฝ์†ํ•ฉ๋‹ˆ๋‹ค.

  • ์ผ๊ด€์„ฑ: ํ”„๋กœ์ ํŠธ ๊ด€๋ฆฌ์—์„œ ๋ชจ๋“  ์‚ฌ์šฉ์ž์—๊ฒŒ ๋™์ผํ•œ ์ˆ˜์ค€์˜ ๊ด€์‹ฌ์„ ๋ณด์žฅํ•˜๊ณ , ๊ธฐ์ˆ ์ ์œผ๋กœ ์•ˆ์ •์ ์ด๊ณ  ์ผ๊ด€๋œ ์ƒํƒœ๋ฅผ ์œ ์ง€ํ•  ๊ฒƒ์„ ์•ฝ์†ํ•ฉ๋‹ˆ๋‹ค.

  • ๊ฐ„๊ฒฐ์„ฑ: Diffusers ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ์‰ฝ๊ฒŒ ์‚ฌ์šฉํ•˜๊ณ  ํ™œ์šฉํ•  ์ˆ˜ ์žˆ๋„๋ก, ํ”„๋กœ์ ํŠธ์˜ ๋ชฉํ‘œ๋ฅผ ๊ฐ„๊ฒฐํ•˜๊ณ  ์ผ๊ด€์„ฑ ์žˆ๊ฒŒ ์œ ์ง€ํ•  ๊ฒƒ์„ ์•ฝ์†ํ•ฉ๋‹ˆ๋‹ค.

  • ์ ‘๊ทผ์„ฑ: Diffusers ํ”„๋กœ์ ํŠธ๋Š” ๊ธฐ์ˆ ์  ์ „๋ฌธ์ง€์‹์ด ์—†์–ด๋„ ๊ธฐ์—ฌํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง„์ž…์žฅ๋ฒฝ์„ ๋‚ฎ์ถฅ๋‹ˆ๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฌผ์ด ์ปค๋ฎค๋‹ˆํ‹ฐ์— ๋” ์ž˜ ์ ‘๊ทผ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์žฌํ˜„์„ฑ: ์šฐ๋ฆฌ๋Š” Diffusers ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋ฅผ ํ†ตํ•ด ์ œ๊ณต๋˜๋Š” ์—…์ŠคํŠธ๋ฆผ ์ฝ”๋“œ, ๋ชจ๋ธ, ๋ฐ์ดํ„ฐ์…‹์˜ ์žฌํ˜„์„ฑ์— ๋Œ€ํ•ด ํˆฌ๋ช…ํ•˜๊ฒŒ ๊ณต๊ฐœํ•˜๋Š” ๊ฒƒ์„ ๋ชฉํ‘œ๋กœ ํ•ฉ๋‹ˆ๋‹ค.

  • ์ฑ…์ž„: ์ปค๋ฎค๋‹ˆํ‹ฐ์™€ ํŒ€์›Œํฌ๋ฅผ ํ†ตํ•ด, ์ด ๊ธฐ์ˆ ์˜ ์ž ์žฌ์  ์œ„ํ—˜์„ ์˜ˆ์ธกํ•˜๊ณ  ์™„ํ™”ํ•˜๋Š” ๋ฐ ๊ณต๋™ ์ฑ…์ž„์„ ์ง‘๋‹ˆ๋‹ค.

๊ตฌํ˜„ ์‚ฌ๋ก€: ์•ˆ์ „ ๊ธฐ๋Šฅ๊ณผ ๋ฉ”์ปค๋‹ˆ์ฆ˜

ํŒ€์€ diffusion ๊ธฐ์ˆ ๊ณผ ๊ด€๋ จ๋œ ์ž ์žฌ์  ์œค๋ฆฌ ๋ฐ ์‚ฌํšŒ์  ์œ„ํ—˜์— ๋Œ€์‘ํ•˜๊ธฐ ์œ„ํ•ด ๊ธฐ์ˆ ์ ยท๋น„๊ธฐ์ˆ ์  ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•˜๊ณ ์ž ๋…ธ๋ ฅํ•˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ๋˜ํ•œ, ์ปค๋ฎค๋‹ˆํ‹ฐ์˜ ์ฐธ์—ฌ๋Š” ์ด๋Ÿฌํ•œ ๊ธฐ๋Šฅ ๊ตฌํ˜„๊ณผ ์ธ์‹ ์ œ๊ณ ์— ๋งค์šฐ ์ค‘์š”ํ•ฉ๋‹ˆ๋‹ค.

  • ์ปค๋ฎค๋‹ˆํ‹ฐ ํƒญ: ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ํ”„๋กœ์ ํŠธ์— ๋Œ€ํ•ด ํ† ๋ก ํ•˜๊ณ  ๋” ๋‚˜์€ ํ˜‘์—…์„ ํ•  ์ˆ˜ ์žˆ๋„๋ก ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

  • ํŽธํ–ฅ ํƒ์ƒ‰ ๋ฐ ํ‰๊ฐ€: Hugging Face ํŒ€์€ Stable Diffusion ๋ชจ๋ธ์˜ ํŽธํ–ฅ์„ฑ์„ ๋Œ€ํ™”ํ˜•์œผ๋กœ ๋ณด์—ฌ์ฃผ๋Š” space๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์šฐ๋ฆฌ๋Š” ์ด๋Ÿฌํ•œ ํŽธํ–ฅ ํƒ์ƒ‰๊ณผ ํ‰๊ฐ€๋ฅผ ์ง€์›ํ•˜๊ณ  ์žฅ๋ คํ•ฉ๋‹ˆ๋‹ค.

  • ๋ฐฐํฌ์—์„œ์˜ ์•ˆ์ „ ์œ ๋„

    • ์•ˆ์ „ํ•œ Stable Diffusion: ํ•„ํ„ฐ๋ง๋˜์ง€ ์•Š์€ ์›น ํฌ๋กค๋ง ๋ฐ์ดํ„ฐ์…‹์œผ๋กœ ํ›ˆ๋ จ๋œ Stable Diffusion๊ณผ ๊ฐ™์€ ๋ชจ๋ธ์ด ๋ถ€์ ์ ˆํ•˜๊ฒŒ ๋ณ€์งˆ๋˜๋Š” ๋ฌธ์ œ๋ฅผ ์™„ํ™”ํ•ฉ๋‹ˆ๋‹ค. ๊ด€๋ จ ๋…ผ๋ฌธ: Safe Latent Diffusion: Mitigating Inappropriate Degeneration in Diffusion Models.

    • ์•ˆ์ „ ๊ฒ€์‚ฌ๊ธฐ: ์ƒ์„ฑ๋œ ์ด๋ฏธ์ง€๊ฐ€ ์ž„๋ฒ ๋”ฉ ๊ณต๊ฐ„์—์„œ ํ•˜๋“œ์ฝ”๋”ฉ๋œ ์œ ํ•ด ๊ฐœ๋… ํด๋ž˜์Šค์™€ ์ผ์น˜ํ•  ํ™•๋ฅ ์„ ํ™•์ธํ•˜๊ณ  ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค. ์œ ํ•ด ๊ฐœ๋…์€ ์—ญ๊ณตํ•™์„ ๋ฐฉ์ง€ํ•˜๊ธฐ ์œ„ํ•ด ์˜๋„์ ์œผ๋กœ ์ˆจ๊ฒจ์ ธ ์žˆ์Šต๋‹ˆ๋‹ค.

  • Hub์—์„œ์˜ ๋‹จ๊ณ„์  ๋ฐฐํฌ: ํŠนํžˆ ๋ฏผ๊ฐํ•œ ์ƒํ™ฉ์—์„œ๋Š” ์ผ๋ถ€ ๋ฆฌํฌ์ง€ํ† ๋ฆฌ์— ๋Œ€ํ•œ ์ ‘๊ทผ์„ ์ œํ•œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹จ๊ณ„์  ๋ฐฐํฌ๋Š” ๋ฆฌํฌ์ง€ํ† ๋ฆฌ ์ž‘์„ฑ์ž๊ฐ€ ์‚ฌ์šฉ์— ๋Œ€ํ•ด ๋” ๋งŽ์€ ํ†ต์ œ๊ถŒ์„ ๊ฐ–๋„๋ก ํ•˜๋Š” ์ค‘๊ฐ„ ๋‹จ๊ณ„์ž…๋‹ˆ๋‹ค.

  • ๋ผ์ด์„ ์‹ฑ: OpenRAILs์™€ ๊ฐ™์€ ์ƒˆ๋กœ์šด ์œ ํ˜•์˜ ๋ผ์ด์„ ์Šค๋ฅผ ํ†ตํ•ด ์ž์œ ๋กœ์šด ์ ‘๊ทผ์„ ๋ณด์žฅํ•˜๋ฉด์„œ๋„ ๋ณด๋‹ค ์ฑ…์ž„ ์žˆ๋Š” ์‚ฌ์šฉ์„ ์œ„ํ•œ ์ผ๋ จ์˜ ์ œํ•œ์„ ๋‘˜ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Update on GitHub