OpenAI Point E: ಒಂದೇ GPU ನಲ್ಲಿ ನಿಮಿಷಗಳಲ್ಲಿ ಸಂಕೀರ್ಣ ತರಂಗರೂಪಗಳಿಂದ 3D ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್ ಅನ್ನು ರಚಿಸಿ

ಹೊಸ ಲೇಖನದಲ್ಲಿ Point-E: ಸಂಕೀರ್ಣ ಸಂಕೇತಗಳಿಂದ 3D ಪಾಯಿಂಟ್ ಮೋಡಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ವ್ಯವಸ್ಥೆ, OpenAI ಸಂಶೋಧನಾ ತಂಡವು Point E ಅನ್ನು ಪರಿಚಯಿಸುತ್ತದೆ, ಇದು 3D ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್ ಟೆಕ್ಸ್ಟ್ ಷರತ್ತುಬದ್ಧ ಸಿಂಥೆಸಿಸ್ ಸಿಸ್ಟಮ್ ಅನ್ನು ಸಂಕೀರ್ಣ ಪಠ್ಯದಿಂದ ನಡೆಸಲ್ಪಡುವ ವೈವಿಧ್ಯಮಯ ಮತ್ತು ಸಂಕೀರ್ಣ 3D ಆಕಾರಗಳನ್ನು ರಚಿಸಲು ಪ್ರಸರಣ ಮಾದರಿಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಸೂಚನೆಗಳು.ಒಂದೇ GPU ನಲ್ಲಿ ನಿಮಿಷಗಳಲ್ಲಿ.
ಇಂದಿನ ಅತ್ಯಾಧುನಿಕ ಚಿತ್ರ ರಚನೆಯ ಮಾದರಿಗಳ ಅದ್ಭುತ ಕಾರ್ಯಕ್ಷಮತೆಯು 3D ಪಠ್ಯ ವಸ್ತುಗಳ ಪೀಳಿಗೆಯಲ್ಲಿ ಸಂಶೋಧನೆಯನ್ನು ಉತ್ತೇಜಿಸಿದೆ.ಆದಾಗ್ಯೂ, 2D ಮಾದರಿಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ನಿಮಿಷಗಳು ಅಥವಾ ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಉತ್ಪಾದಿಸಬಹುದು, ಆಬ್ಜೆಕ್ಟ್ ಉತ್ಪಾದಕ ಮಾದರಿಗಳಿಗೆ ವಿಶಿಷ್ಟವಾಗಿ ಒಂದೇ ಮಾದರಿಯನ್ನು ರಚಿಸಲು ಹಲವಾರು ಗಂಟೆಗಳ GPU ಕೆಲಸದ ಅಗತ್ಯವಿರುತ್ತದೆ.
ಹೊಸ ಲೇಖನದಲ್ಲಿ Point-E: ಸಂಕೀರ್ಣ ಸಂಕೇತಗಳಿಂದ 3D ಪಾಯಿಂಟ್ ಮೋಡಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ವ್ಯವಸ್ಥೆ, OpenAI ಸಂಶೋಧನಾ ತಂಡವು Point·E ಅನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತದೆ, 3D ಪಾಯಿಂಟ್ ಮೋಡಗಳಿಗೆ ಪಠ್ಯದ ಷರತ್ತುಬದ್ಧ ಸಂಶ್ಲೇಷಣೆ ವ್ಯವಸ್ಥೆ.ಈ ಹೊಸ ವಿಧಾನವು ಒಂದು GPU ನಲ್ಲಿ ಕೇವಲ ಒಂದು ನಿಮಿಷ ಅಥವಾ ಎರಡು ನಿಮಿಷಗಳಲ್ಲಿ ಸಂಕೀರ್ಣ ಪಠ್ಯ ಸಂಕೇತಗಳಿಂದ ವೈವಿಧ್ಯಮಯ ಮತ್ತು ಸಂಕೀರ್ಣ 3D ಆಕಾರಗಳನ್ನು ರಚಿಸಲು ಪ್ರಸರಣ ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತದೆ.
ತಂಡವು ಪಠ್ಯವನ್ನು 3D ಗೆ ಪರಿವರ್ತಿಸುವ ಸವಾಲಿನ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸಿದೆ, ಇದು ವರ್ಚುವಲ್ ರಿಯಾಲಿಟಿ ಮತ್ತು ಗೇಮಿಂಗ್‌ನಿಂದ ಕೈಗಾರಿಕಾ ವಿನ್ಯಾಸದವರೆಗಿನ ನೈಜ ಪ್ರಪಂಚದ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗಾಗಿ 3D ವಿಷಯ ರಚನೆಯನ್ನು ಪ್ರಜಾಪ್ರಭುತ್ವಗೊಳಿಸುವಲ್ಲಿ ನಿರ್ಣಾಯಕವಾಗಿದೆ.ಪಠ್ಯವನ್ನು 3D ಗೆ ಪರಿವರ್ತಿಸಲು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ವಿಧಾನಗಳು ಎರಡು ವರ್ಗಗಳಾಗಿ ಬೀಳುತ್ತವೆ, ಪ್ರತಿಯೊಂದೂ ಅದರ ನ್ಯೂನತೆಗಳನ್ನು ಹೊಂದಿದೆ: 1) ಮಾದರಿಗಳನ್ನು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಉತ್ಪಾದಿಸಲು ಉತ್ಪಾದಕ ಮಾದರಿಗಳನ್ನು ಬಳಸಬಹುದು, ಆದರೆ ವೈವಿಧ್ಯಮಯ ಮತ್ತು ಸಂಕೀರ್ಣ ಪಠ್ಯ ಸಂಕೇತಗಳಿಗೆ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಅಳೆಯಲಾಗುವುದಿಲ್ಲ;2) ಸಂಕೀರ್ಣ ಮತ್ತು ವೈವಿಧ್ಯಮಯ ಪಠ್ಯ ಸೂಚನೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಪಠ್ಯ-ಚಿತ್ರದ ಮಾದರಿ, ಆದರೆ ಈ ವಿಧಾನವು ಕಂಪ್ಯೂಟೇಶನಲ್ ಆಗಿ ತೀವ್ರವಾಗಿರುತ್ತದೆ ಮತ್ತು ಮಾದರಿಯು ಅರ್ಥಪೂರ್ಣ ಅಥವಾ ಸುಸಂಬದ್ಧವಾದ 3D ವಸ್ತುಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗದ ಸ್ಥಳೀಯ ಮಿನಿಮಾದಲ್ಲಿ ಸುಲಭವಾಗಿ ಸಿಲುಕಿಕೊಳ್ಳಬಹುದು.
ಆದ್ದರಿಂದ, ತಂಡವು ಮೇಲಿನ ಎರಡು ವಿಧಾನಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸಂಯೋಜಿಸುವ ಗುರಿಯನ್ನು ಹೊಂದಿರುವ ಪರ್ಯಾಯ ವಿಧಾನವನ್ನು ಅನ್ವೇಷಿಸಿತು, ಪಠ್ಯ-ಚಿತ್ರದ ಜೋಡಿಗಳ ದೊಡ್ಡ ಸೆಟ್‌ನಲ್ಲಿ ತರಬೇತಿ ಪಡೆದ ಪಠ್ಯದಿಂದ ಚಿತ್ರಕ್ಕೆ ಪ್ರಸರಣ ಮಾದರಿಯನ್ನು ಬಳಸಿ (ವಿವಿಧ ಮತ್ತು ಸಂಕೀರ್ಣ ಸಂಕೇತಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಅವಕಾಶ ನೀಡುತ್ತದೆ) ಮತ್ತು 3D ಇಮೇಜ್ ಡಿಫ್ಯೂಷನ್ ಮಾದರಿಯು ಚಿಕ್ಕದಾದ ಪಠ್ಯ-ಚಿತ್ರ ಜೋಡಿಗಳ ಮೇಲೆ ತರಬೇತಿ ಪಡೆದಿದೆ.ಚಿತ್ರ-3D ಜೋಡಿ ಡೇಟಾಸೆಟ್.ಟೆಕ್ಸ್ಟ್-ಟು-ಇಮೇಜ್ ಮಾದರಿಯು ಒಂದೇ ಸಿಂಥೆಟಿಕ್ ಪ್ರಾತಿನಿಧ್ಯವನ್ನು ರಚಿಸಲು ಇನ್‌ಪುಟ್ ಇಮೇಜ್ ಅನ್ನು ಮೊದಲು ಸ್ಯಾಂಪಲ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಇಮೇಜ್-ಟು-3D ಮಾದರಿಯು ಆಯ್ಕೆಮಾಡಿದ ಚಿತ್ರದ ಆಧಾರದ ಮೇಲೆ 3D ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್ ಅನ್ನು ರಚಿಸುತ್ತದೆ.
ಕಮಾಂಡ್‌ನ ಉತ್ಪಾದಕ ಸ್ಟಾಕ್ ಪಠ್ಯದಿಂದ ಚಿತ್ರಗಳನ್ನು ಷರತ್ತುಬದ್ಧವಾಗಿ ಉತ್ಪಾದಿಸಲು ಇತ್ತೀಚೆಗೆ ಪ್ರಸ್ತಾಪಿಸಲಾದ ಉತ್ಪಾದಕ ಚೌಕಟ್ಟುಗಳನ್ನು ಆಧರಿಸಿದೆ (ಸೋಲ್-ಡಿಕ್‌ಸ್ಟೈನ್ ಮತ್ತು ಇತರರು, 2015; ಸಾಂಗ್ & ಎರ್ಮನ್, 2020 ಬಿ; ಹೋ ಮತ್ತು ಇತರರು., 2020).ಅವರು 3 ಬಿಲಿಯನ್ ಗ್ಲೈಡ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳೊಂದಿಗೆ ಗ್ಲೈಡ್ ಮಾದರಿಯನ್ನು ಬಳಸುತ್ತಾರೆ (ನಿಕೋಲ್ ಮತ್ತು ಇತರರು, 2021), ರೆಂಡರ್ ಮಾಡಲಾದ 3D ಮಾದರಿಗಳಲ್ಲಿ ಉತ್ತಮವಾಗಿ-ಟ್ಯೂನ್ ಮಾಡಲಾಗಿದೆ, ಅವುಗಳ ಪಠ್ಯದಿಂದ ಚಿತ್ರಕ್ಕೆ ರೂಪಾಂತರ ಮಾದರಿಯಾಗಿ ಮತ್ತು RGB ಪಾಯಿಂಟ್ ಮೋಡಗಳನ್ನು ಉತ್ಪಾದಿಸುವ ಪ್ರಸರಣ ಮಾದರಿಗಳ ಸೆಟ್ ರೂಪಾಂತರ ಮಾದರಿ.ಚಿತ್ರಕ್ಕೆ ಚಿತ್ರಗಳು.3D ಮಾದರಿಗಳು.
ಹಿಂದಿನ ಕೆಲಸವು ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್‌ಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು 3D ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳನ್ನು ಬಳಸಿದರೆ, ಸಂಶೋಧಕರು ದಕ್ಷತೆಯನ್ನು ಸುಧಾರಿಸಲು ಸರಳ ಸಂಜ್ಞಾಪರಿವರ್ತಕ ಆಧಾರಿತ ಮಾದರಿಯನ್ನು (ವಾಸ್ವಾನಿ ಮತ್ತು ಇತರರು, 2017) ಬಳಸಿದ್ದಾರೆ.ಅವುಗಳ ಪ್ರಸರಣ ಮಾದರಿಯ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನಲ್ಲಿ, ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್ ಚಿತ್ರಗಳನ್ನು ಮೊದಲು ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ViT-L/14 CLIP ಮಾದರಿಗೆ ನೀಡಲಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಔಟ್‌ಪುಟ್ ಮೆಶ್‌ಗಳನ್ನು ಮಾರ್ಕರ್‌ಗಳಾಗಿ ಪರಿವರ್ತಕಕ್ಕೆ ನೀಡಲಾಗುತ್ತದೆ.
ತಮ್ಮ ಪ್ರಾಯೋಗಿಕ ಅಧ್ಯಯನದಲ್ಲಿ, ತಂಡವು COCO ಆಬ್ಜೆಕ್ಟ್ ಡಿಟೆಕ್ಷನ್, ಸೆಗ್ಮೆಂಟೇಶನ್ ಮತ್ತು ಸಿಗ್ನೇಚರ್ ಡೇಟಾಸೆಟ್‌ಗಳಿಂದ ಸ್ಕೋರಿಂಗ್ ಸಿಗ್ನಲ್‌ಗಳ ಮೇಲೆ ಇತರ ಉತ್ಪಾದಕ 3D ಮಾದರಿಗಳೊಂದಿಗೆ ಪ್ರಸ್ತಾವಿತ ಪಾಯಿಂಟ್ · ಇ ವಿಧಾನವನ್ನು ಹೋಲಿಸಿದೆ.Point·E ಸಂಕೀರ್ಣ ಪಠ್ಯ ಸಂಕೇತಗಳಿಂದ ವೈವಿಧ್ಯಮಯ ಮತ್ತು ಸಂಕೀರ್ಣ 3D ಆಕಾರಗಳನ್ನು ಉತ್ಪಾದಿಸಲು ಸಮರ್ಥವಾಗಿದೆ ಎಂದು ಫಲಿತಾಂಶಗಳು ದೃಢಪಡಿಸುತ್ತವೆ ಮತ್ತು ಪರಿಮಾಣದ ಒಂದರಿಂದ ಎರಡು ಕ್ರಮಗಳ ಮೂಲಕ ನಿರ್ಣಯ ಸಮಯವನ್ನು ವೇಗಗೊಳಿಸುತ್ತವೆ.ಅವರ ಕೆಲಸವು 3D ಪಠ್ಯ ಸಂಶ್ಲೇಷಣೆಯ ಕುರಿತು ಹೆಚ್ಚಿನ ಸಂಶೋಧನೆಗೆ ಸ್ಫೂರ್ತಿ ನೀಡುತ್ತದೆ ಎಂದು ತಂಡವು ಭಾವಿಸುತ್ತದೆ.
ಯೋಜನೆಯ GitHub ನಲ್ಲಿ ಪೂರ್ವ ತರಬೇತಿ ಪಡೆದ ಪಾಯಿಂಟ್ ಕ್ಲೌಡ್ ಪ್ರಸರಣ ಮಾದರಿ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಕೋಡ್ ಲಭ್ಯವಿದೆ.ಡಾಕ್ಯುಮೆಂಟ್ ಪಾಯಿಂಟ್-ಇ: ಸಂಕೀರ್ಣ ಸುಳಿವುಗಳಿಂದ 3D ಪಾಯಿಂಟ್ ಮೋಡಗಳನ್ನು ರಚಿಸುವ ವ್ಯವಸ್ಥೆಯು arXiv ನಲ್ಲಿದೆ.
ನೀವು ಯಾವುದೇ ಸುದ್ದಿ ಅಥವಾ ವೈಜ್ಞಾನಿಕ ಆವಿಷ್ಕಾರವನ್ನು ಕಳೆದುಕೊಳ್ಳಲು ಬಯಸುವುದಿಲ್ಲ ಎಂದು ನಮಗೆ ತಿಳಿದಿದೆ.ಸಾಪ್ತಾಹಿಕ AI ನವೀಕರಣಗಳನ್ನು ಸ್ವೀಕರಿಸಲು ನಮ್ಮ ಜನಪ್ರಿಯ ಸಿಂಕ್ಡ್ ಗ್ಲೋಬಲ್ AI ಸಾಪ್ತಾಹಿಕ ಸುದ್ದಿಪತ್ರಕ್ಕೆ ಚಂದಾದಾರರಾಗಿ.