การ ดึง url ในหน้าของ url ที่เราใส่เข้าไป มาทั้งหมด โดย Python

แชร์ความรู้ภาษา Python ไพทอน การเขียนโปรแกรมภาษาไพทอน

Moderators: mindphp, ผู้ดูแลกระดาน

bolue
PHP Super Hero Member
PHP Super Hero Member
Posts: 677
Joined: 04/06/2020 10:05 am

การ ดึง url ในหน้าของ url ที่เราใส่เข้าไป มาทั้งหมด โดย Python

Post by bolue »

การ ดึง url ในหน้าของ url ที่เราใส่เข้าไป มาทั้งหมด โดย Python ซึ่งจะใช้คู่กับ Flask ทำง่ายๆ ด้วยการเข้าไปใน url แล้วทำการแปรงให้กลาย เป็น html ด้วน ฟังก์ชั่น BeautifulSoup และ urlopen

โดยเริ่มจากการ import

Code: Select all

from urllib.request import urlopen, Request
from bs4 import BeautifulSoup
import re
กำหนด url และทำการอ่านหลังจากนั้นแปรงเป็น html

Code: Select all

URL="www.url.com"
 req = Request(URL, headers={
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'})
 html = str(urlopen(req).read())
 soup = BeautifulSoup(html,"html.parser")
ให้ทำการ วนลูปเอา เฉพาะ a ที่เป็น https

Code: Select all

for link in soup.find_all('a' ,href=re.compile('^https')):
     print(link.get('href'))

ผลลัพธ์
Python Knowledge-1.png
Python Knowledge-1.png (33.21 KiB) Viewed 151 times



หากต้องการศึกษาเรื่อง python หรือ Postgres และ psycopg2 เพิ่มเติม สามารถศึกษาได้จากในบนเรียนของ python vdo python
https://www.mindphp.com/vdo-tutorial-python.html
บทเรียน Python
https://www.mindphp.com/%E0%B8%9A%E0%B8 ... ython.html
วิธีการ เพิ่มข้อมูลลงฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67978
วิธีการ แก้ไขข้อมูลในฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67979
วิธีการ ลบข้อมูลออกจากฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67980
วิธีการ สร้างตารางข้อมูลในฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67983

  • Similar Topics
    Replies
    Views
    Last post

Return to “Python Knowledge”

Who is online

Users browsing this forum: No registered users and 1 guest