การ ดึง url ในหน้าของ url ที่เราใส่เข้าไป มาทั้งหมด โดย Python

แชร์ความรู้ภาษา Python ไพทอน การเขียนโปรแกรมภาษาไพทอน

Moderator: mindphp, ผู้ดูแลกระดาน

ภาพประจำตัวสมาชิก
MBMoo
PHP VIP Members
PHP VIP Members
โพสต์: 25341
ลงทะเบียนเมื่อ: 04/06/2020 10:05 am

การ ดึง url ในหน้าของ url ที่เราใส่เข้าไป มาทั้งหมด โดย Python

โพสต์ที่ยังไม่ได้อ่าน โดย MBMoo »

การ ดึง url ในหน้าของ url ที่เราใส่เข้าไป มาทั้งหมด โดย Python ซึ่งจะใช้คู่กับ Flask ทำง่ายๆ ด้วยการเข้าไปใน url แล้วทำการแปรงให้กลาย เป็น html ด้วน ฟังก์ชั่น BeautifulSoup และ urlopen

โดยเริ่มจากการ import

โค้ด: เลือกทั้งหมด

from urllib.request import urlopen, Request
from bs4 import BeautifulSoup
import re
กำหนด url และทำการอ่านหลังจากนั้นแปรงเป็น html

โค้ด: เลือกทั้งหมด

URL="www.url.com"
 req = Request(URL, headers={
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'})
 html = str(urlopen(req).read())
 soup = BeautifulSoup(html,"html.parser")
ให้ทำการ วนลูปเอา เฉพาะ a ที่เป็น https

โค้ด: เลือกทั้งหมด

for link in soup.find_all('a' ,href=re.compile('^https')):
     print(link.get('href'))

ผลลัพธ์
Python Knowledge-1.png
Python Knowledge-1.png (33.21 KiB) Viewed 1696 times



หากต้องการศึกษาเรื่อง python หรือ Postgres และ psycopg2 เพิ่มเติม สามารถศึกษาได้จากในบนเรียนของ python vdo python
https://www.mindphp.com/vdo-tutorial-python.html
บทเรียน Python
https://www.mindphp.com/%E0%B8%9A%E0%B8 ... ython.html
วิธีการ เพิ่มข้อมูลลงฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67978
วิธีการ แก้ไขข้อมูลในฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67979
วิธีการ ลบข้อมูลออกจากฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67980
วิธีการ สร้างตารางข้อมูลในฐานข้อมูล Postgres ด้วย Module psycopg2 viewtopic.php?f=144&t=67983
  • Similar Topics
    ตอบกลับ
    แสดง
    โพสต์ล่าสุด

ผู้ใช้งานขณะนี้

สมาชิกกำลังดูบอร์ดนี้: ไม่มีสมาชิกใหม่ และบุคลทั่วไป 40