Hello
" # 从字符串创建 soup = BeautifulSoup(html, "lxml") # 从文件对象创建 with open("page.html", "r", encoding="utf-8") as f: soup = BeautifulSoup(f, "lxml") # 从 requests 响应创建 import requests resp = requests.get("https://example.com") resp.encoding = resp.apparent_encoding # 修正编码 soup = BeautifulSoup(resp.text, "lxml") ``` --- ### 查找元素 #### find() 返回第一个匹配的 `Tag` 对象，未找到返回 `None`。 | 参数 | 类型 | 默认值 | 说明 | | ---------- | ------------------------------ | ---- | ------------------------- | | name | str / list / re.Pattern / True | — | 标签名，如 "a"、\["a","p"\]、正则 | | attrs | dict | {} | 属性过滤，如 {"class": "title"} | | recursive | bool | True | 是否递归搜索所有后代；False 只搜索直接子节点 | | string | str / re.Pattern | None | 匹配标签的文本内容 | | \*\*kwargs | — | — | 快捷属性过滤，如 class\_="title" | ```python # 按标签名查找 tag = soup.find("p") # 按属性查找（class 是保留字，用 class_） tag = soup.find("p", class_="title") tag = soup.find("p", attrs={"class": "title"}) # 按 id 查找 tag = soup.find(id="main") # 只在直接子节点中查找 tag = soup.body.find("p", recursive=False) # 按文本内容查找 import re tag = soup.find("p", string=re.compile(r"Hello")) ``` #### find\_all() 返回所有匹配的 `Tag` 列表，未找到返回空列表 `[]`。 | 参数 | 类型 | 默认值 | 说明 | | ---------- | ------------------------------ | ---- | -------- | | name | str / list / re.Pattern / True | — | 同 find() | | attrs | dict | {} | 属性过滤 | | recursive | bool | True | 是否递归 | | string | str / re.Pattern | None | 文本内容匹配 | | limit | int | None | 返回结果数量上限 | | \*\*kwargs | — | — | 快捷属性过滤 | ```python # 查找所有 标签 links = soup.find_all("a") # 查找多种标签 tags = soup.find_all(["h1", "h2", "h3"]) # 用正则匹配标签名（匹配所有 h 开头的标签） tags = soup.find_all(re.compile(r"^h\d")) # 限制返回数量 first_five = soup.find_all("p", limit=5) # 查找含特定 class 的所有元素（多 class 时传列表） items = soup.find_all("li", class_="item active") # True 匹配所有带该属性的标签 tags = soup.find_all(href=True) ``` --- ### CSS 选择器 #### select() | 参数 | 类型 | 默认值 | 说明 | | -------- | --- | ---- | -------------------- | | selector | str | — | CSS 选择器字符串 | | limit | int | None | 返回结果数量上限（bs4 4.x 支持） | #### select\_one() | 参数 | 类型 | 默认值 | 说明 | | -------- | --- | --- | ------------------------ | | selector | str | — | CSS 选择器字符串，返回第一个匹配或 None | ```python # 类选择器 items = soup.select(".item") # ID 选择器 main = soup.select_one("#main") # 后代选择器 links = soup.select("div.content a") # 直接子元素 cells = soup.select("table > tr > td") # 属性选择器 inputs = soup.select('input[type="text"]') # 伪类（部分版本支持） first = soup.select_one("li:first-child") # 多选择器 tags = soup.select("h1, h2, h3") ``` --- ### 属性访问 ```python tag = soup.find("a") # 标签名 print(tag.name) # "a" # 所有属性（dict） print(tag.attrs) # {"href": "https://...", "class": ["nav", "link"]} # 获取属性值（不存在时抛 KeyError） print(tag["href"]) # 安全获取（不存在返回 None 或默认值） print(tag.get("href")) print(tag.get("data-id", "")) # class 属性始终返回列表 print(tag["class"]) # ["nav", "link"] # 修改属性 tag["href"] = "https://new-url.com" del tag["class"] ``` --- ### 文本提取 `tag.string` 和 `tag.text` 行为有细微差别，需注意区分。 ```python tag = soup.find("p") # string：当且仅当标签只有一个直接文本子节点时有值，否则为 None print(tag.string) # text（等同于 get_text()）：递归拼接所有文本 print(tag.text) ``` #### get\_text() | 参数 | 类型 | 默认值 | 说明 | | --------- | ----- | ------------------ | ------------ | | separator | str | "" | 多个文本节点之间的分隔符 | | strip | bool | False | 是否去除每段文本首尾空白 | | types | tuple | (NavigableString,) | 参与拼接的节点类型 | ```python # 用换行符分隔，去除首尾空白 text = tag.get_text(separator="\n", strip=True) # 只获取直接文本（不含子标签） from bs4 import NavigableString direct = "".join( str(child) for child in tag.children if isinstance(child, NavigableString) ).strip() ``` --- ### 树形导航 ```python tag = soup.find("p") # 父节点（单个 Tag） print(tag.parent) # 所有祖先（生成器） for ancestor in tag.parents: print(ancestor.name) # 直接子节点（生成器，包含 NavigableString） for child in tag.children: print(child) # 所有后代（生成器） for desc in tag.descendants: print(desc) # 下一个同级节点（可能是 NavigableString 空白） print(tag.next_sibling) print(tag.previous_sibling) # 跳过空白，获取下一个同级 Tag print(tag.find_next_sibling("p")) print(tag.find_previous_sibling("p")) # 文档顺序的下一个节点 print(tag.next_element) print(tag.previous_element) ``` --- ### NavigableString 与 Tag 的区别 | 特性 | Tag | NavigableString | | ---------- | --------------------- | --------------------------------- | | 含义 | HTML/XML 标签节点 | 标签内的纯文本节点 | | str() | 返回含标签的 HTML 字符串 | 返回纯文本 | | tag.string | 返回唯一文本子节点 | 本身即字符串内容 | | 是否可迭代 | 可（迭代子节点） | 不可迭代 | | 类型判断 | isinstance(node, Tag) | isinstance(node, NavigableString) | ```python from bs4 import Tag, NavigableString for child in soup.body.children: if isinstance(child, Tag): print(f"标签: {child.name}") elif isinstance(child, NavigableString): text = child.strip() if text: print(f"文本: {text}") ``` --- ### 修改文档树 ```python # append：在子节点末尾追加 new_tag = soup.new_tag("span", attrs={"class": "badge"}) new_tag.string = "NEW" tag.append(new_tag) # insert：在指定位置插入（0 为最前） tag.insert(0, soup.new_tag("b")) # replace_with：用新内容替换整个节点 tag.replace_with(soup.new_tag("div")) # decompose：从树中移除并销毁节点 tag.decompose() # extract：从树中移除并返回节点（可再利用） removed = tag.extract() ``` --- ## lxml ### 解析 HTML ```python from lxml import html # 从字符串解析 tree = html.fromstring("Hello
") # 从 URL 解析（内部使用 urllib） tree = html.parse("https://example.com").getroot() # 配合 requests import requests resp = requests.get("https://example.com") tree = html.fromstring(resp.content) # 传 bytes，让 lxml 自行处理编码 # 获取根元素 doc = html.document_fromstring(resp.content) ``` ### XPath 选择 `element.xpath(expr)` 返回列表，元素可以是 `HtmlElement` 或字符串（取决于表达式）。 #### 常用 XPath 表达式速查 | 表达式 | 说明 | 示例 | | ---------------------------- | --------------------- | --------------------------------- | | //tag | 文档任意位置的标签 | //a | | /tag | 根节点的直接子标签 | /html/body | | ./tag | 当前节点的直接子标签 | ./td | | .//tag | 当前节点的所有后代标签 | .//span | | @attr | 属性值 | //a/@href | | \[@attr\] | 含该属性的节点 | //img\[@src\] | | \[@attr='val'\] | 属性等于某值 | //div\[@id='main'\] | | \[contains(@attr,'val')\] | 属性包含某子串 | //div\[contains(@class,'item')\] | | \[starts-with(@attr,'val')\] | 属性以某值开头 | //a\[starts-with(@href,'https')\] | | text() | 文本节点 | //p/text() | | normalize-space() | 去除多余空白 | normalize-space(//title/text()) | | \[position()=1\] / \[1\] | 第一个元素（XPath 下标从 1 开始） | (//tr)\[1\] | | last() | 最后一个 | //tr\[last()\] | | \[position()>1\] | 跳过第一个 | //tr\[position()>1\] | | parent::\* | 父节点 | //td\[@class='price'\]/parent::tr | | following-sibling::tag | 后续同级节点 | //dt/following-sibling::dd\[1\] | | \| | 并集（多路径） | //h1\|//h2 | ```python from lxml import html import requests resp = requests.get("https://example.com") tree = html.fromstring(resp.content) # 获取所有链接的 href hrefs = tree.xpath("//a/@href") # 获取含特定 class 的 div 下的文本 texts = tree.xpath("//div[contains(@class,'content')]//p/text()") # 获取表格所有行（跳过表头） rows = tree.xpath("//table[@id='data']//tr[position()>1]") for row in rows: cells = row.xpath(".//td/text()") print(cells) # 用 re:test 匹配（需注册命名空间） # lxml 支持 EXSLT 扩展函数 results = tree.xpath( "//a[re:test(@href, r'product/\d+')]", namespaces={"re": "http://exslt.org/regular-expressions"} ) ``` ### CSS 选择器（lxml.cssselect） ```python from lxml import html from lxml.cssselect import CSSSelector tree = html.fromstring(content) # 方式一：直接用 cssselect 方法 items = tree.cssselect("div.item > a.title") # 方式二：预编译选择器（多次使用时性能更好） sel = CSSSelector("table.data tr td:nth-child(2)") cells = sel(tree) ``` ### etree.tostring() 将 Element 序列化回字符串。 | 参数 | 类型 | 默认值 | 说明 | | ---------------- | ---------- | ------- | -------------------------------- | | element | Element | — | 要序列化的元素 | | encoding | str / type | "ASCII" | 输出编码；传 "unicode" 返回 str 而非 bytes | | method | str | "xml" | 序列化方式："xml" / "html" / "text" | | pretty\_print | bool | False | 是否格式化缩进输出 | | with\_tail | bool | True | 是否包含元素的 tail 文本 | | xml\_declaration | bool | False | 是否添加 XML 声明头 | ```python from lxml import etree, html tree = html.fromstring("Hello World