Fix rendering non-ASCII text with links

* lisp/gnus/mm-view.el (mm-text-html-renderer-alist): Add a new
form for links.
(mm-links-remove-leading-blank): Make obsolete.
(mm-inline-wash-with-file):
(mm-inline-render-with-file): Make obsolete -- they were awkwardly
defined and only used with links.
(mm-inline-render-with-links): New function.

Add new macro with-environment-variables

* doc/lispref/os.texi (System Environment): Document it.

* lisp/env.el (with-environment-variables): New macro.

Revert "; Fix capitalization of F1..F12 keys in docs"

This reverts commit fe5b20410f68546821e6c87577d7f826167491dc.

This change was not correct; these are Lisp symbols that should be in
lower-case.  Problem reported by Mattias Engdegård <mattiase@acm.org>.

; Bump seq version to 2.23

Revert part of previous doc fix

* lisp/emacs-lisp/derived.el (define-derived-mode): Revert part of
previous doc fix.  This change made the text confusing.  (Bug#17567)

* lisp/tab-bar.el (tab-bar-new-tab-to): Use ignore-window-parameters.

Suggested by Adam Porter <adam@alphapapa.net> in
https://lists.gnu.org/archive/html/emacs-devel/2021-09/msg01758.html

* lisp/tab-line.el: Add modified-buffer face

(tab-line-tab-modified): New face.
(tab-line-tab-face-modified): New function.
(tab-line-tab-face-functions): Use new function.

* etc/NEWS: Update.

; Fix capitalization of F1..F12 keys in docs

* doc/emacs/custom.texi (Function Keys):
* doc/misc/edt.texi (Unix):
* doc/misc/idlwave.texi (Custom Expression Examination):
* doc/misc/viper.texi (Improved Search, Vi Macros): Fix
capitalization of F1..F12 keys.

; * lisp/wid-edit.el (natnum): rectify tag string

Fix byte-compiler crash for legal dynamic-binding code

This should really be taken care of by a syntax normalisation step in
the frontend, but there is no such step for non-lexbind code yet.

* lisp/emacs-lisp/byte-opt.el (byte-optimize-letX): Tolerate bindingsa
without initialising expressions.
* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-tests--test-cases):
Add test cases.

; * doc/emacs/help.texi (Misc Help): @key{f1} -> @key{F1}

Constant-propagate variables bound outside loops

Previously, variables bound outside `while` loops were not substituted
inside even in the absense of mutation.  Add the necessary mutation
checking inside loops to allow propagation of values and aliased
variables.

* lisp/emacs-lisp/byte-opt.el
(byte-optimize--inhibit-outside-loop-constprop): New variable.
(byte-optimize-form-code-walker): First traverse each loop without
substitution to discover mutation, then without restrictions.
* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-test-loop): New.
(bytecomp-tests--test-cases): Add test cases.

; Remove various duplicated words

* doc/lispref/searching.texi (Extending Rx):
* doc/lispref/strings.texi (Creating Strings):
* doc/misc/modus-themes.org (Measure color contrast (DIY)):
* etc/NEWS:
* lisp/find-file.el (ff-find-other-file):
* lisp/gnus/gnus-group.el (gnus-group-suspend):
* lisp/progmodes/cc-langs.el (c-ml-string-any-closer-re):
* lisp/progmodes/flymake.el (flymake-list-only-diagnostics):
* lisp/progmodes/xref.el (xref--group-name-for-display):
* lisp/transient.el (transient-child, transient-files)
(transient-infix-value):
* src/alloc.c:
* src/regex-emacs.c (regex_compile):

Remove duplicate words in comments, documentation etc.

Use ambient lexical-binding value in ert-deftest body (bug#50738)

* lisp/emacs-lisp/ert.el (ert-deftest):
Evaluate the body of `ert-deftest` with the `lexical-binding` value of
the source file (or more precisely the value in force when the
definition is evaluated), which is what everyone expected, instead of
always using dynamic binding which is what they got until now.
* test/lisp/emacs-lisp/ert-tests.el
(ert-test-deftest-lexical-binding-t): New test.

Renege on anonymous &rest (bug#50268, bug#50720)

Allowing &rest without a variable name following turned out not to be
very useful, and it never worked properly.  Disallow it.

* lisp/emacs-lisp/bytecomp.el (byte-compile-check-lambda-list):
* src/eval.c (funcall_lambda):
Signal error for &rest without variable name.
* doc/lispref/functions.texi (Argument List): Adjust manual.
* etc/NEWS (file): Announce.
* test/src/eval-tests.el (eval-tests--bugs-24912-and-24913):
Extend test, also checking with and without lexical binding.
(eval-tests-accept-empty-optional-rest): Reduce to...
(eval-tests-accept-empty-optional): ...this, again checking
with and without lexical binding.

Clarify define-derived-mode docstring

* lisp/emacs-lisp/derived.el (define-derived-mode): Doc fixes;
correctly mention that the mode name is used in the mode line, clarify
argument types, and how the mode hook is named.  (Bug17567)

(derived-mode-hook-name, derived-mode-map-name)
(derived-mode-syntax-table-name, derived-mode-abbrev-table-name):
Clarify that argument is a symbol.

; Fix typo in ert.texi

Add myself as rcirc maintainer

* rcirc.el (rcirc-sentinel): Use process-status

* rcirc.texi (Using rcirc with bouncers): Remove confusing sentence

* rcirc.el (rcirc-reconnect): Use rcirc-reconnect-delay

* rcirc.el (rcirc-reconnect): Set rcirc-joined

* lisp/isearch.el (isearch-forward-regexp): Doc fix.  (Bug22483)

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

; Another minor improvement in ERT manual

* doc/misc/ert.texi (Running Tests Interactively): State the
function run by each key, per conventions.

Minor clarification of define-minor-mode :keymap argument

* lisp/emacs-lisp/easy-mmode.el (define-minor-mode): Minor doc fix;
clarify by saying that ":keymap" should be an "unquoted variable
name".  (Bug#25505)

; * doc/misc/ert.texi (Running Tests Interactively): Fix markup.

Buttonize functions in curved quotes in ERC

* lisp/erc/erc-button.el (erc-button-alist): Buttonize Emacs
functions in curved quotes.  (Bug#49964)

Extend and improve ERT manual section on running interactively

* doc/misc/ert.texi (Running Tests Interactively): Format commands in
a table, improve indexing, and add several missing
commands.  (Bug#41829)

; * lisp/mh-e/mh-scan.el: re-order variables to be actually alphabetical

Update mh-scan regexp to match mh-note-allowlisted

lisp/mh-e/mh-scan.el (mh-scan-good-msg-regexp, mh-scan-cmd-note-width):
Update to match new value ("A") of mh-note-allowlisted.

; Fix omission in recent CONTRIBUTE doc change.

; More instrumentation in autorevert-tests.el

Document the new paren-space indentation rule

* doc/emacs/programs.texi (Lisp Indent): Mention the new
paren-space indentation rule.

Some NEWS tagging

'xref-search-program'-related doc string fixes

* lisp/progmodes/xref.el (xref-search-program): Mention what this
variable controls.
(xref-matches-in-files): Mention the variables that controls it.

Document the 'string' thingatpt target

* doc/lispref/text.texi (Buffer Contents): Mention the 'string'
target.

Fix cursor motion around some Emoji sequences

* src/character.h: Add TAG_SPACE and CANCEL_TAG to known Unicode
characters values.
* src/composite.c (char_composable_p): Recognize TAG characters
relevant to Emoji as composable regardless of their General
Category.  (Bug#39799)

; Improve text about 'CONTRIBUTE'

* doc/emacs/trouble.texi (Contributing): Expand the
recently-changed text.

Use explicit man-page section in references

* lisp/dired-aux.el (dired-do-chmod): Use explicit man-page
section in the doc string.  This avoids inadvertently showing
the wrong man page, when several identically-named pages are
possible in different sections.  E.g., there's also chmod(2).

; Improve recently added documentation

* etc/NEWS:
* doc/lispref/tips.texi (Documentation Tips): Improve and clarify
recently-added documentation of man page references.

save-some-buffers-root doc string change

* lisp/files.el (save-some-buffers-root): Improve doc string.

Do some NEWS tagging

Document redisplay-skip-fontification-on-input

* doc/emacs/display.texi (Scrolling): Mention
redisplay-skip-fontification-on-input.

; * doc/misc/gnus.texi (Gnus Registry Setup): Fix missing parenthesis.

; tramp-auto-save-directory: set mode atomically when creating

* lisp/net/tramp.el (tramp-handle-make-auto-save-file-name):
Use with-file-modes around make-directory.  We can do this because
Tramp now honors default file modes in make-directory.

Add new user option ispell-help-timeout

* lisp/textmodes/ispell.el (ispell-help-timeout): New user option.
(ispell-help): Use it.

Set :type of suggest-key-bindings to natnum

* lisp/simple.el (suggest-key-bindings): Set :type to
natnum.  (Bug#15809)

New :type natnum for defcustom

* lisp/wid-edit.el (natnum): New widget type.  (Bug#15809)
* doc/lispref/customize.texi (Simple Types): Document it.

* lisp/dired-aux.el (dired-do-chmod): Simplify docstring.

Add support for man page hyperlinks in doc strings

* lisp/help-mode.el (help-man): New button type.
(help-xref-man-regexp): New const.
(help-make-xrefs): Use them to allow making man page buttons.
* doc/lispref/tips.texi (Documentation Tips): Document the new
hyperlink type.  (Bug#39215)

Fix some instances in the Emacs manual with misleading prefix syntax

* doc/emacs/msdos.texi (Windows Keyboard):
* doc/emacs/misc.texi (Editing Binary Files):
* doc/emacs/macos.texi (Mac / GNUstep Events):
* doc/emacs/kmacro.texi (Basic Keyboard Macro):
* doc/emacs/glossary.texi (Glossary):
* doc/emacs/fixit.texi (Spelling): Fix some instances where the
syntax seems to imply we're talking about a prefix key (bug#50792).

Make 'C-u C-x v v' handle unregistered files.

* lisp/vc/vc.el (vc-next-action): Make 'C-u C-x v v' handle
unregistered files (bug#50602).

Mention the 'r' key in ask-user-about-supersession-help

* lisp/userlock.el (ask-user-about-supersession-help): Replace "n, and
then M-x revert-buffer" in the help message with "r", which does the
same thing.  (Bug#50780)

Indent bodies of local function definitions properly in elisp-mode

* lisp/emacs-lisp/lisp-mode.el (lisp-indent-function): Check for
local defforms (`cl-flet' and `cl-labels').
(lisp--local-defform-body): New auxiliary function (bug#9622).

Clarify where to find CONTRIBUTE

* doc/emacs/trouble.texi (Contributing): Say that CONTRIBUTE is
found in the development version of Emacs.  (Bug#37414)

Use gzip to uncompess .xz files on MacOS

* lisp/jka-cmpr-hook.el (jka-compr-compression-info-list): Use
gzip to uncompess .xz files on MacOS (bug#29235).

Use `temporary-file-directory' in `with-existing-directory'

* lisp/subr.el (with-existing-directory): Use
`temporary-file-directory' over TMPDIR.

Fix alignment on font size change in tabulated-list-mode

* lisp/emacs-lisp/tabulated-list.el (tabulated-list-print-col): Fix
bug where the columns didn't align correctly when using
'text-scale-mode' to decrease the font size.  (Bug#48639)

Doc fix; cl-random is only pseudo-random

* lisp/emacs-lisp/cl-extra.el (cl-random): Doc fix; say it's only
pseudo-random.

checkdoc: Don't ask to disambiguate mode names

* lisp/emacs-lisp/checkdoc.el (checkdoc-this-string-valid-engine):
Don't ask to disambiguate mode names.  (Bug#4110)

Fix recently introduced bug in checkdoc

* lisp/emacs-lisp/checkdoc.el (checkdoc-in-abbreviation-p): Fix
recently introduced bug where some abbreviations weren't recognized.
* test/lisp/emacs-lisp/checkdoc-tests.el
(checkdoc-tests-in-abbrevation-p/basic-case): Extend test.

Revert change to use seq-random-elt in Tramp test

* test/lisp/net/tramp-tests.el (tramp-test44-asynchronous-requests):
Revert change to use seq-random-elt, as Tramp needs to be compatible
with Emacs 25, and the function was only added in 26.1.

checkdoc: Improve wide line warning to decrease false positives

* lisp/emacs-lisp/checkdoc.el (checkdoc-this-string-valid-engine):
Respect 'byte-compile-docstring-max-column' if it is set.  Allow the
first line to be three characters longer than the others to account
for indentation and the opening string character.

Use command substitution instead of raw keys in more places

* admin/authors.el (authors):
* lisp/abbrev.el (abbrev-suggest-show-report):
* lisp/calc/calc.el (calc-display-trail, calc):
* lisp/completion.el (completion-locate-db-error):
* lisp/dired-x.el (dired-extra-startup):
* lisp/emacs-lisp/package.el (package-install-selected-packages):
* lisp/emulation/viper.el (viper-mode):
* lisp/facemenu.el (list-colors-display):
* lisp/mail/emacsbug.el (report-emacs-bug-hook):
* lisp/mail/sendmail.el (mail):
* lisp/menu-bar.el (menu-bar-mode):
* lisp/org/org.el (org-revert-all-org-buffers):
* lisp/progmodes/antlr-mode.el (antlr-help-rules-intro)
(antlr-insert-makefile-rules):
* lisp/progmodes/gdb-mi.el (gdb--check-interpreter):
* lisp/progmodes/xscheme.el (xscheme-process-sentinel):
* lisp/ps-print.el (ps-font-info-database):
* lisp/recentf.el (recentf-edit-list, recentf-open-files):
* lisp/vc/ediff-util.el (ediff-suspend):
* lisp/vc/pcvs.el (cvs-mode):
* lisp/vc/vc-bzr.el (vc-bzr-dir-extra-headers): Use command
substitution.

Prefer seq-random-elt to nth+random

* lisp/emacs-lisp/seq.el (seq-random-elt): Autoload.
* lisp/avoid.el (mouse-avoidance-random-shape):
* lisp/epa-ks.el (epa-ks--query-url):
* lisp/erc/erc-networks.el (erc-server-select):
* lisp/gnus/gnus-fun.el (gnus--random-face-with-type)
(gnus-fun-ppm-change-string):
* lisp/net/soap-inspect.el (soap-sample-value-for-xs-simple-type):
* lisp/obsolete/landmark.el (landmark-random-move):
* lisp/play/mpuz.el (mpuz-build-random-perm):
* lisp/play/zone.el (zone-pgm-stress):
* lisp/vc/add-log.el (add-change-log-entry):
* test/lisp/net/tramp-tests.el
(tramp-test44-asynchronous-requests): Prefer seq-random-elt to
nth+random.

Fix auto-revert-test05-global-notify

* test/lisp/autorevert-tests.el (auto-revert-test05-global-notify):
Adapt test for killed buffer.

; * doc/misc/tramp.texi: Grammar fixes for process-connection-type

; * etc/NEWS: improve some recently added entries

Generate skin tone compositions from emoji-sequences.txt

Read skin tone modifier sequences from emoji-sequences.txt and add
them to the per-character composition rules derived from
emoji-zwj-sequences.txt, rather than adding them as lookback rules for
the skin tone modifiers.  This avoids an issue with the application of
such lookback rules.  See Bug#39799,
specifically
<https://lists.gnu.org/archive/html/bug-gnu-emacs/2021-09/msg01878.html>
for more details.

* admin/unidata/Makefile.in (zwj): Add emoji-sequences.txt as a dependency.
* admin/unidata/emoji-zwj.awk: Match RGI_Emoji_ZWJ_Sequence and
RGI_Emoji_Modifier_Sequence.  Remove manual addition of skin tone
composition rules with lookback.

Add a few more missing emoji overrides

* admin/unidata/blocks.awk: Add some more emoji overrides.

Move compose-gstring-for-variation-glyph

It logically belongs in composite.el, not japanese.el

* lisp/language/japanese.el (compose-gstring-for-variation-glyph):
Remove from here.
* lisp/composite.el (compose-gstring-for-variation-glyph): And add here.

Update provenance comment in charscript.el

* admin/unidata/blocks.awk: Update comment about sources used to
generate charscript.el.

; * etc/NEWS: Fix a recently modified entry.

; * etc/NEWS: Fix typo.

; * lisp/emacs-lisp/checkdoc.el (checkdoc-in-abbreviation-p): Doc fix.

; Instrument autorevert-tests.el

; * doc/emacs/glossary.texi (Glossary): Improve the "symbol" entry.

* lisp/gnus/mm-uu.el (mm-uu-type-alist): Add markdown-diff/-emacs-sources

(Bug#50763)

New thing-at-point target 'string' used in context-menu-region

* lisp/mouse.el (context-menu-region): Use separate "List" and "String".

* lisp/thingatpt.el (string): New target 'string'.
(thing-at-point-bounds-of-string-at-point): New function.
(thing-at-point-bounds-of-list-at-point): Revert previous commit
by removing optional args 'escape-strings' and 'no-syntax-crossing'.
(list-or-string): Remove recently added target 'list-or-string'.
(thing-at-point-bounds-of-list-or-string-at-point): Remove function.
https://lists.gnu.org/archive/html/emacs-devel/2021-09/msg01737.html

Pacify recent warnings in ansi-color-tests.el

* test/lisp/ansi-color-tests.el: Remove invalid package keyword
'ansi', and unused dependency on cl-lib.
(yellow, bright-yellow): Replace prefix-less dynvars with
corresponding local lexvars.
(test-strings): Rename prefix-less dynvar...
(ansi-color-tests--strings): ...to this.  All users updated.
(ansi-color-apply-on-region-test)
(ansi-color-apply-on-region-bold-is-bright-test): Simplify.
(ansi-color-apply-on-region-preserving-test): Reindent.

Add `info-lookup-symbol' to the menu

* lisp/menu-bar.el (menu-bar-search-documentation-menu): Add entry
for `info-lookup-symbol' (bug#50759).

Add s Symbol entry in the glossary

* doc/emacs/glossary.texi (Glossary): Add an entry for Symbol
(bug#50760).

Do not count git markers as "deleted lines"

* lisp/vc/diff-mode.el (diff-fixup-modifs): Skip "end of patch"
markers that `git-format-patch` leaves around (bug#50761).

Fix problems with 'C-c C-n' in sh-script-mode

* lisp/progmodes/sh-script.el (sh-shell-process): If a *shell* buffer
doesn't exist, 'C-c C-n' creates one and displays it.  This patch
prevents it from being displayed in the selected window.
Additionally, it ensures that the local `sh-shell-process' variable is
set in the correct buffer (bug#50765).

checkdoc: Add abbreviation and simplify

* lisp/emacs-lisp/checkdoc.el (checkdoc-in-abbreviation-p): Add
abbreviation "a.k.a.".  Simplify.

Fix typo in previous man.el change

* lisp/man.el (Man-ansi-color-map): Fix typo in last checkin.

Add support for "bright" ANSI colors in term-mode

* list/term.el (ansi-term-color-vector): Add new faces.
(term-color-black, term-color-red, term-color-green, term-color-yellow)
(term-color-blue, term-color-magenta, term-color-cyan, term-color-white):
Inherit from 'ansi-color-COLOR'.
(term-color-bright-black, term-color-bright-red, term-color-bright-green)
(term-color-bright-yellow, term-color-bright-blue)
(term-color-bright-magenta, term-color-bright-cyan)
(term-color-bright-white): New faces.
(term--maybe-brighten-color): New function.
(term-handle-colors-array): Handle bright colors.
* test/lisp/term-tests.el (term-colors, term-colors-bold-is-bright):
New functions.

Add support for "bright" ANSI colors in ansi-color

* lisp/ansi-color.el (ansi-color-bold, ansi-color-faint, ansi-color-italic)
(ansi-color-underline, ansi-color-slow-blink, ansi-color-fast-blink)
(ansi-color-inverse, ansi-color-red, ansi-color-green, ansi-color-yellow)
(ansi-color-blue, ansi-color-magenta, ansi-color-cyan, ansi-color-white)
(ansi-color-bright-red, ansi-color-bright-green, ansi-color-bright-yellow)
(ansi-color-bright-blue, ansi-color-bright-magenta, ansi-color-bright-cyan)
(ansi-color-bright-white): New faces.
(ansi-color-basic-faces-vector, ansi-color-normal-colors-vector)
(ansi-color-bright-colors-vector): New constants.
(ansi-color-faces-vector, ansi-color-names-vector): Make obsolete.
(ansi-color-bold-is-bright): New defcustom.
(ansi-color--find-face): Sort ANSI codes and check
'ansi-color-bold-is-bright'.
(ansi-color-apply-sequence): Support bright ANSI colors.
(ansi-color-make-color-map, ansi-color-map, ansi-color-map-update):
Make obsolete.
(ansi-color-get-face-1): Add BRIGHT parameter.
* lisp/man.el (Man-ansi-color-basic-faces-vector): New variable.
(Man-ansi-color-map): Make obsolete.
(Man-fontify-manpage): Use 'Man-ansi-color-basic-faces-vector' here.
* test/lisp/ansi-color-tests.el
(ansi-color-apply-on-region-bold-is-bright-test): New function.

Avoid jumping too far in checkdoc-in-abbreviation-p

* lisp/emacs-lisp/checkdoc.el (checkdoc-in-abbreviation-p): Use
'forward-ward' instead of 'forward-sexp' to avoid jumping too far in
some situations.  (Bug#50731)

* test/lisp/emacs-lisp/checkdoc-tests.el
(checkdoc-tests--abbrev-test): New helper function.
(checkdoc-tests-in-abbrevation-p/basic-case): Rename from
'checkdoc-tests-in-abbrevation-p'.
(checkdoc-tests-in-abbrevation-p/with-parens)
(checkdoc-tests-in-abbrevation-p/with-escaped-parens): Use above new
helper function.
(checkdoc-tests-in-abbrevation-p/single-char)
(checkdoc-tests-in-abbrevation-p/with-em-dash)
(checkdoc-tests-in-abbrevation-p/incorrect-abbreviation): New tests.

Handle updates flags when setting flags

* nnmaildir.el (nnmaildir--article-set-flags): Handle updated flags
  more gracefully

A bit less overhead when converting hits

* lisp/progmodes/xref.el (xref--collect-matches):
Move 'remote-id' and 'syntax-needed' definitions to the caller
function.  Bind 'inhibit-modification-hooks' to t (bug#50733).

; Fix recently installed documentation

* etc/NEWS:
* lisp/thingatpt.el
(thing-at-point-bounds-of-list-or-string-at-point): Clarify
wording of the documentation of 'list-or-string'.

More per-match overhead reduction

* lisp/progmodes/xref.el (xref--show-common-initialize)
(xref-revert-buffer): Inhibit modification hooks (bug#50733).
(xref--insert-xrefs): Cosmetics (no measurable difference here).

xref-matches-in-files: Decrease per match and per group overhead

* lisp/progmodes/xref.el (xref-search-program-alist):
Add '--null' argument for slightly faster parsing and probably
better behavior with weirder file names.
(xref--alistify): Don't accept TEST argument, use 'assoc' instead
of 'cl-assoc', use a tash table during sorting (bug#50733).

Fix string-distance for two empty strings

* fns.c (Fstring_distance): Avoid using uninitialized memory.
* test/src/fns-tests.el (test-string-distance): Add test cases.

* lisp/mouse.el (context-menu-region): Use save-excursion for syntax-ppss.

New thing-at-point target 'list-or-string' used in context-menu-region

* lisp/mouse.el (context-menu-region): Rearrange the order to
All>Defun>List>Line>Symbol.  Show title either "List" or "String"
depending on syntax-ppss, then use thing 'list-or-string' (bug#9054).

* lisp/thingatpt.el (thing-at-point-bounds-of-list-at-point): Add optional
args 'escape-strings' and 'no-syntax-crossing' like in 'up-list'.
(list-or-string): New target 'list-or-string'.
(thing-at-point-bounds-of-list-or-string-at-point): New function.

* lisp/outline.el (outline-minor-mode-cycle-filter): New defcustom (bug#50679)

(outline-minor-mode-cycle--bind): New helper function.
(outline-minor-mode-cycle-map): Rename from outline-mode-cycle-map.
(outline-mode-map): Revert part of 6458e16f33 to disassociate
keymaps outline-mode-map and outline-minor-mode-cycle-map.
(outline-font-lock-keywords, outline-minor-mode-highlight-buffer):
Use outline-minor-mode-cycle-map instead of outline-mode-cycle-map.

* lisp/help.el (describe-bindings): Rename outline-mode-cycle-map
to outline-minor-mode-cycle-map.

; * lisp/progmodes/verilog-mode.el: Untabify doc-strings.