Add support for OSC escape codes in comint

* doc/emacs/misc.texi (Shell Mode): Document it.

* lisp/comint.el (comint-osc-handlers, comint-osc--marker): New
variables.
(comint-osc-process-output): New function.
(comint-osc-hyperlink-map): New map.
(comint-osc-hyperlink-handler): New function.

Fix up deleting auto-save/killing buffer wrt. `auto-save-visited-mode'

* src/buffer.c (Fkill_buffer): Respect `auto-save-visited-mode'.

Further checks for kill-buffer-delete-auto-save-files

* src/buffer.c (Fkill_buffer): Check that the auto-save file
exists before asking whether to delete it.

Fix up previous conf-mode/tex-mode redirection hacks

* lisp/textmodes/conf-mode.el (conf-mode):
* lisp/textmodes/tex-mode.el (tex--redirect-to-submode): The
previous hack to these redirections would disable all local
variables.  Try to work around this a bit more.

Some precisements in Tramp's connection type handling

* doc/misc/tramp.texi (Remote processes): Precise connection type
handling.

* lisp/net/tramp-adb.el (tramp-adb-handle-make-process):
* lisp/net/tramp-sh.el (tramp-sh-handle-make-process):
* lisp/net/tramp.el (tramp-handle-make-process):
Fix :connection-type handling.
(tramp-action-show-and-confirm-message): Pacify byte compiler.

* lisp/net/tramp-compat.el (tramp-compat-ignore-error): New defmacro.

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process)
(tramp-test30-make-process): Extend tests.

* lisp/mouse.el (context-menu-mode-map): Bind [menu] to context-menu-open.

https://lists.gnu.org/archive/html/emacs-devel/2021-08/msg01004.html

* lisp/mouse.el (context-menu-buffers): New function (bug#50067).

(context-menu-functions): Add context-menu-buffers to the choice list.

Doc that dired-do-chmod no longer follows symlinks

* doc/emacs/dired.texi (Operating on Files):
* etc/NEWS: Document this security precaution.

; * lisp/repeat.el (repeat-echo-message): Use `string-search`.

Fix to clear echo-area after repeat-exit-timeout.

* lisp/repeat.el (repeat-echo-message): Use 'string-match-p'
to handle cases where echo-area contains other messages (bug#50176).

; * lisp/time-stamp.el: Improve doc strings.

Thanks to VEB for her help with the clarity of the documentation.

; migrate MH-E to mail-parse library

Move MH-E from low-level libraries to the high-level mail-parse library.

* lisp/mh-e/mh-comp.el: replace ietf-drums-parse-address with
mail-header-parse-address.
* lisp/mh-e/mh-junk.el: replace ietf-drums-parse-address with
mail-header-parse-address; remove mh-funcall-if-exists wrapper.
* lisp/mh-e/mh-xface.el: replace ietf-drums-parse-address with
mail-header-parse-address; remove fboundp wrapper.
* lisp/mh-e/mh-mime.el: replace rfc2047-decode-region with
mail-decode-encoded-word-region.

Document 'jit-lock-bounds'

* doc/lispref/modes.texi (Other Font Lock Variables):
* lisp/jit-lock.el (jit-lock-functions, jit-lock-register):
Document the return value of the fontification functions.

Improve documentation of 'inhibit-mouse-event-check'

* etc/NEWS:
* src/callint.c (syms_of_callint): Fix wording of the
documentation of 'inhibit-mouse-event-check'.

Add example of advanced user-defined Rx form to manual

* doc/lispref/searching.texi (Extending Rx): Add example illustrating
how to define a user-defined Rx form that performs computation,
from a discussion with Michael Herdeegen (bug#50136).
* lisp/emacs-lisp/rx.el (rx): Clarify evaluation time for `eval`.

* lisp/mouse.el (context-menu-open): New command bound to [S-f10].

* doc/emacs/frames.texi (Menu Mouse Clicks): Mention S-F10
to pop up the context menu.

* src/callint.c (Fcall_interactively):
Use inhibit_mouse_event_check for the case 'e'.
(inhibit-mouse-event-check): New variable.

https://lists.gnu.org/archive/html/emacs-devel/2021-08/msg00733.html

Fix recently added cperl test

* test/lisp/progmodes/cperl-mode-tests.el
(cperl-test-here-doc-missing-end): Fix quote regexp.

; * doc/emacs/files.texi (Auto Save Files): Fix a typo.

Improve recently-changed docs

* src/frame.c (Fnext_frame):
* doc/lispref/frames.texi (Finding All Frames): Improve wording
and style of the 'next-frame's documentation.

Fix doc strings in recent changes.

* lisp/progmodes/cperl-mode.el (cperl-commentify)
(cperl-here-doc-functions, cperl-is-here-doc-p)
(cperl-find-pods-heres): Fix wording, style, and punctuation of
doc strings.

; cperl-mode: bugfix / rework fontification of here-docs

* lisp/progmodes/cperl-mode.el (cperl-mode): Use
`cperl-font-lock-syntactic-face-function'.
(cperl-commentify): Add a docstring, eliminate unused formal
parameter `noface'.
(cperl-is-here-doc-p): New function to detect whether "<<" starts
a here-document, factored out from `cperl-find-pods-heres'.
(cperl-here-doc-functions): New variable: List of functions which
allow here-documents as parameters, for use in
`cperl-is-here-doc-p'.
(cperl-process-here-doc): New function, factored out from
`cperl-find-pods-heres'.  Fixed to keep correct fontification
after non-interactive (elisp) changes (Bug#14343, Bug#28962).
(cperl-find-pods-heres): Extend the doc-string to describe all
parameters.  Don't remove text properties in recursive calls on
the same line.  Call `cperl-process-here-doc' when appropriate.
(cperl-font-lock-syntactic-face-function): New function to
highlight c-style comments as here-documents (adapted from
perl-mode.el).

* test/lisp/progmodes/cperl-mode-tests.el
(cperl-test-identify-heredoc): New test for the new function
`cperl-is-here-doc-p'.
(cperl-test-identify-no-heredoc): New test for the new function
`cperl-is-here-doc-p', testing constructs which start with "<<"
but are no here-documents.
(cperl-test-here-doc-missing-end): New test to verify correct
detection of a missing here-document delimiter.
(cperl-test-bug-14343): New test to verify that inserting text
into a here-document with elisp does not break fontification.

Clarify the documentation of `next-frame'

* doc/lispref/frames.texi (Finding All Frames): Clarify what it
means to "consider".
* src/frame.c (Fnext_frame): Rewrite doc string to say what the
parameters actually mean (bug#13339).

Add new variable 'kill-buffer/delete-auto-save-files'

* doc/emacs/files.texi (Auto Save Files): Document it.
* lisp/cus-start.el (standard): Add customize form.

* lisp/files.el (delete-auto-save-files): Move definition to C
(since it's used in the C layer).

* src/buffer.c (Fkill_buffer): Use the new variable (and remove
the old code that apparently didn't trigger for
kill-buffer/delete-auto-save-files.
(syms_of_buffer): Add new variable
kill-buffer-delete-auto-save-files and move definition of
delete-auto-save-files here (bug#21612).

Complete implementation of `copy-directory-create-symlink' in Tramp

* lisp/net/tramp-sh.el (tramp-sh-handle-copy-directory): Fix the case
NEWNAME is a directory name with a trailing slash.

* lisp/net/tramp-smb.el (tramp-smb-handle-copy-directory):
Implement `copy-directory-create-symlink'.  (Bug#10897)

* test/lisp/net/tramp-tests.el
(tramp--test-ignore-make-symbolic-link-error): Move up.
(tramp-test15-copy-directory): Extend test.

; * doc/lispref/variables.texi (Local Variables): Fix indexing.

; * etc/NEWS: Fix wording of a recent change.

* lisp/mouse.el (context-menu-toolbar): New function.

(context-menu-functions): Add context-menu-toolbar to choice.
(context-menu-region): Bind "Paste" to mouse-yank-at-click
instead of mouse-yank-primary.
https://lists.gnu.org/archive/html/emacs-devel/2021-08/msg00735.html

Clarify :stderr in the make-process doc string

* src/process.c (Fmake_process): Elaborate upon what :stderr does
(bug#50166).

Update NEWS tagging for modules and parse-time-string

Document `dlet'

* doc/lispref/variables.texi (Local Variables): Document `dlet'.

Improve byte-compile-warnings doc string

* lisp/emacs-lisp/bytecomp.el (byte-compile-warnings): Mention
'byte-compile-docstring-max-column'.

Do command mode markup in xwidget.el

Make xwidget-webkit-enable-plugins a defcustom

* lisp/xwidget.el (xwidget-webkit-enable-plugins): Make into
defcustom.

Fix recent parse-partial-sexp argument validation

* src/syntax.c (parse-partial-sexp): Also handle markers as
arguments (bug#49944).  Tweak error message to follow conventions in
"(elisp) Signaling Errors".

Set a unique ID for eln files on macOS (bug#45934)

* src/comp.c (Fcomp__compile_ctxt_to_file): Set gcc's -install_name
parameter to the real filename.

Set label for NSToolbarItem (bug#50159)

* src/nsmenu.m (update_frame_tool_bar): Get label text and pass it to ...
([EmacsToolbar addDisplayItemWithImage:idx:tag:labelText:helpText:enabled:]):
... this that sets label for NSToolbarItem.
* src/nsterm.h
([EmacsToolbar addDisplayItemWithImage:idx:tag:labelText:helpText:enabled:]):
Add labelText argument.

Implement `copy-directory-create-symlink' for remote files

* lisp/net/tramp-sh.el (tramp-sh-handle-copy-directory):
Implement `copy-directory-create-symlink'.  (Bug#10897)

* test/lisp/net/tramp-tests.el (tramp-test15-copy-directory):
Extend test.

Double check completions-group customization variable in Icomplete

bug#48545

* lisp/icomplete.el (icomplete--augment): Double check completions-group.

Don't mess up grouping in completion-all-sorted-completions

The default sorting order will mess up the naturally grouped order of
the candidates in the table that specified the group-function.

As seen in xref.el when

   (setq xref-show-definitions-function
         'xref-show-definitions-completing-read)
   (setq completions-group t)
   M-x fido-mode

Also partially seen with C-x 8 RET (M-x insert-char) with

   (setq read-char-by-name-sort 'code)

bug#48545

* lisp/minibuffer.el (completion-all-sorted-completions): Don't
use default sort if there's a group-function in the table.

Revert "Fix dired switch (that contain quotes and spaces) parsing"

This reverts commit 04f723dec944eaa7b5e99373840a8bf920ba5fdd.

The dired switches are documented to not follow shell syntax, but instead
uses a lisp-in-string-form kind of quoting.

Don't echo empty string in file-name-with-extension

* lisp/files.el (file-name-with-extension): Avoid echoing a filename
string known to be empty (bug#50149).

Avoid using %n in emacsclient

* lib-src/emacsclient.c (local_sockname): Avoid using %n (bug#50155).

Some adaptions for Tramp's security key detection.

* lisp/net/tramp.el (tramp-security-key-timeout-regexp): New defcustom.
(tramp-action-show-and-confirm-message): Don't use timeout, check
for the timeout message of the ssh command.

Make Qhide declaration non-target-specific

* src/xfns.c (syms_of_xfns): Move DEFSYM from here...
* src/menu.c (syms_of_menu): ... to here.
This fixes the NS build after dd7d966eb40b.

* lisp/mouse.el (context-menu-mode-map): New variable.

(context-menu--saved-bindings, context-menu--bind-mouse)
(context-menu--restore-bindings): Remove.
(context-menu-mode): Don't use removed functions.

Don't show menu titles with the text property 'hide' (bug#50067)

* lisp/mouse.el (context-menu-map): Add menu title "Context Menu"
propertized with the text property 'hide'.

* src/menu.c (x_popup_menu_1): Don't show the title with the non-nil
text property 'hide' on GTK and NS.

; * lisp/emacs-lisp/comp.el (native-comp-async-cu-done-functions): Doc fix.

Improve documentation of 'set-keyboard-coding-system'

* doc/lispref/nonascii.texi (Terminal I/O Encoding):
* doc/emacs/mule.texi (Terminal Coding):
* lisp/international/mule.el (set-keyboard-coding-system):
Document that 'set-keyboard-coding-system' has no effect on modern
MS-Windows systems.  (Bug#15289)

* test/lisp/international/ucs-normalize-tests.el: Save 30m on hydra.

mh-x-image-url-sane-p: accept "https" URLs

* lisp/mh-e/mh-xface.el (mh-x-image-url-sane-p): Accept https URLs.
* test/lisp/mh-e/mh-xface.el: New file, to test mh-x-image-url-sane-p.

; MH-E doc: SourceForge repo is no longer current

* doc/misc/mh-e.texi, lisp/mh-e/mh-e.el: Update references to
SourceForge with current URLs and a note that MH-E development
no longer occurs in that repository.

* test/Makefile.in: Turn off hydra verbose logging for electric-tests.

* test/lisp/net/tramp-tests.el: Reduce hydra run time by 1 hour.

It's just too slow to run these after every commit.

; Load xref when needed (not all functions are autoloaded)

* test/lisp/electric-tests.el: Un-skip c-mode tests on hydra.

Fix failures in recent files tests

* test/lisp/files-tests.el (files-tests-buffer-offer-save)
(files-tests-save-buffers-kill-emacs--asks-to-save-buffers):
`read-event' is called with arguments.

Clarify cl-defstruct doc string and manual entry somewhat

* doc/misc/cl.texi (Structures): Rename the slot "name" in the
examples to "first-name", since we're talking about the names of
slots a lot here, and having a slot with the name "name" makes the
examples somewhat confusing.
* lisp/emacs-lisp/cl-macs.el (cl-defstruct): Clarify certain
things about slots (bug#14278).

; * lisp/dired.el (dired-jump): Doc fix.

Fix perldb doc string

* lisp/progmodes/gud.el (perldb): Fix doc string (bug#14588).

Clarify dired-jump doc string

* lisp/dired.el (dired-jump): Make the doc string say what happens
in buffers not visiting files (bug#14733).

; Fix Texinfo markup of a recent change

* doc/lispintro/emacs-lisp-intro.texi (count-words-in-defun): Fix
last change.

; * src/syntax.c: Remove a stray comment.

Tweak the comment-start-skip example in the manual

* doc/emacs/programs.texi (Options for Comments): Tweak the
example regexp for comment-start-skip (bug#15006).

Clarify how to do the `count-words-in-defun' recipe

* doc/lispintro/emacs-lisp-intro.texi (count-words-in-defun):
Clarify the recipe (bug#15069).

; * etc/NEWS: Fix last change.

Make parse-partial-sexp signal an error if TO is smaller than FROM

* src/syntax.c (Fparse_partial_sexp): Signal an error if TO is
smaller than FROM (bug#49944).

Mention problems with synthetic fonts on macOS

* etc/PROBLEMS: Mention synthetic fonts (bug#18818).

Fix display bug on macOS (bug#50112)

* src/nsterm.m ([EmacsLayer initWithColorSpace:]): Use the colorspace
setter.
([EmacsLayer setColorSpace:]): Sometimes we seem to get null
colorspaces, so set a default in this case.
([EmacsLayer getContext]): Check whether there's been a surface or
graphics context allocation failure and log it.

* configure.ac: Make homebrew check for libgccjit match macports.

Remove default "Select" title from NS popup menus (bug#50067)

* src/menu.c (x_popup_menu_1): Remove default "Select" title.
* src/nsmenu.m (ns_menu_show): Allow title to be absent.

Use overlay arrow to indicate current *xref* selection

* lisp/progmodes/xref.el (xref--set-arrow): New function.
(xref-show-location-at-point, xref-goto-xref)
(xref--next-error-function): Call it.
(xref--show-common-initialize): Remove arrow.

Add "Find References" to context menu (bug#50067)

The new entry appears next to "Find Definition" and like it only
appears when the context menu was invoked on an identifier.

* lisp/progmodes/prog-mode.el (prog-context-menu): New menu entry.
* lisp/progmodes/xref.el (xref-find-references-at-mouse): New
function, analogous to `xref-find-definitions-at-mouse`.

Indicate progress while searching for references in xref

* lisp/progmodes/xref.el (xref-backend-references): Add messages to
show the user that something is happening instead of silently freezing
during the frequently long synchronous searches for references.

Re-type the :location slot in `xref-match-item` to `xref-location`

* lisp/progmodes/xref.el (xref-match-item): Change type for
:location from `xref-file-location`, which was likely a mistake,
to `xref-location`. This allows `xref-make-match` to take
arguments of any subtype of `xref-location` (bug#50067).

Add xref operations to context menu unconditionally

* lisp/progmodes/prog-mode.el (prog-context-menu):
Add xref operations to the context menu even if xref hasn't been
loaded yet; the functions involved are autoloaded (bug#50067).

CC Mode: Move a macro to before its first use in a file.

* lisp/progmodes/cc-defs.el (c-benign-error): Move earlier in the file for the
benefit of c-tnt-chng-cleanup.

; * etc/TODO: Fix typo.

Improve documentation of context menus

* doc/lispref/modes.texi (Major Mode Conventions): Add conventions
of setting menu-bar menus and context menus for a major mode.
* doc/emacs/frames.texi (Menu Mouse Clicks): Fix description of
context menu functionality.

Improve doc string of 'M-.'

* lisp/progmodes/xref.el (xref-find-definitions): Mention 'M-,' in
the doc string.

; * lisp/simple.el (execute-extended-command): Fix comment wording.

; * etc/NEWS: State the default behavior when copying symlinks.

Improve documentation of 'file-preserve-symlinks-on-save'

* lisp/files.el (file-precious-flag): Mention
'file-preserve-symlinks-on-save' in the doc string.

* doc/lispref/files.texi (Saving Buffers): Move the description of
'file-preserve-symlinks-on-save' from here...
* doc/emacs/files.texi (Customize Save): ...to here.  Improve
wording.

* etc/NEWS: Fix wording of 'file-preserve-symlinks-on-save' entry.

; * doc/emacs/custom.texi (Minibuffer Maps): Fix wording.

Fix documentation of 'repeat-mode' changes

* doc/emacs/basic.texi (Repeating): Fix indexing.  Improve
wording.

Fix documentation of recently-added tests for files.el

* test/lisp/files-tests.el (files-tests--save-some-buffers)
(files-tests-save-some-buffers)
(files-tests--with-buffer-offer-save)
(files-tests-buffer-offer-save): Doc fixes.

; * lisp/progmodes/project.el: Fix punctuation in the commentary.

* etc/TODO: Entry about markers being non-scalable.  (Bug#49127)

Speed up project--read-project-buffer in remote buffers

* lisp/progmodes/project.el (project-buffers): New generic function.
(project--read-project-buffer): Use it here (bug#49264).
(project--buffers-to-kill): And here.
(project-buffers): Specialized implementation for vc-project.

* lisp/bindings.el (page-navigation-repeat-map): Fix bootstrap.

Fix c-tentative-buffer-changes to be nestable in c-save-buffer-state

* lisp/progmodes/cc-defs.el (c-tentative-buffer-changes)
(c-tnt-chng-record-state, c-tnt-chng-cleanup): Enhance such that a
buffer-undo-list of t is handled specially, so that a nil isn't consed onto
it.  Thus garbage collection can't later remove the (nil . t) from the end of
the buffer-undo-list, causing an infinite loop.

; * test/lisp/files-tests.el: Add tests for save-some-buffers (Bug#46374)

Mark page navigation commands as repeatable

* doc/emacs/basic.texi (Repeating): Document page navigation
repeatability.

* lisp/bindings.el (page-navigation-repeat-map): Add new map
(bug#50137).
* lisp/bindings.el (forward-page):
(backward-page): Mark as repeatable.

Copyright-paperwork-exempt: yes

Document how to get rid of completion on `SPC' and `?'

* doc/emacs/custom.texi (Minibuffer Maps): Mention how to get rid
of completion on `SPC' and `?' (bug#16528).

Fix printing of C-@ in `describe-fontset'

* lisp/international/mule-diag.el (mule--kbd-at): New function
(bug#17836).
(print-fontset-element): Use it to get multi-key things correct.

Allow preserving symlinks with file-precious-flag set

* doc/lispref/files.texi (Saving Buffers): Document it.
* lisp/files.el (file-preserve-symlinks-on-save): New user option
(bug#18125).
(basic-save-buffer-2): Use it.

Fix infinite recursion in mode: tex

* lisp/textmodes/tex-mode.el (tex--redirect-to-submode): Inhibit
recursion when called from file-local variables (bug#50126).

Fix infinite recursion of conf-mode

* lisp/textmodes/conf-mode.el (conf-mode): Inhibit recursion when
called from file-local variables (bug#50126).

Allow copy-directory to copy the source as a symlink

* doc/emacs/files.texi (Copying and Naming): Document it.

* lisp/files.el (copy-directory): Allow copying symbolic links as
is (bug#10897).
(copy-directory-create-symlink): New user option.

Copyright-paperwork-exempt: yes

Further tweaks to execute-extended-command

* lisp/simple.el (execute-extended-command): Move finding the
short command to the timer command, too (bug#50042).  This further
ensures that post-command-hook is run faster.

Remove even more waiting from execute-extended-command

* lisp/simple.el (execute-extended-command): Remove all the
waiting from the command and do it all with timers (bug#50042).
This ensures that post-command-hook is run immediately also when
the command has messaged something.